théorie de l’information et codage
Post on 10-Feb-2016
41 Views
Preview:
DESCRIPTION
TRANSCRIPT
TIC - EII3 & DEA STIR - 2002-2003 1
Théorie de l’Information et Codage Organisation
1 - Notions fondamentales de théorie de l’information (7h)• Définitions de base• Application aux sources d’information discrète• Application aux sources d’information continue
2 - Codage pour le contrôle d’erreur (7h)• Codes en blocs linéaires• Codes cycliques• Codes convolutifs• Algorithme de Viterbi
• Turbo-codes
TIC - EII3 & DEA STIR - 2002-2003 2
S. Haykin, Communication Systems, Wiley & Sons, 1994.
A.J. Viterbi, K.J. Omura, Principes des communications numériques, Coll. CNET/ENST, Dunod Edt.
A. Poli, L. Huguet, Codes correcteurs, Coll. LMI, Masson.
H. P. Hsu, Communications analogiques et numériques, Série Schaum.
Références
Théorie de l’Information et Codage
TIC - EII3 & DEA STIR - 2002-2003 3
Chapitre 1Notions fondamentales de théorie de l’information
1-1 Introduction 1-2 Incertitude, Information et Entropie 1-3 Théorème du codage de source 1-4 Compression de données 1-5 Canaux discrets sans mémoire 1-6 Information mutuelle 1-7 Capacité d’un canal 1-8 Théorème du codage de canal 1-9 Extension aux signaux continus 1-10 Théorème de la capacité d’information 1-11 Distorsion de l’information 1-12 Compression d’information
TIC - EII3 & DEA STIR - 2002-2003 4
1-1 Introduction
• L’objectif d’un système de transmission est de porter une information en bande de base d’un point à un autre via un canal de communication.
• 1948 : Shannon introduit la théorie de l’information.
• Dans le contexte des communications, la théorie de l’information s’attache à la modélisation mathématique et l’analyse des systèmes de communication.
TIC - EII3 & DEA STIR - 2002-2003 5
1-1 Introduction
La théorie de l’information donne des réponses à deux questions :
• quelle est la complexité limite d’un signal ?
– notion d’entropie : nombre minimum d’e.b. par symbole pour représenter une source.
• quelle est le débit limite pour une communication fiable sur un canal bruité ?
– notion de capacité de canal : débit maximum qui peut être adopté pour un canal.
TIC - EII3 & DEA STIR - 2002-2003 6
1-2 Incertitude, Information et Entropie
Définitions– Source discrète : système émettant régulièrement des
symboles issus d’un alphabet fini.– Alphabet : ensemble fini des symboles de la source.
– Source aléatoire : les symboles sont émis aléatoirement suivant les probabilités :
– Source sans mémoire : source aléatoire dont les symboles émis sont statistiquement indépendants.
P S sk pk ; k0,1,, K 1 avec pk
k0
K 1 1
A s0,s1,,sK 1
TIC - EII3 & DEA STIR - 2002-2003 7
1-2 Incertitude, Information et Entropie
Peut-on trouver une mesure de l’information produite par une source ?
La notion d’information est liée à la notion de surprise et d’incertitude :
– avant l’évènement S = sk, il existe une certaine quantité d’incertitude sur cet évènement,
– quand cet évènement se réalise, il existe une certaine quantité de “surprise”,
– après la réalisation de l’évènement, il existe un gain en quantité d’information sur cet évènement,
– cette quantité d’information correspond à la “résolution” de l’incertitude de départ.
– la quantité d’information ne doit dépendre que de la statistique de la source.
TIC - EII3 & DEA STIR - 2002-2003 8
1-2 Incertitude, Information et Entropie
Définition : la quantité d’information gagnée à l’observation de
l’évènement S = sk , de probabilité pk , est définie par :
I (sk) = – log pk
Propriétés :
• I (sk) = 0 pour pk = 1 ;
• I (sk) >= 0 pour 0 <= pk <= 1 ;
• I (sk) > I (si) pour pk < pi ;
• I (sk sl) = I (sk) + I (sl) si sk et sl sont statistiquement indépendants.
TIC - EII3 & DEA STIR - 2002-2003 9
1-2 Incertitude, Information et Entropie
Remarques :• La base du logarithme dans cette définition est arbitraire ;• On utilise par convention la base 2. L’unité correspondante
est le bit (pour binary unit).• Dans ces conditions :
* I (sk) = – log2 pk
* Si pk = 1/2, alors I (sk) = 1 bit.= > Un bit est la quantité d’information gagnée quand
un parmi deux évènements équiprobables apparaît.• En fonction de la base du logarithme, on définit d’autres
unités de quantité d’information :* base 10 : hartley* base e : neper, nat
TIC - EII3 & DEA STIR - 2002-2003 10
1-2 Incertitude, Information et Entropie
• La quantité d’information produite par une source dépend du symbole émis à un instant significatif donné ;
• Or la source émet une séquence aléatoire de symboles ;
• La quantité d’information à un instant donné est donc une variable aléatoire discrète, prenant les valeurs I(s0), I(s1), ... , I(sK–1) avec les probabilités p0, p1, ... , pK–1.
TIC - EII3 & DEA STIR - 2002-2003 11
1-2 Incertitude, Information et Entropie
Définition : l’entropie d’une source sans mémoire, d’alphabet A, est
l’espérance mathématique de la quantité d’information prise comme variable aléatoire.
Remarques :– L’entropie est une mesure de l’information moyenne par
symbole issu de la source.– l’unité de l’entropie est le bit/symbole.
H A E I sk pk I sk
k0
K 1
H A pk log2 pkk0
K 1
TIC - EII3 & DEA STIR - 2002-2003 12
1-2 Incertitude, Information et Entropie
Propriétés : Pour une source discrète sans mémoire, l’entropie est bornée :
1. H(A) = 0 ssi pk = 1 pour un k donné, les autres probabilités étant nulles.
=> aucune incertitude
2. H(A) = log2 K ssi pk = 1/K pour tout k . => incertitude maximale
Démonstration :
Exemples :
0H A log2 K
TIC - EII3 & DEA STIR - 2002-2003 13
1-3 Théorème du codage de source
• Un problème important en communication est celui de la représentation efficace des données engendrées par une source discrète.
• Ce processus est appelé codage de source (source encoding), et le dispositif correspondant un codeur de source (source encoder).
• L’efficacité du codage de source repose sur la connaissance de la statistique de la source.
• Application : si quelques symboles sont plus probables que d’autres, on peut leur assigner des mots-code “courts” (code à longueur variable ; ex : code Morse).
TIC - EII3 & DEA STIR - 2002-2003 14
Problème : Développer un codeur de source efficace satisfaisant aux
contraintes suivantes :– les mots-code sont sous la forme de données binaires ;– les mots-code doivent être décodés de manière unique,
i.e. la séquence émise par la source doit être parfaitement reconstruite à partir de la séquence des mots-code.
1-3 Théorème du codage de source
Sourcediscrète
sans mémoire
Codeurde source
sk bkSéquence binaire
Fig 1-1
TIC - EII3 & DEA STIR - 2002-2003 15
Définitions : Longueur moyenne d’un code : A chaque sk de probabilité pk —> bk de longueur lk e.b. Alors
représente le nombre moyen d’e.b. par symbole.
Efficacité d’un code : Si Lmin est la plus petite valeur possible de , on définit :
Un codeur est dit efficace si .
1-3 Théorème du codage de source
L
LminL
L
1
L pk lk
k0
K 1
TIC - EII3 & DEA STIR - 2002-2003 16
Problème : Comment déterminer Lmin ? Solution : Théorème du codage de source (premier théorème de Shannon) Soit une source discrète sans mémoire d’entropie H(A). La longueur
moyenne des mots-code pour tout codage sans perte est bornée par :
L’entropie représente donc une limite fondamentale sur le nombre d’e.b. par symbole-source nécessaire pour représenter une source sans mémoire.
L’efficacité s’écrit alors :
1-3 Théorème du codage de source
L
L H A
H A L
TIC - EII3 & DEA STIR - 2002-2003 17
1-4 Compression de données• Les signaux engendrés par des processus physiques contiennent généralement
une certaine quantité d’information redondante, et qui peut gaspiller les ressources de communication.
• Pour obtenir une communication efficace, il faut supprimer cette redondance avant transmission.
• Cette opération est la compression de données sans perte.• Propriétés :
– optimale au sens du nombre moyen d’e.b. par symbole,– les données originales peuvent être reconstruites sans perte d’information.
• Principe :– affecter des mots-code courts aux symboles fréquents,– affecter des mots-code longs aux symboles “rares”.
TIC - EII3 & DEA STIR - 2002-2003 18
1-4-1 Codage préfixe
1-4-2 Codage de Huffman
1-4-3 Codage de Lempel-Ziv pour sources discrètes à mémoire
1-4 Compression de données
TIC - EII3 & DEA STIR - 2002-2003 19
1-5 Canaux discrets sans mémoire Définition : un canal discret sans mémoire est un modèle
statistique comportant une entrée X (v.a.) et une sortie Y (v.a.) qui est une version bruitée de X.
A chaque unité de temps,– la source émet un symbole issu de l’alphabet A.
– la sortie du canal discret sans mémoire est un symbole issu de l’alphabet B.
Le canal est aussi caractérisé par des probabilités de transition :
A x0,x1,,xJ 1
B y0,y1,,yK 1
p yk | x j Pr Y yk | X xj j,k
TIC - EII3 & DEA STIR - 2002-2003 20
1-5 Canaux discrets sans mémoire
p yk | x j X Y
A
x0
x1
xJ 1
y0
y1
yK 1
B
Fig. 1-2 Canal discret sans mémoire
P
p y0 |x0 p y1 |x0 p yK 1 |x0 p y0 |x1 p y1 |x1 p yK 1 |x1
p y0 |xJ 1 p y1 |xJ 1 p yK 1 |xJ 1
Définition : Matrice du canal
TIC - EII3 & DEA STIR - 2002-2003 21
• Chaque ligne de P correspond à une entrée fixée du canal ;• Chaque colonne correspond à une sortie fixée du canal ;
• La somme des éléments d’une ligne vaut 1
• Supposons que les entrées suivent une distribution de probabilité (distribution a priori)
– distribution jointe
– distribution marginale
• Exemple : Canal Binaire Symétrique (CBS).
1-5 Canaux discrets sans mémoire
p yk | x j
k0
K 1 1
p x j , j 0,1, , J 1
p x j , yk p yk |xj p xj
p yk p yk |xj p xj
j0
J 1
TIC - EII3 & DEA STIR - 2002-2003 22
1-6 Information mutuelle• Problème : Y étant une version bruitée de X, et H(A) mesurant l’incertitude a
priori sur X, comment mesurer l’incertitude sur X après avoir observé Y ?• Définition : l’entropie conditionnelle (à l’observation de Y) de X, sachant
vaut :
• H(A | B) représente la quantité d’incertitude restante sur l’entrée après que la sortie a été observée.
Y yk
H A | B H A|Y yk p yk k0
K 1
p xj | yk p yk log2 p xj | yk j0
J 1
k0
K 1
p xj ,yk log2 p xj | yk j0
J 1
k0
K 1
TIC - EII3 & DEA STIR - 2002-2003 23
• H(A) est l’incertitude sur l’entrée avant l’observation de la sortie ;
• H(A | B) est l’incertitude sur l’entrée après l’observation de la sortie ;
• H(A) – H(A | B) représente l’incertitude sur l’entrée résolue par l’observation de la sortie ;
• Définition : H(A) – H(A | B) est appelée information mutuelle du canal :
1-6 Information mutuelle
I A, B H A H A|B
TIC - EII3 & DEA STIR - 2002-2003 24
Propriétés :
* symétrie
* on ne peut perdre d’information
* , avec
1-6 Information mutuelle
I A,B I B,A
I A, B 0
I A, B H A H B H A,B
H A, B p xj,yk log2 p xj ,yk
k0
K 1
j0
J 1
TIC - EII3 & DEA STIR - 2002-2003 25
Interprétation graphique - Diagramme de Venn
1-6 Information mutuelle
H(A | B) H(B | A)
I(A, B)
H(A, B)
TIC - EII3 & DEA STIR - 2002-2003 26
1-7 Capacité d’un canal
• Le calcul de l’information mutuelle I(A, B) nécessite la connaissance de la distribution a priori de X ;
• En conséquence, l’information mutuelle d’un canal dépend non seulement du canal mais également de la manière dont il est utilisé ;
• Or la distribution a priori est (évidemment) indépendante du canal ;
• On peut donc chercher à maximiser l’information mutuelle par rapport à . p x j
TIC - EII3 & DEA STIR - 2002-2003 27
Définition : la capacité d’un canal discret sans mémoire est le maximum de l’information mutuelle I(A, B) moyenne obtenu pour l’ensemble des symboles émis, la maximisation étant opérée sur toutes les distributions a priori possibles sur A..
C se mesure en bits par utilisation du canal (bits per channel use).
Remarque : le calcul de C implique la maximisation sur J variables (les probabilités d’entrée) sous deux contraintes :
1-7 Capacité d’un canal
p x j
C max
p xj I A, B
p x j 0 j
p xj j0
J 1 1
TIC - EII3 & DEA STIR - 2002-2003 28
Exemple : Canal Binaire Symétrique
1-7 Capacité d’un canal
Capacitédu canal
C
Probabilité de transition p
TIC - EII3 & DEA STIR - 2002-2003 29
1-8 Théorème du codage de canal
• La présence inévitable de bruit dans le canal cause des erreurs de transmission.
• Pour un canal très bruité, la probabilité d’erreur peut être aussi haute que 10–2 ...
• Mais il est préférable qu’elle soit plus faible que 10–6, voire 10–12 !
• Pour atteindre cet objectif, on a recours au codage de canal (Chapitre 2).
TIC - EII3 & DEA STIR - 2002-2003 30
• L’objectif du codage de canal est d’accroître la résistance d’un système de communication numérique au bruit.
• Le codage de canal consiste– à affecter, à une séquence issue de la source, une autre
séquence destinée à entrer dans le canal (mapping) ;– à affecter, à une séquence issue du canal, une autre
séquence pour utilisation (reverse mapping) ;– de telle sorte que l’effet du bruit du canal soit minimisé.
1-8 Théorème du codage de canal
Sourcediscrète
sans mémoire
Canaldiscret
sans mémoire
Codeurde
canal
Décodeurde
canalUtilisation
bruitEmetteur Récepteur
TIC - EII3 & DEA STIR - 2002-2003 31
• L’approche générale du codage de canal consiste à introduire de la redondance dans la séquence émise, de manière à reconstruire la séquence originale le plus précisément possible.
• codage de source —> diminution de la redondance, ... codage de canal —> augmentation de la redondance ?! Les deux approches sont complémentaires.
• Les grandes approches du codage de canal seront vues au Chap. 2 (codes en bloc linéaires, codes cycliques ...).
1-8 Théorème du codage de canal
TIC - EII3 & DEA STIR - 2002-2003 32
Considérons la classe des codes en blocs :– la séquence originale à transmettre est segmentée en
blocs de k e.b.– chaque k-bloc se voit affecter en sortie du codeur de
canal un n-bloc, avec n > k.– r = k / n mesure le rendement du code.
Problème : existe-t-il une stratégie de codage telle que– la probabilité d’erreur soit inférieure à donné, ...– avec un rendement pas trop faible ?
Réponse : OUI ! —> Second théorème de Shannon.
1-8 Théorème du codage de canal
TIC - EII3 & DEA STIR - 2002-2003 33
Théorème (a) : Soit une source discrète sans mémoire, d’entropie H(A), produisant des symboles toutes les Ts
secondes. Soit un canal discret sans mémoire de capacité C, utilisé
toutes les Tc secondes.
Alors, si , il existe une stratégie de codage pour
laquelle la sortie de la source peut être transmise sur le
canal et reconstruite avec une probabilité d’erreur
arbitrairement petite.
C / Tc est appelé débit critique.
1-8 Théorème du codage de canal
H A Ts
CTc
TIC - EII3 & DEA STIR - 2002-2003 34
1-8 Théorème du codage de canal
Théorème (b) : Si , alors il n’est pas possible
de transmettre une information sur le canal et de la
reconstruire avec une probabilité d’erreur arbitrairement
faible.
Remarques :– La capacité d’un canal spécifie une limite fondamentale
sur le débit maximum acceptable par un canal discret sans mémoire.
– Ce théorème n’indique en aucun cas la façon de construire la stratégie de codage. Il n’est qu’une preuve d’existence d’un code optimal.
H A Ts
CTc
TIC - EII3 & DEA STIR - 2002-2003 35
Application : Canal Binaire Symétrique Soit une source discrète sans mémoire émettant des
symboles binaires (0/1) équiprobables toutes les Ts secondes. Le débit de la source vaut alors 1/Ts bits/seconde.
L’entropie de la source vaut 1 bit/symbole. La séquence issue de la source est appliquée à un codeur de
canal de rendement r. Le codeur de canal produit un symbole toutes les Tc
secondes. Le débit sur le canal est donc de 1/Tc symboles/seconde.
C est la capacité du canal discret sans mémoire et dépend de la probabilité p de transition.
La capacité du canal par unité de temps vaut donc C/Tc bits/seconde.
1-8 Théorème du codage de canal
TIC - EII3 & DEA STIR - 2002-2003 36
Application : Canal Binaire Symétrique
(Théorème a) => Si , on peut trouver un codage de
canal donnant une probabilité d’erreur arbitrairement petite.
Or ,
et finalement la condition précédente devient :
1-8 Théorème du codage de canal
r
TcTs
r C
1Ts
CTc
TIC - EII3 & DEA STIR - 2002-2003 37
TIC - EII3 & DEA STIR - 2002-2003 38
• Pour l’instant, nous avons traité le cas de v.a. discrètes ;• On examine ici l’extension des principes précédents aux
v.a. continues. • Motivation : préparer le terrain pour le théorème de la
capacité d’ information, qui définit une nouvelle limite fondamentale dans la théorie de l’information.
1-9 Extension aux signaux continus
TIC - EII3 & DEA STIR - 2002-2003 39
• Entropie différentielle Soit X une v.a. continue de fonction de densité de probabilité
. L’entropie différentielle de X par la quantité :
Remarques– On utilise l’entropie différentielle car l’entropie absolue
H(X) est infinie, mais également du fait que l’on manipule par la suite des différences d’entropie.
– Pour un vecteur aléatoire X = [X1 X2 ... Xn ], on définit :
1-9 Extension aux signaux continus
fX x
h X fX x log2
fX x dx
h X fX x log2
fX x dx
TIC - EII3 & DEA STIR - 2002-2003 40
Exemples
– Distribution uniforme ;
– Distribution gaussienne ;
1-9 Extension aux signaux continus
TIC - EII3 & DEA STIR - 2002-2003 41
TIC - EII3 & DEA STIR - 2002-2003 42
• Information mutuelle Soient X et Y deux v.a. continues. Par analogie avec la
définition dans le cas discret, on définit l’information mutuelle entre X et Y par :
où est la fonction de densité de probabilité jointe de X et Y et est la densité conditionnelle de X sachant Y = y.
1-9 Extension aux signaux continus
I X ,Y fX ,Y x,y log2
fX x fX x|y
dxdy
fX ,Y x, y fX x | y
TIC - EII3 & DEA STIR - 2002-2003 43
Propriétés• Symétrie• Non-négativité
où
est appelée entropie différentielle conditionnelle de X sachant Y.
1-9 Extension aux signaux continus
I X ,Y I Y ,X I X ,Y 0
I X ,Y h X h X |Y h Y h Y | X
h X | Y fX ,Y x,y log2 fX x| y
dxdy
h X | Y
TIC - EII3 & DEA STIR - 2002-2003 44
1-10 Théorème de la capacité d’information• On se place ici dans le cas de canaux de transmission :
– à bande limitée,– à puissance limitée,– à distribution gaussienne.
• On considère un processus aléatoire stationnaire à moyenne nulle et à spectre limité dans une bande B Hz ;
• Ce signal est échantillonné uniformément à la fréquence de Nyquist (2B échantillons / sec.) ;
• Ces échantillons sont transmis en T secondes sur un canal gaussien de moyenne nulle et de densité spectrale (bilatérale) , lui aussi limité à une bande B Hz.
• Le nombre d’échantillons est donc K = 2BT.
X t
N0 / 2
TIC - EII3 & DEA STIR - 2002-2003 45
• On pose un échantillon du signal transmis, et l’échantillon reçu ;
• On a pour k = 1, 2, ... , K, avec• On suppose que les sont indépendants.• On suppose l’émetteur limité en puissance : où P est la puissance moyenne transmise.
Remarque : Le canal gaussien limité en bande et en puissance n’est pas seulement
un modèle théorique ; il est d’une grande importance dans beaucoup de structures de communication (liaisons radio, satellite ...).
1-10 Théorème de la capacité d’information
Xk Yk
Yk Xk Nk N N Bk ~ ,N 0 0
Yk
E X k
2 P
TIC - EII3 & DEA STIR - 2002-2003 46
Définition La capacité d’information du canal est la quantité :
• Or
• Et est indépendant de • Or • Donc gaussiennes => gaussienne• Et finalement
1-10 Théorème de la capacité d’information
C max
fXk x I Xk,Yk :E Xk
2 P
I X k ,Yk hYk h Yk | Xk h Yk h Nk
h N k X k
hYk max Yk ~N .,. Yk , Nk Xk
C I Xk,Yk : Xk gaussienne , E Xk
2 P
TIC - EII3 & DEA STIR - 2002-2003 47
Evaluation de C• variance de : • entropie différentielle :• variance de :• entropie différentielle :• Et finalement
bits par transmission,
1-10 Théorème de la capacité d’information
Yk
2 Nk
P 2
C
12log2 1 P
2
h N k 1
2log2 2 e 2
h Yk 1
2log2 2 e P 2
TIC - EII3 & DEA STIR - 2002-2003 48
Théorème de la capacité d’information (3ème théorème de Shannon)
La capacité d’information d’un canal continu de bande passante B Hz perturbé par un bruit blanc gaussien additif de densité spectrale de puissance et également limité à la bande passante B, est donnée par :
où P est la puissance moyenne de transmission.
1-10 Théorème de la capacité d’information
N0
C Blog2 1 P
N0B
bits par seconde
TIC - EII3 & DEA STIR - 2002-2003 49
Conséquences• Pour P, B, et N0 fixés, on peut transmettre une information avec
un débit de C bits par seconde avec une probabilité d’erreur arbitrairement petite, en employant un système de codage suffisamment complexe.
• Il n’est pas possible de transmettre à un débit supérieur à C bits par seconde sans entraîner une probabilité d’erreur définie.
• Le théorème de la capacité d’information définit donc une autre limite fondamentale sur le débit d’une transmission sans erreur.
• Pour approcher cette limite, toutefois, le signal transmis doit avoir des propriétés statistiques approchant celles du bruit gaussien.
1-10 Théorème de la capacité d’information
TIC - EII3 & DEA STIR - 2002-2003 50
Implications du théorème Pour avoir une idée des performances d’un système de communication, il faut
définir une base de comparaison sous la forme d’un système idéal :– Transmission de débit R = C ;– P = Eb.C , où Eb est l’énergie transmise par e.b.
• Le système idéal est défini par la relation
• De manière équivalente
C/B efficacité en bande
1-10 Théorème de la capacité d’information
CBlog2 1 Eb
N0
CB
EbN0
2C /B 1
C /B
TIC - EII3 & DEA STIR - 2002-2003 51
Diagramme d’efficacité en bande
1-10 Théorème de la capacité d’information
0 5 10 15 20 25 30Eb/No(dB)
Rb/B
Limite de Shannon= – 1.6 dB
Région pour laquelle Rb > C
Région pour laquelle Rb < C
frontière Rb = C
TIC - EII3 & DEA STIR - 2002-2003 52
1-10 Théorème de la capacité d’information
Diagramme d’efficacité en bande
Eb/No (dB)
Rb/B
Limite de Shannon= – 1.6 dB
Région pour laquelle Rb > C
Région pour laquelle Rb < C
frontière Rb = C
TIC - EII3 & DEA STIR - 2002-2003 53
Remarques• Pour une bande passante infinie, le rapport approche la
limite de Shannon :
• La frontière de capacité sépare les différentes combinaisons de paramètres du système supportant des transmissions sans erreur (R < C) de celles pour lesquelles la transmission sans erreur n’est pas possible (R > C).
1-10 Théorème de la capacité d’information
EbN0
lim
B
EbN0
ln20.693 1.6dB
TIC - EII3 & DEA STIR - 2002-2003 54
TIC - EII3 & DEA STIR - 2002-2003 55
Exemple : Modulation par Impulsion et Codage (MIC) M-aire
1-10 Théorème de la capacité d’information
TIC - EII3 & DEA STIR - 2002-2003 56
1-11 Distorsion de l’information• Dans plusieurs situations pratiques, des contraintes forcent le
codage à être imparfait, ce qui implique de la distorsion.• Exemples :
– un débit maximum peut être spécifié, impliquant une limite pour la longueur moyenne des mots-code.
– signal de parole : nécessite une quantification pour représentation numérique.
• On parle alors de codage avec critère de fidélité, et la théorie associée est celle de la distorsion de débit.
• Application dans deux situations :– Codage de source pour les sources continues (compression du
signal),– Transmission d’information à débit supérieur à la capacité du
canal.
TIC - EII3 & DEA STIR - 2002-2003 57
• La compression d’information est une des applications de la théorie de la distorsion d’information.
• Un compresseur de signal est un dispositif fournissant des mots-code avec un minimum de symboles et sujet à une distorsion contrôlée.
• Le compresseur de signal retient le contenu informationnel pertinent, en gommant les détails fins.
• On parle alors de compression avec perte (lossy compression) : l’entropie diminue et donc l’information est perdue.
1-12 Compression d’information
TIC - EII3 & DEA STIR - 2002-2003 58
• Source discrète : l’objectif est de transmettre à des taux de codage (longueur moyenne) inférieurs à l’entropie de la source.– Exemple : codage d’images numériques fixes ou animées
(JPEG, MPEG).• Source continue : on ne peut faire autrement pour mettre en
œuvre une communication numérique– Exemple : codage de parole sur réseau téléphonique
(MICDA).
• Dans les deux cas, la distorsion du codage est mesurée en fonction :– de critères objectifs : maximisation du rapport S/N,
minimisation de la distorsion quadratique,– de critères subjectifs : qualité visuelle ou auditive.
1-12 Compression d’information
top related