-
IntroductionIntroductionà la théorie de l’informationà la théorie de l’information
David RousseauDavid Rousseau
Doctorant première année au LISADoctorant première année au LISA
Pr AgPr Ag de Physique à l’Université d’Angers de Physique à l’Université d’Angers
-
Organisation de l’exposéOrganisation de l’exposé
Cadre et historique de la théorie de l’information
Les principaux outils
Les théorèmes fondamentaux
Exemples d’applications en relation avec les activité du LISA
-
Comment est néeComment est néela théorie de l’information ?la théorie de l’information ?
• A l’origine une réflexion sur les techniques decommunication.
• Claude Shannon pose en 1948 les fondementsmathématiques des communications numériques.
-
A quoi sert la théorie deA quoi sert la théorie del’informationl’information ?
Vous disposez d ’une source de données.
• Quelle est la quantité d ’information et de redondance ?
• Quel est le taux de compression maximal sans pertes d’information ?
• Quelle est la complexité de ces données ?
Vos données traversent un système où règnent des perturbations
• Quel est l’effet des perturbations sur l’information ?
• Quel est le taux de transmission maximal sans pertes d ’information ?
-
Paradigme de ShannonParadigme de Shannon
SourceSource DestinataireDestinataireCanalCanal
PerturbationsPerturbations
messagemessage
Exemples illustrant le paradigme :
• cas d’une source analogique : la parole• cas d’une source numérique : l ’écriture• cas d’une séparation temporelle : lecture d ’un CD gravé
-
• Une source d’information est considérée comme le sièged’événements aléatoires.
• La quantité d’information d’un message se définit comme unemesure de son imprévisibilité.
Quantifier l’informationQuantifier l’information
La source est modélisée par une variable aléatoire X,son espace d’épreuve (x1,x2…,xn) est l’alphabet de la source.
nixXp ii ,...,2,1,)Pr( === ∑=
=n
i
ip1
1
La transmission d’un message serait inutile s’il étaitconnu à l’avance par son destinataire.
-
Quantité d’informationQuantité d’information
Soit h(Pr(x)) la quantité d’information apportée par la réalisation d’unévénement x de probabilité Pr(x).
Propriétés de la fonction h:
– Soit f une fonction croissante :
– f(1)=0.
– Soit x et y deux événements indépendants :
))Pr(
1()(x
fxh =
)()(),( yhxhyxh +=
Quantité d’information associée à la réalisation d’un événement x :
))log(Pr())Pr(/1log()( xxxh −==
-
Entropie d’une sourceEntropie d’une sourceIl s’agit de la quantité d’information moyenne associée à chaquesymbole de cette source :
[ ] )log()()(1
∑=
−==n
i
ii ppXhEXH
Cette expression définit l’entropie par symbole.
Exemple d ’une source binaire :
)1Pr(1)0Pr(
))1log()1()log(()(
−==−−+−=
p
ppppXH
C ’est une mesure de surprise
-
H(X) est maximum pour n fixé lorsque pi=1/n .
-
Information mutuelleInformation mutuelleC’est la quantité d’information que la donnéede l’une des variables apporte sur l’autre.
))Pr()/log(Pr(),( xyxyxi =
• Pr(x) probabilité que x soit émis
• Pr(xIy) probabilité a posteriori que x ait étéémis sachant que y a été reçu.
CanalCanalXX YY
),()Pr()Pr(
),Pr(log),( xyiyx
yxyxi =
=
i(x,y)=h(x) si Pr(xIy)=1
i(x,y)=0 si x et y sont indépendants
D’après la relation de Bayes :
-
Information mutuelle moyenneInformation mutuelle moyenne
Soit X et Y deux variables aléatoires (x1,x2,…xn) et(y1,y2…ym) leurs espaces d’épreuves respectifs.
[ ] ∑∑= =
−==
n
i
m
j ji
jiji
yxyxyxYXiEYXI
1 1
,,
)Pr()Pr()Pr(log)Pr(),(),(
∑∑==
==n
ii
jij
m
ij
jii yxyyxx ),Pr()Pr(;),Pr()Pr(
C ’est une mesure d ’indépendance
-
Le codage de sourceLe codage de sourceL’usage d’un canal coûte d’autant plus cher
que le message est long.
Pour diminuer ce coût, on substitue le message émis par la sourcepar un message aussi court que possible.
nq
H≤
)log(
Théorème fondamental du codage de source : Soit une source sansmémoire S d ’entropie par message H. Soit n la longueur moyennedes mots nécessaires au codage de ces messages, exprimé en nombrede symbole q-aire :
Le codage de source enlève la redondance de la source.
-
Exemple de codage de sourceExemple de codage de source
garbo.bmp garbo2.bmp
Ajout de bruit
On code les deux images avecun algorithme de compressionpar dictionnaire (Lempel Ziv)
-
Est-il indispensable de faireEst-il indispensable de faireappel aux probabilités pourappel aux probabilités pourquantifier l ’information ?quantifier l ’information ?
01010101010101010101010101010101
01101010000010011111001100110011
01001010101111000011101100101100
Par exemple comment décrire la complexité de ces suites ?
Imprimer 16 fois 01
Imprimer les 32 premierschiffres du développementbinaire de √2-1
Imprimer01001010101111000011101100101100
-
Mesure de complexitéMesure de complexité
• Complexité au sens de Kolmogorov (ou algorithmique) :
La plus courte longueur d ’un programme informatique telqu ’un ordinateur imprime la suite x et s ’arrête.
• Complexité au sens de Lempel Ziv:
La taille du dictionnaire après compression
-
Le codage de canalLe codage de canal
Le résultat des perturbations est une probabilité d’erreur parsymbole incompatible avec la qualité de restitution.
Le codage de canal ajoute de la redondance au message initial demanière à augmenter la sûreté de transmission en présence deperturbations.
);(max YXIC =Théorème fondamental sur le codage de canal: Si H
-
Représentation des codes linéairesReprésentation des codes linéairesen blocsen blocs
Code C(n,k) de longueur n, de dimension k
SourceCodeur decanal
Rendement R=k/n
n-k symboles de redondance
Mot de code c
(c1,c2,…,cn)Message m(m1,m2,…,mk)
-
Représentation matricielleReprésentation matricielle
• Matrice génératrice c=mG
lignesk
colonnesn
ggg
ggg
ggg
mmmccc
nkkk
n
n
nn
4444 34444 21
=
,2,1,
,22,21,2
,12,11,1
2121
...
.........
...
...
]...[]...[
0=TcH• Matrice contrôle de paritéLa matrice de contrôle H permet de détecter les erreurs
-
−
−−
−
=
kngggg
knggggkngggg
kngggg
G
...2100...00
0........................
.........21000
0...0...2100
0...00...210
11...
2210)(
−−++++=
nxncxcxccxc1
1...2
210)(−
−++++=kxkmxmxmmxm
knxkngxgxggxg−
−++++= ...2
210)(
)()()( xgxmxc =
• Représentation polynomiale :– Mot de Code c:– Message m:
• Polynôme générateur g(x) de degré n-k:
Représentation PolynomialeReprésentation Polynomiale• Cas des codes cycliques :
-
Contraintes du tatouage d’imagesContraintes du tatouage d’images
ÊLa marque doit être invisible
ËLa marque doit être indélébile:– compression avec perte
– conversion analogique/numérique
– fenêtrage, changement d’échelle
– lissage, rehaussement
• La robustesse peut être variable selon lesapplications:
Robustesse
Indexation Authentification Droits d’auteurs
Quantitéd’information
-
Contribution de la théorie deContribution de la théorie del ’information au tatouage d ’imagel ’information au tatouage d ’image
C=max(I(W;Y)) bits/transmission
Une transmission représente ici l ’élément le plus petit qui permet de transmettre lemessage: pixel, coefficient fréquentiel, bloc image
SignatureSignature Signature perturbéeSignature perturbéeCanalCanal
TraitementsTraitements
W={w1,w2,…wn}
B={b1,b2,…bn}
Y={y1,y2,…yn}
Quelle est la longueur maximale du message que l’on peutcacher dans une image ?
-
-1
-1
1
1
u
g(u)
è)çg(sy −+=
s: Signal d’entrée
η: Bruit additif
θ: Offset
y: Signal de sortie
Canal non linéaire à saturation. Canal non linéaire à saturation.
-
Quel est l ’effet de la non linéarité surQuel est l ’effet de la non linéarité surl ’information mutuelle?l ’information mutuelle?
)p(y)
)sp(y)ln(sp(ydy(s)fdsy)I(s;
s ∫∫=
-
)p(y)
)sp(y)ln(sp(ydy(s)fdsy)I(s;
s ∫∫=
I1(s)I1(s) calculé analytiquement :
EtudeEtude de I(s;y) dans le cas : s Gaussien de I(s;y) dans le cas : s Gaussien ηηηη Gaussien Gaussien
I1(s)=Icont(s)+J1(s)+J-1(s)
−=
2
ss
só2
uexp
2 ðó
1(u)f
−=
2
nn
nó2
uexp
2 ðó
1(u)f ∫
∞−
+==
u
nn )2
(12
1)du'(u'f(u)F
n
uerf
σ
∫∞−
+==
u
ss )2
(12
1)du'(u'f(u)F
s
uerf
σ
Fonctions densités de probabilité : Fonctions de répartition :
-
Expression analytique de IExpression analytique de I11
1y
1y
ny
n
2
y
n2
y
2
n
2
y
ncont s)è(yFó
óln
ó
ó1
2
1
2ó
ss)è(yfs)è(y
ó
ó1
2
1(s)I
=
−=
−+
−
−−+−+
−+
−=
[ ] { }
=
+−−+−−−=
1YPrè)s(1F1
lnè)s1(F1(s)J nn1
{ }
−=+−−
+−−=− 1YPrè)s1(F
è)lns1(F(s)J nn1
{ } )1(1Pr θ+−== yFY
{ } )1(11Pr θ+−=−= yFY
22sny σσσ +=
-
Dans le cas d ’un signal faible et d ’un fort offset :
Quel est l ’effet du bruit sur l’information mutuelle?Quel est l ’effet du bruit sur l’information mutuelle?
-
ConclusionConclusion
Vous souhaitez caractériser :
• Une source de données
• Un système entrée/sortie
La théorie de l’information : des outils et des théorèmesfondamentaux dont le domaine d ’application s’étend bien audelà de celui des télécommunications.