1Cours n°1−2
UV_TI
AlexandrinaROGOZAN
UV Théorie de l’ Information
Cours n° 1−2 :− Introduction à la théor ie de l’ information− Caractér isation des sources d’ information− Notions de probabilité (Rappel)− Entropie et Information :
− Entropie des sources discrètes sans mémoire− composées
− avec mémoire − q−ième extension d’une source
−Entropie limite, efficacité et redondance
2Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Introduction
� Théorie de l’ information <=> Processus de transmission numérique
Sources de perturbations
Source d’information
Émetteur
Canal Récepteur Destinataire
Message émis
Bruit et distorsions
Signal émis
Message reçu
Signal reçu
3Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Introduction
� Théorie de l’ information ≡ Théorie stochastique, f ondée sur l es pr opr i ét és st at i s t i ques , de messages
⇒ Notions fondamentales de probabilité, entropie, information mutuelle
4Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Introduction
� Théorie de l’ information => Li mi t es de per f or mances d’un système de transmission numérique
⇒ Mode de représentation de l’ information => quant i t é d’ i nf or mat i on associée à chaque signe émis
⇒ Cadence théorique maximale de transmission de l’ information => capaci t é d’ un syst ème de t r ansmi ssi on
5Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Introduction
� Théorie de l’ information => Résultats
⇒ Codage de source (ou compression des données)� Augmenter la compacité des signaux (sans ou avec di st or si on)�
Él i mi ner l a r edondance i nut i l e
⇒ Codage de canal� Accroître (aut ant que l ’ on veut ) la sécurité de la transmission en pr ésence de br ui t�
Aj out er de l a r edondance pour l a dét ect i on, voi r e l a cor r ect i on, de pr i nci pal es er r eur s
6Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Introduction
� Théorie de l’ information
⇒ � � ����� � ����� ������� ������������ ��� ����� � ��� ��� � �! ������"� �����$# �� � ���"�%���� � �!��� ����&������ &"� �"� � ' � �(")�*�+",�- .�*�+ . )�,�- (�+ � ����� ("/�0�/�1 2
� Objectif de recherche :
⇒ Optimiser conjointement le codeur de source et de canal
7Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Introduction
� Théorie de l’ information => Extension
⇒ Cryptographie� Assurer le secret de la communication�Encr ypt age à cl é publ i que�Si gnat ur e di gi t al e�Génér at eur s d’ encr ypt age pseudo−al éat oi r es
8Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Sources d’ information
� Définition : Systèmes capables de sélectionner et d’émettre des séquences de signes (ou messages) appartenant à un ensemble (ou alphabet) donné
⇒ Ex. de si gnes : lettres, chiffres, échantillons
⇒Ex. de sour ces : système à 2 niveaux logiques, texte
9Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Sources d’ information discrètes
� Caractéristique : al phabet ut i l i sé f i ni
� Exemples : Sources d’ information al phanumér i ques , de symbol es bi nai r es , d’ information numér i que(e.g. signaux quantifiés en amplitude, en fréquence ou en phase)
� Classification : ⇒ Sources sans mémoire : signes générés
i ndépendamment les uns des autres => modèle de Bernoulli
⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov
10Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Sources d’ information discrètes
� Classification :
⇒ Sources sans mémoire : quand les signes générés sont indépendants => modèle de Bernoulli
⇒ Sources avec mémoire : prise en compte de la dépendance entre un signe émis et les signes précédents => modèle de Markov
11Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Sources d’ information discrètes
� Classification des sources de Markov :
⇒ Source du 1 er ordre = la mémoire se limite au dernier signe émis
– Ex : modélisation du processus de réalisation d’un phonème
⇒ Source d’ordre m = la mémoire tient compte des m signes émis
– Ex : description statistique des langues écrites usuelles
12Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Sources d’ information continues
� Caractéristique : nombr e t héor i que de si gnes cr oî t à l ’ i nf i ni
⇒ Remarque : Limite pratique fixée par la précision limitée des observations
� Exemples : Sources de signaux analogiques : Parole, Musique, Images, Mesures
13Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Modélisation de sources d’ information
� Mécanisme st at i s t i que d’émission des signes
⇒ Source discrète : une loi de probabilité donnée associée à une variable aléatoire discrète
⇒ Source continue : une loi de densité de probabilité associée à une variable aléatoire continue
� Exemples :
⇒TEXTE = succession des réalisations de la variable aléatoire : "caractère sortant du clavier"
⇒ IMAGE_NB = succession de "niveaux de gris" mesurés sur une image
14Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Notions de probabilité (Rappel)� Source discrète ≈ var i abl e al éat oi r e di scr èt e
choisissant un si gne dans un al phabet de taille finie :
⇒ avec les probabilité qui satisfont la condition :
� Notations :⇒ − Événement aléatoire Ai ⇒ − Proba. de l’ événement aléatoire Ai� Propriétés : ⇒ qd. A est cer t ai n
⇒ qd. A est i mpossi bl e
S3 s1 ,s2 ,... ,sK P S4 si 4 pi5i 6 1
K
pi 7 1
S 7 si
P S7 si 7 P Ai
08 P A 8 1P A 9 1
P A 9 0
15Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Notions de probabilité (Rappel)� Propriétés :
⇒ Événements s’excluant mutuellement : A et =>
⇒ Quand l’événement A entraîne B : A⊂B =>
⇒Somme des événements:Événements A et B incompatibles : : k événements 2 à 2 incompatibles :
; Cas particulier pour K événements s’excluant mutuellement :
<A
P A = 1 > P ?AP A @ P B
P A A B = P A A P B
P A1 B P A2 B ... B P A K C 1
P A1 B A2 B ... B Ak C P A1 B P A2 B ... B P Ak
16Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Notions de probabilité (Rappel)� Propriétés :
⇒Somme des événements :: Événements A et B compatibles :
⇒ Produit des événements A et B: Événements A et B indépendants : : Événements A et B dépendants :
P AD B 8 P A D P B
P AD B 9 P A D P B E P AB
P AB 9 P A P B
P AB 8 P A et P AB 8 P B
17Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Notions de probabilité (Rappel)
� Probabilité conditionnelle de B sachant A F ⇒ Propriétés : � Événements A et B indépendants :
�� quand A⊂B
quand A et B incompatibles
� B⊂B1 =>
>
P B G AP B G A H P B
P B G A 9 P B
P AB 9 P A P B G A 9 P B P AG B08 P B G A 8 1
P B G A 9 1
P B G A 9 0
P BI A J P B1I A
18Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Notions de probabilité� Propriétés de la probabilité conditionnelle :
⇒ qd. B et C incompatibles
� Généralisation pour k événements Bk 2 à 2 incompatibles
⇒
⇒ Probabilité totale d’un événement B − l ’ expér i ence Aa exact ement K i ssues A
k 2 à 2 i ncompat i bl es
P BD C G A 9 P B G A D P C G A
P<B G A 9 1E P B G A
P B K P A1 P BI A1 L P A2 P BI A2 L ... L P AK P BI AK
19Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Quantité d’ information propre
� Signal = Information + Redondance
� Objectif : Coder seulement l ’ information et éliminer la redondance
⇒ Besoin d’évaluation objective de la quantité d’ information propre
20Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie et Information� Information => effet de surprise ; Entropie => degré
d’ incertitude
⇒ Source S pouvant émettre N signes si équiprobables
degré d’ incertitude ≈
(selon Hartley)
⇒ Source S pouvant émettre N signes si non−équiprobables
(selon Shannon)
H S M$N Oi P 1
N
P SM si log P SM si sh Q signe
f N 7 log N 7SR log P S7 si sh
21Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie des sources discrètes sans mémoire
⇒ Quantité d’ information associée en moyenne à chaque signe s
i d’une source S pouvant émettre N signes
statistiquement i ndépendant s les uns des autres
⇒ Quantité moyenne d’ information nécessaire pour spécifier quel signe a été émis par la source
: ∀ séquence de si gnes émise par une source discrète d’entropie H => séquence de bi t savec en moyenne H bits/signe (1er th. de Shannon)
H0 S 9$E Oi P 1
N
P S9 si log P S9 si sh T signe
22Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie des sources discrètes sans mémoire� Unité de mesure de la quantité d’ information =>
dépend de la base du log utilisé ::hartley ou dit pour une base 10:nit pour une base e :shannon (sh) pour une base 2
U Remarque : Ne pas confondre le shannon avec le bit !!!:Un bit − variable binaire − transporte un shannon d’ information ss i ses 2 ét at s sont équi pr obabl es . : alors que
•
Nombresymbolesbinaires bits VXWEntropie sh Y�Z
23Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie des sources discrètes sans mémoire� Propriétés de l’entropie
⇒ Cont i nui t é car l’entropie H(S) est une fonction continue et convexe de p
i . Montrer ceci pour N=2.
⇒ Symét r i e par ex. pour une source binaire.
⇒ Pr opr i ét és ext r émal es :: quand pi=1/N : quand p
i=1 et les autres sont nulles
[ Monter que
quand
H S \ 0,1 \ H S \ 1,0
MAX H S ] log N
MIN H S ^ 0
H S _ 0
pi logpi ` 0 pi ] 0
24Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie des sources composées
a Soit S une source pouvant être décomposée en une source X (à K signes) et une source Y (à J signes) qui émet t ent s i mul t anément
⇒ Ent r opi e de l a sour ce composée S (notée XY) :: quand X et Y sont indépendantes : quand X et Y sont liées
H XY M H X b H Y
H XY c H X b H Y
H XY d H X e H Y f X
25Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie conditionnelle moyenne de sources discrètes sans mémoire
� : entropie conditionnelle moyenne de la source Y liée à la source X
⇒ : entropie conditionnelle de la source Y quand la source X produit le signe x
i� Propriétés :⇒
⇒ , car
⇒
H Y G X 9 Oi P 1
N
p xi H Y G xi
H Y g xi
H Y G X
0 h H Y i X h H Y
H X j H Y k X ] H Y j H X k YH Y l X m H X l Y
H XY ] H YX
26Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie et Information� Information sur une source => diminution du degré
d’ incertitude ; Quant i t é d’ i nf or mat i on = DDE ( Di mi nut i on D’ Ent r opi e)� Cas particulier : Source complètement prévisible;
Quantité d’ information acquise lorsque l’ état d’un système physique devient entièrement connu = Entropie du système
� Cas général : Soit X la source à ét udi er et soit Y une source pouvant êt r e obser vée afin fournir de renseignements sur X
⇒⇒ , i nf or mat i on mut uel l e moyenne contenue dans les sources X et Y
I X n H X o 0
I Y p X n H X o H X l YI Y p X n I X p Y n I X; Y
27Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie et Information
� Information mutuelle moyenne
⇒ Définition :
⇒Diagramme de Venn :
⇒ Propriétés :
− sources X et Y i ndépendant es : − sources X et Y équi val ent es :
I X;Y n H X q H Y o H XY
I X;Y n 0
I X;Y n I X n I Y n H X n H Y
H(XY)
H(Y)H(X)
I(X;Y)
28Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie et Information
� Débit d’ information moyen (ou taux d’emission de la source)
⇒ Définition
où T représente la durée moyenne d’émission d’un signe
⇒ Remarque
• Débi t d’ i nf or mat i on moyen, exprimé en ≡ Cadence d’ émi ssi on, exprimée en seulement pour une source de symboles binaires équiprobables ou exprimée en qd. celle−ci coïncide à la vitesse de modulation de la voie.
rH X s H X
Tsh t s
shu sbitsu s
bauds
29Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Entropie et Information
� Conclusion :
⇒ L’entropie dépend des probabilités pi des signes s
i émis
par la source S, mais ne dépend nullement de l a nat ur e de ces si gnes
:Entropie = mesure quantitative de l’ information contenue dans un message
:Entropie ≠ mesure qualitative de l’ information ou du contenu réel du message
30Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Sources discrètes avec mémoire
� Soit X une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes :⇒ Comportement stationnaire,
⇒ Émission d’un signe en fonction des m signes précédents.:Sachant qu’une séquence seq donnée de m signes ∈ SEQ (ensemble comportant Nm séquences distinctes), alors
l’entropie de la source X, conditionnelle à une séquence seq donnée , vaut :
H XI seq Kwv xi y 1
N
P xi I seq log P xi I seq
31Cours n°1−2
UV_TI
AlexandrinaROGOZAN
Sources discrètes avec mémoire� L’entropie d’une source de Markov homogène d’ordre m , dont l’alphabet comporte N signes, vaut :
⇒ Particularisation de la formule de l’entropie d’une expérience composée XY :
au calcul de l’entropie conjointe
Hm X 3 H Xz SEQ 3{xseq y 1
Nm
P seq H X z seq
H XY s H YX s H X | H Y } XH SEQ,X s H SEQ | H X } SEQ
Hm X ~ H SEQ,X � H SEQ sh� signe
32
UV_TI
Cours n°1−2 Alexandrina ROGOZAN
Entropie de la q−ième extension d’une source S
� : Source générant des groupes de q signes, c’est à dire des vecteurs :
� Entropie de la q−ième extension
Sq
x1 , x2 , ...,xq
Sq
H Sq 9 H X1 ,X2 , ...,Xq
H Sq 9 H X1 D H X2G X1 D ...D H Xq G X1 ...Xq � 1
H Sq 9 H X1 , X2 , ...,Xq � 1 D H Xq G X1 ,X2 , ...,Xq � 1...
33
UV_TI
Cours n°1−2 Alexandrina ROGOZAN
Entropie de la q−ième extension d’une source S� Extension d’une sour ce sans mémoi r e
:Vecteur émis = Suite I . I . D. de signes
:Vecteur émis = Suite I . N. D. de signes
x1 , x2 , ...,xq
H Sq 3�xi y 1
q
H0 X i 3 qH0 X sh� séq.deqsignes
H Sq ~��i � 1
q
H0 Xi sh� séq.deq signes
x1 , x2 , ...,xq
34
UV_TI
Cours n°1−2 Alexandrina ROGOZAN
Entropie de la q−ième extension d’une source S
� Extension d’une sour ce avec mémoi r e − de
Markov d’ordre m sur un alphabet de N signes −
⇒ : Source de Markov d’ordre générant
séquences (ou mots) distincts de q signes
H Sq � qHm X sh� mot deq signes
� 7 m
qNqSq
35
UV_TI
Cours n°1−2 Alexandrina ROGOZAN
Entropie limite d’un processus stochastique
� Source S émettant q signes liés :
� Var i at i on de l ’ ent r opi e de la séquence émise, avec sa longueur q ;
� Valeur de l ’Entropie Limite si la limite existe :
⇒1ère déf. :
⇒2ème déf. :
08 H Xq G X1 ...Xq � 1 8 H Xq � 1G X1 ...Xq � 2 8 ...8 H X1
x1 , x2 , ...,xq
H � C limq � � 1
qH X1 ,X2 , ...,Xq C lim
q � � 1
qH Sq sh � signe
H’ � C limq � � H Xq i X1...Xq � 1 sh � signe
36
UV_TI
Cours n°1−2 Alexandrina ROGOZAN
Entropie limite d’un processus stochastique� Exemples et Propriétés :
⇒Séquence I . I . D. de q signes ::Séquences de q lettres (∈ alphabet de N lettres équiprobables) − cas de la dactylographe − :
⇒Séquence I . N. D. de q signes : peut ne pas exister
⇒Processus stochastique st at i onnai r e : existe tjr.:Source de Markov homogène d’ordre m=q−1 :
H �!^ l imq � � H Xq � X1...Xq � 1 ^ l im
q � � H Xq � Xq � 1 ^ H X2 � X1
H � ^ H’ �H �
H � ^ log N
H � ^ H X1
37
UV_TI
Cours n°1−2 Alexandrina ROGOZAN
Efficacité et redondance d’une source
�S9 H � S
HMAX S8 1
r S K 1 vX� S K H MAX S v H � S
H MAX SJ 1
�S � 1
� Efficacité informationnelle de la source S
⇒Si alors pl us de si gnes que l e mi ni mum nécessai r e utilisés pour émettre un message donné ( => il y a des signes redondants )
� Redondance relative de la source S
⇒Mesure de l’adéquation de son alphabet aux messages délivrés
⇒
38
UV_TI
Cours n°1−2 Alexandrina ROGOZAN
Pourquoi le codage de source ?
− pour améliorer l’efficacité informationnelle d’une source S, notée , en introduisant un codage préalable des signes.
− pour réduire la redondance des messages émis par cette source S, notée .
–
�s
r s