le traitement des essences vidéo & audio : du mpeg 1 au mpeg 4

55
1 F TITAN TITAN 23/06/22 23/06/22 Le traitement des essences Le traitement des essences vidéo & audio vidéo & audio : : Du MPEG 1 au MPEG 4 Du MPEG 1 au MPEG 4 Formation Koan Formation Koan

Upload: rian

Post on 04-Jan-2016

42 views

Category:

Documents


2 download

DESCRIPTION

Le traitement des essences vidéo & audio : Du MPEG 1 au MPEG 4. Formation Koan. Le traitement des essences : du MPEG 1 au MPEG 4. Principes de numérisation : Quantification, échantillonnage Le codage source (Compresssion numérique) Codage de canal - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

11 FF

TITANTITAN

20/04/2320/04/23

Le traitement des essences Le traitement des essences vidéo & audiovidéo & audio : :

Du MPEG 1 au MPEG 4Du MPEG 1 au MPEG 4

Formation Koan Formation Koan

Page 2: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

22 FF

TITANTITAN

20/04/2320/04/23

Le traitement des essences :Le traitement des essences :du MPEG 1 au MPEG 4du MPEG 1 au MPEG 4

1.1. Principes de numérisation :Principes de numérisation :1.1. Quantification, échantillonnage Quantification, échantillonnage

2.2. Le codage source (Compresssion numérique)Le codage source (Compresssion numérique)

3.3. Codage de canal Codage de canal

2.2. Le système de représentation des couleurs en Le système de représentation des couleurs en télévision télévision

3.3. L’échantillonnage des imagesL’échantillonnage des images

4.4. La compression : spatiale et temporelleLa compression : spatiale et temporelle

5.5. Les algorithmes de compression : DCT, Ondelettes, Les algorithmes de compression : DCT, Ondelettes, fractales, …fractales, …

6.6. Les normes ISO de compression numérique des Les normes ISO de compression numérique des images : JPEG, MPEG 1 – 2 - 4images : JPEG, MPEG 1 – 2 - 4

Page 3: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

33 FF

TITANTITAN

20/04/2320/04/23

La normalisation numérique : trois La normalisation numérique : trois opérations différentes et successivesopérations différentes et successives

La quantification :La quantification :échantillonnage échantillonnage et et transformtransformation ation d’d’un signal en valeur un signal en valeur numérique binairenumérique binaire

le codage de source :le codage de source :représenter de manière compacte les grandeurs représenter de manière compacte les grandeurs quantifiées (compression numérique)quantifiées (compression numérique)

le codage de canal :le codage de canal :stocker, transmettre des codes numériques (les stocker, transmettre des codes numériques (les systèmes de modulation requis pour les différentes systèmes de modulation requis pour les différentes infrastructures de diffusions et de télécommunications : infrastructures de diffusions et de télécommunications : câble, satellite, terrestre, câble, satellite, terrestre, réseaux inforréseaux informatiques, …matiques, …))

Page 4: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

44 FF

TITANTITAN

20/04/2320/04/23

64646464128128128128 1616161632323232 44448888 00002222

2266226622772277 2244224422552255 2222222222332233 2200220022112211

11110000 00000000 00001111 00001111

La quantification : transformerLa quantification : transformerune valeurune valeur en codage binaire en codage binaire

+ 64+ 64+ 64+ 640000 00000000 0000+ 8+ 8+ 8+ 8 0000+ 2+ 2+ 2+ 2

Total : 74 Total : 74

Page 5: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

55 FF

TITANTITAN

20/04/2320/04/23

+ 64+ 64+ 64+ 64128128128128 + 16+ 16+ 16+ 16+ 32+ 32+ 32+ 32 + 4+ 4+ 4+ 4+ 8+ 8+ 8+ 8 + 0+ 0+ 0+ 0+ 2+ 2+ 2+ 2

11111111 11111111 11111111 00001111

+ 0+ 0+ 0+ 00000 + 0+ 0+ 0+ 0+ 0+ 0+ 0+ 0 + 0+ 0+ 0+ 0+ 0+ 0+ 0+ 0 + 1+ 1+ 1+ 1+ 0+ 0+ 0+ 0

00000000 00000000 00000000 11110000

La quantification La quantification sur 8 bits :sur 8 bits :de de 0 à 256 valeurs 0 à 256 valeurs

Valeur minimum :Valeur minimum :

Valeur maximum :Valeur maximum :

= = 256256

= = 001001

Page 6: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

66 FF

TITANTITAN

20/04/2320/04/23

La quantification La quantification sur 8 bits :sur 8 bits : de de 0 0 à 256 valeurs : à 256 valeurs :

Un Bit peut connaître deux états: Un Bit peut connaître deux états: 0 ou 1.0 ou 1.

Les Bits en informatique sont généralement placés en série de 8 BITS Les Bits en informatique sont généralement placés en série de 8 BITS appelés BYTES ou OCTET.appelés BYTES ou OCTET.

Avec 8 BITS dans un BYTE ou OCTET, on peut différentier Avec 8 BITS dans un BYTE ou OCTET, on peut différentier 256256 valeurs valeurs

numériques différentes comprises entre numériques différentes comprises entre 0 et 255. 0 et 255.

00000000 00000000 00000000 00001111

00000000 00000000 00000000 11110000

00000000 00000000 00000000 00000000

11111111 11111111 11111111 00001111

11111111 11111111 11111111 11111111

= 0

= 1

= 2

= 254

= 255

Page 7: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

77 FF

TITANTITAN

20/04/2320/04/23

La quantification La quantification sur sur 9,10,11,12,149,10,11,12,14 bits : bits :

A chaque fois que l’on ajoute un bit supplémentaire, A chaque fois que l’on ajoute un bit supplémentaire, le nombre de combinaisons (et donc de valeurs) double :le nombre de combinaisons (et donc de valeurs) double :

9 Bits possèdent 9 Bits possèdent 512 états 512 états 10 Bits possèdent 10 Bits possèdent 1.024 états 1.024 états 11 Bits possèdent 11 Bits possèdent 2.048 états 2.048 états 12 Bits possèdent 12 Bits possèdent 4.096 états 4.096 états13 Bits possèdent 13 Bits possèdent 8.192 états 8.192 états14 Bits possèdent 14 Bits possèdent 16.384 états16.384 états15 Bits possèdent 15 Bits possèdent 32.768 états32.768 états16 Bits possèdent16 Bits possèdent 65.536 états65.536 états

Pour un nombre supérieur à 2.500, il faut un codage sur au Pour un nombre supérieur à 2.500, il faut un codage sur au moins 12 bits, pour 50.000, il en faut au moins 16 bits.moins 12 bits, pour 50.000, il en faut au moins 16 bits.

Page 8: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

88 FF

TITANTITAN

20/04/2320/04/23

Nombre entier : 173 (3 digit) - codage binaire : 10101101 (8 digit)Nombre entier : 173 (3 digit) - codage binaire : 10101101 (8 digit)

0 +0 +0 +0 +128 +128 +128 +128 + 0 +0 +0 +0 +32 +32 +32 +32 + 4 +4 +4 +4 +8 +8 +8 +8 + 11110 +0 +0 +0 +

00001111 00001111 11111111 11110000

64646464128128128128 1616161632323232 44448888 11112222

Le codage binaire : Le codage binaire : l’inflation des ressources !l’inflation des ressources !

Page 9: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

99 FF

TITANTITAN

20/04/2320/04/23

La normalisation numérique : trois La normalisation numérique : trois opérations différentes et successivesopérations différentes et successives

La quantification :La quantification :échantillonnageéchantillonnage et et transfotransforrmmation ation d’d’un signal en valeur un signal en valeur numérique binairenumérique binaire

le codage de source :le codage de source :représenter de manière compacte les grandeurs représenter de manière compacte les grandeurs quantifiées (compression numérique)quantifiées (compression numérique)

le codage de canal :le codage de canal :stocker, transmettre des codes numériques (les stocker, transmettre des codes numériques (les systèmes de modulation requis pour les différentes systèmes de modulation requis pour les différentes infrastructures de diffusions et de télécommunications : infrastructures de diffusions et de télécommunications : câble, satellite, terrestre, lignes téléphoniques)câble, satellite, terrestre, lignes téléphoniques)

Page 10: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1010FF

TITANTITAN

20/04/2320/04/23

Le Codage de source : Le Codage de source : la compression numérique des imagesla compression numérique des images

Objectif de la compression numérique : réduire le débit Objectif de la compression numérique : réduire le débit en comprimant fortement le poids des images à stocker en comprimant fortement le poids des images à stocker ou à transmettre ou à transmettre

Exploitation de :Exploitation de :

• Les redondances spatiales: intra image.Les redondances spatiales: intra image.• Les redondances temporelles: inter imagesLes redondances temporelles: inter images• Les redondances subjectives: vision de détailsLes redondances subjectives: vision de détails• Les redondances statistiques: codages entropiques.Les redondances statistiques: codages entropiques.

But : réduire le débit et conserver autant que possible la But : réduire le débit et conserver autant que possible la qualité des images originales.qualité des images originales.

Page 11: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1111FF

TITANTITAN

20/04/2320/04/23

La normalisation numérique : trois La normalisation numérique : trois opérations différentes et successivesopérations différentes et successives

La quantification :La quantification :échantillonnageéchantillonnage et et transfotransforrmmation ation d’d’un signal en valeur un signal en valeur numérique binairenumérique binaire

le codage de source :le codage de source :représenter de manière compacte les grandeurs représenter de manière compacte les grandeurs quantifiées (compression numérique)quantifiées (compression numérique)

le codage de canal :le codage de canal :stocker, transmettre des codes numériques (les stocker, transmettre des codes numériques (les systèmes de modulation requis pour les différentes systèmes de modulation requis pour les différentes infrastructures de diffusions et de télécommunications : infrastructures de diffusions et de télécommunications : câble, satellite, terrestre, lignes téléphoniques)câble, satellite, terrestre, lignes téléphoniques)

Page 12: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1212FF

TITANTITAN

20/04/2320/04/23

Le codage de source Le codage de source & le codage de canal & le codage de canal

NumériqueNumériqueAnalogiqueAnalogique

NTSCNTSC

PALPAL

SECAMSECAM

PAL +PAL +

D2MACD2MAC

HDMACHDMAC

Source : ISOSource : ISO Canal : DVBCanal : DVB

MM

PP

EE

GG

22

/ /

44

DVB-C :DVB-C :QAMQAM

DVBS :DVBS :

QPSKQPSK

DVBT :DVBT :

COFDMCOFDM

XDSLXDSL

Page 13: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1313FF

TITANTITAN

20/04/2320/04/23

CodageCodagede l’imagede l’imageCodageCodage

de l’imagede l’image

CodageCodagedu son n°1du son n°1

CodageCodagedu son n°1du son n°1

CodageCodagedu son n°...du son n°...

CodageCodagedu son n°...du son n°...

Codage des Codage des donnéesdonnées

Codage des Codage des donnéesdonnées

Codage de Codage de sourcesource

Codage de Codage de sourcesource

MultiplexageMultiplexagepourpour

1 programme1 programme

MultiplexageMultiplexagepourpour

1 programme1 programmeEmbrouillageEmbrouillageEmbrouillageEmbrouillage

Multiplexage Multiplexage des diversdes divers

programmesprogrammes

Multiplexage Multiplexage des diversdes divers

programmesprogrammes

AutresAutresProgrammesProgrammes

AutresAutresProgrammesProgrammes

Codage de Codage de canalcanal

Codage de Codage de canalcanal

ModulationModulationModulationModulation

CCodage source - odage source - CCodage de canal :odage de canal :

Page 14: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1414FF

TITANTITAN

20/04/2320/04/23

Le traitement des essences :Le traitement des essences :du MPEG 1 au MPEG 4du MPEG 1 au MPEG 4

1.1. Principes de numérisation :Principes de numérisation :1.1. Quantification, échantillonnage Quantification, échantillonnage

2.2. Le codage source (Compresssion numérique)Le codage source (Compresssion numérique)

3.3. Codage de canal Codage de canal

2.2. Le système de représentation des couleurs en Le système de représentation des couleurs en télévision télévision

3.3. L’échantillonnage des imagesL’échantillonnage des images

4.4. La compression : spatiale et temporelleLa compression : spatiale et temporelle

5.5. Les algorithmes de compression : DCT, Ondelettes, Les algorithmes de compression : DCT, Ondelettes, fractales, …fractales, …

6.6. Les normes ISO de compression numérique des Les normes ISO de compression numérique des images : JPEG, MPEG 1 – 2 - 4images : JPEG, MPEG 1 – 2 - 4

Page 15: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1515FF

TITANTITAN

20/04/2320/04/23

La Fréquence d’échantillonnageLa Fréquence d’échantillonnage

Un signal est numérisé par un convertisseur Un signal est numérisé par un convertisseur analogique / numérique. analogique / numérique.

Il est découpé à un rythme régulier ou période. On Il est découpé à un rythme régulier ou période. On défini ainsi sa fréquence d’échantillonnage.défini ainsi sa fréquence d’échantillonnage.

La loi de Nyquist détermine que la fréquence La loi de Nyquist détermine que la fréquence d’échantillonnage doit être au moins le double de la d’échantillonnage doit être au moins le double de la plus haute fréquence reproductible.plus haute fréquence reproductible.

La fréquence d’échantillonnage est au minimum de La fréquence d’échantillonnage est au minimum de 13,5 Mhz, c’est-à-dire au moins deux fois supérieure à 13,5 Mhz, c’est-à-dire au moins deux fois supérieure à la fréquence maximale du signal qui est de 5,5 Mhz.la fréquence maximale du signal qui est de 5,5 Mhz.

A chaque période le signal est quantifié et converti en A chaque période le signal est quantifié et converti en valeurs binaires 0 ou 1.valeurs binaires 0 ou 1.

Page 16: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1616FF

TITANTITAN

20/04/2320/04/23

Le système couleur en télévision :Le système couleur en télévision :11 pixel pixel = 3 valeurs = 3 valeurs

RR

BB

V - GV - G

Composants couleurComposants couleur == R + V + B = Bla R + V + B = Blanc nc

Page 17: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1717FF

TITANTITAN

20/04/2320/04/23

Le système couleur en télévision :Le système couleur en télévision :RGB – RVB RGB – RVB

Red - RougeRed - Rouge

Blue - BleuBlue - Bleu

Green - VertGreen - Vert

Composants couleurComposants couleur

= 256 niveaux de = 256 niveaux de RougeRouge

= 256 niveaux = 256 niveaux VertVert

= 256 niveaux = 256 niveaux BleuBleu

= = codage sur 8 bitscodage sur 8 bits

Page 18: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1818FF

TITANTITAN

20/04/2320/04/23

VertVert

BleuBleu

RougeRouge

Système RVBSystème RVB

R - YR - Y

B - YB - Y

YY

Composants couleurComposants couleur

Le système couleur en télévision :Le système couleur en télévision :Y = Y = 0,3 R0,3 R + + 0,59 V0,59 V + + 0,11 B0,11 B

Page 19: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

1919FF

TITANTITAN

20/04/2320/04/23

Le système couleur en télévision :Le système couleur en télévision :11 pixel pixel = 3 valeurs = 3 valeurs

R - YR - Y

B - YB - Y

YY

Composants couleurComposants couleur

= luminance= luminance

== chrominancechrominance

= chrominance= chrominance

Page 20: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2020FF

TITANTITAN

20/04/2320/04/23

Le traitement des essences :Le traitement des essences :du MPEG 1 au MPEG 4du MPEG 1 au MPEG 4

1.1. Principes de numérisation :Principes de numérisation :1.1. Quantification, échantillonnage Quantification, échantillonnage

2.2. Le codage source (Compresssion numérique)Le codage source (Compresssion numérique)

3.3. Codage de canal Codage de canal

2.2. Le système de représentation des couleurs en Le système de représentation des couleurs en télévisiontélévision

3.3. L’échantillonnage des imagesL’échantillonnage des images

4.4. La compression : spatiale et temporelleLa compression : spatiale et temporelle

5.5. Les algorithmes de compression : DCT, Ondelettes, Les algorithmes de compression : DCT, Ondelettes, fractales, …fractales, …

6.6. Les normes ISO de compression numérique des Les normes ISO de compression numérique des images : JPEG, MPEG 1 – 2 - 4images : JPEG, MPEG 1 – 2 - 4

Page 21: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2121FF

TITANTITAN

20/04/2320/04/23

Avis de l’UIT :Avis de l’UIT : CCIR 601CCIR 601Définition d’une image Tv en format 4/3 :Définition d’une image Tv en format 4/3 :

720 pixels/720 pixels/ligneligne

576 lignes/576 lignes/Pal ou SecamPal ou Secam

25 images/seconde25 images/seconde

Page 22: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2222FF

TITANTITAN

20/04/2320/04/23

720 pixels/720 pixels/ligneligne

576 lignes/576 lignes/PPal ou al ou SSecamecam

Une Image VidéoUne Image Vidéo numérique Tv SD numérique Tv SD::6.480 Macro-Blocs6.480 Macro-Blocs

88 xx 8 pixels8 pixels = 1 macro-bloc= 1 macro-bloc

Page 23: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2323FF

TITANTITAN

20/04/2320/04/23

137137137137 137137137137 137137137137 137137137137

23232121 21212323 21212222 21212121

130130132132 135135133133 135135132132 121121142142

130130132132 136136133133 135135132132 140140142142

129129123123 135135123123 137137132132 138138142142

130130132132 135135133133 135135132132 141141145145

132132132132 132132121121 132132132132 132132142142

133133132132 135135134134 137137132132 140140142142

Echantillonnage luminance : Echantillonnage luminance : Macro- bloc 8 x 8 pixelsMacro- bloc 8 x 8 pixels

Page 24: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2424FF

TITANTITAN

20/04/2320/04/23

R - YR - Y

B - YB - Y

YY

Le système couleur en télévision :Le système couleur en télévision :échantillonéchantillonnage en 4.4.4 :nage en 4.4.4 :

137137

147147

127127

137137

133133

9797

128128

127127

125125

127127

157157

141141

147147127127

141141

141141

127127 141141

137137

147147

127127

137137

125125

127127147147127127

133133

9797

128128157157141141

141141127127

137137

133133

9797

128128

127127

125125

127127

157157

141141

147147

141141

141141

137137147147

127127

137137

133133

125125

127127147147127127

9797

128128

127127

157157

141141141141

141141 137137 125125127127

137137

147147

127127

137137

133133

9797

128128

127127

125125

127127

157157

141141

147147127127

141141

141141

127127 141141

137137

147147

127127

137137

125125

127127147147127127

133133

9797

128128157157141141

141141127127

137137

133133

9797

128128

127127

125125

127127

157157

141141

147147

141141

141141

137137147147

127127

137137

133133

125125

127127147147127127

9797

128128

127127

157157

141141141141

141141 137137 125125127127

137137

147147

127127

137137

133133

9797

128128

127127

125125

127127

157157

141141

147147127127

141141

141141

127127 141141

137137

147147

127127

137137

125125

127127147147127127

133133

9797

128128157157141141

141141127127

137137

133133

9797

128128

127127

125125

127127

157157

141141

147147

141141

141141

137137147147

127127

137137

133133

125125

127127147147127127

9797

128128

127127

157157

141141141141

141141 137137 125125127127

Page 25: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2525FF

TITANTITAN

20/04/2320/04/23

Les différents modes Les différents modes d’échantillonnage en Tv numérique :d’échantillonnage en Tv numérique :

4.2.2. : sur un échantillon de 4 pixels : 4 échantillons 4.2.2. : sur un échantillon de 4 pixels : 4 échantillons luminance, mais seulement luminance, mais seulement 2 échantillons2 échantillons chrominance chrominance (B et R)(B et R) tous tous les deux pixelsles deux pixels. C ’est le . C ’est le format D1, Betacam numérique, DVC-Pro 50.format D1, Betacam numérique, DVC-Pro 50.

4.1.1. : sur un échantillon de 4 pixels : 4 échantillons 4.1.1. : sur un échantillon de 4 pixels : 4 échantillons luminance, mais seulement luminance, mais seulement 2 échantillons2 échantillons chrominance chrominance (B et R)(B et R) tous tous les quatre pixelsles quatre pixels. C ’est le . C ’est le format DVC-Pro 25.format DVC-Pro 25.

4.2.0. : sur un échantillon de 4 pixels : 4 échantillons 4.2.0. : sur un échantillon de 4 pixels : 4 échantillons luminance, mais seulement luminance, mais seulement 2 échantillons2 échantillons chrominance chrominance (B (B ou ou R)R) tous les deux pixels. C ’est le tous les deux pixels. C ’est le format du Dv et Dv-Camformat du Dv et Dv-Cam

Page 26: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2626FF

TITANTITAN

20/04/2320/04/23

003737 0000 003737 0000

002121 0000 002222 0000

003232 0000 003232 0000

003232 0000 003232 0000

002323 0000 003232 0000

003232 0000 003535 0000

004242 0000 003232 0000

004242 0000 003939 0000

Echantillonnage Echantillonnage chrominance chrominance : : Macro- bloc 8 x 8 pixelsMacro- bloc 8 x 8 pixels : 4 1 1 : 4 1 1

Page 27: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2727FF

TITANTITAN

20/04/2320/04/23

003737 003737 003737 003737

002121 002323 002222 002121

004242 003333 003232 004242

4242 003333 003232 004242

005353 002323 003232 004242

004242 003333 003232 004545

003232 002121 003232 004242

004242 003434 003232 004242

Echantillonnage Echantillonnage chrochrominance : minance : Macro- bloc 8 x 8 pixelsMacro- bloc 8 x 8 pixels – 4 2 0 – 4 2 0

00

Page 28: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2828FF

TITANTITAN

20/04/2320/04/23

Le traitement des essences :Le traitement des essences :du MPEG 1 au MPEG 4du MPEG 1 au MPEG 4

1.1. Principes de numérisation :Principes de numérisation :1.1. Quantification, échantillonnage Quantification, échantillonnage

2.2. Le codage source (Compresssion numérique)Le codage source (Compresssion numérique)

3.3. Codage de canal Codage de canal

2.2. Le système de représentation des couleurs en Le système de représentation des couleurs en télévisiontélévision

3.3. L’échantillonnage des imagesL’échantillonnage des images

4.4. La compression : spatiale et temporelleLa compression : spatiale et temporelle

5.5. Les algorithmes de compression : DCT, Ondelettes, Les algorithmes de compression : DCT, Ondelettes, fractales, …fractales, …

6.6. Les normes ISO de compression numérique des Les normes ISO de compression numérique des images : JPEG, MPEG 1 – 2 - 4images : JPEG, MPEG 1 – 2 - 4

Page 29: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

2929FF

TITANTITAN

20/04/2320/04/23

LLa compressa compression spatiale vs la ion spatiale vs la compression temporellecompression temporelle ::

Compression temporelle = GOP : Group of picturesCompression temporelle = GOP : Group of pictures

Page 30: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3030FF

TITANTITAN

20/04/2320/04/23

Le traitement des essences :Le traitement des essences :du MPEG 1 au MPEG 4du MPEG 1 au MPEG 4

Principes de numérisation :Principes de numérisation :• Quantification, échantillonnage Quantification, échantillonnage • Le codage source (Compresssion numérique)Le codage source (Compresssion numérique)• Codage de canal Codage de canal

Le système de représentation des couleurs en Le système de représentation des couleurs en télévisiontélévision

L’échantillonnage des imagesL’échantillonnage des images La compression : spatiale et temporelleLa compression : spatiale et temporelle Les algorithmes de compression : DCT, Ondelettes, Les algorithmes de compression : DCT, Ondelettes,

fractales, …fractales, … Les normes ISO de compression numérique des Les normes ISO de compression numérique des

images : JPEG, MPEG 1 – 2 - 4images : JPEG, MPEG 1 – 2 - 4

Page 31: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3131FF

TITANTITAN

20/04/2320/04/23

Les formats de Compression : Les formats de Compression : La DCT La DCT (Discrete Cosinus Transform) (Discrete Cosinus Transform)

La DCT est utilisée pour le Jpeg en image fixe et pour le La DCT est utilisée pour le Jpeg en image fixe et pour le Mpeg-1, Mpeg-2, ou le Mpeg-4. Mpeg-1, Mpeg-2, ou le Mpeg-4.

1.1. Division de l’image en Macro Blocs par bloc de 8 x 8 Division de l’image en Macro Blocs par bloc de 8 x 8 pixels.pixels.

2. 2. La DCT opère une transformation du domaine spatial de La DCT opère une transformation du domaine spatial de pixels en domaine d’espace de fréquence. Elle utilise une pixels en domaine d’espace de fréquence. Elle utilise une fonction mathématique basée sur la transformée de fonction mathématique basée sur la transformée de Fourier.Fourier.

On aboutit à une matrice dont les différentes valeurs On aboutit à une matrice dont les différentes valeurs vont directement représenter la quantité de détails dans vont directement représenter la quantité de détails dans la portion d’image concernée.la portion d’image concernée.

Page 32: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3232FF

TITANTITAN

20/04/2320/04/23

Les formats de Compression : Les formats de Compression : la DCT la DCT (Discrete Cosinus Transform)(Discrete Cosinus Transform)

135135 136136 152152 132132 130130 147147 155155 138138

138138 137137 151151 134134 132132 145145 139139 141141

142142 143143 132132 135135 153153 154154 138138 140140

153153 144144 132132 132132 142142 132132 132132 132132

144144 151151 156156 140140 136136 141141 144144 140140

150150 152152 141141 132132 132132 152152 132132 132132

136136 132132 142142 138138 122122 124124 132132 132132

148148 132132 148148 142142 132132 128128 124124 132132

172172 -18-18 1515 -8-8 2323 -9-9 -14-14 1919

3838 -34-34 2525 -9-9 -10-10 1111 1414 1212

2121 99 -6-6 33 -5-5 88 55 -1-1

-10-10 66 -5-5 44 33 -4-4 -2-2 55

-8-8 33 44 55 -3-3 33 -7-7 11

44 -2-2 -2-2 -4-4 66 66 22 -4-4

44 -3-3 -4-4 55 66 55 33 -2-2

00 -8-8 -4-4 33 22 11 44 00

DCT

La quantification est non conservatrice et contrôle le débit. Elle applique des coefficients La quantification est non conservatrice et contrôle le débit. Elle applique des coefficients afin de afin de réduire les écarts de niveaux dans les hautes fréquences où l'œil est moins sensible. Cette réduire les écarts de niveaux dans les hautes fréquences où l'œil est moins sensible. Cette réorganisation s’effectue par ordre croissant, les détails les plus fins étant situés en bas et à réorganisation s’effectue par ordre croissant, les détails les plus fins étant situés en bas et à droite de la matrice, la première valeur en haut à gauche, représentant la valeur moyenne de la droite de la matrice, la première valeur en haut à gauche, représentant la valeur moyenne de la matrice. matrice.

Page 33: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3333FF

TITANTITAN

20/04/2320/04/23

Le traitement des essences :Le traitement des essences :du MPEG 1 au MPEG 4du MPEG 1 au MPEG 4

1.1. Principes de numérisation :Principes de numérisation :1.1. Quantification, échantillonnage Quantification, échantillonnage

2.2. Le codage source (Compresssion numérique)Le codage source (Compresssion numérique)

3.3. Codage de canal Codage de canal

2.2. Le système de représentation des couleurs en Le système de représentation des couleurs en télévisiontélévision

3.3. L’échantillonnage des imagesL’échantillonnage des images

4.4. La compression : spatiale et temporelleLa compression : spatiale et temporelle

5.5. Les algorithmes de compression : DCT, Ondelettes, Les algorithmes de compression : DCT, Ondelettes, fractales, …fractales, …

6.6. Les normes ISO de compression numérique des Les normes ISO de compression numérique des images : JPEG, MPEG 1 – 2 - 4images : JPEG, MPEG 1 – 2 - 4

Page 34: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3434FF

TITANTITAN

20/04/2320/04/23

OrganisationOrganisationISO - IECISO - IEC

Joint Technical Committee of Information Joint Technical Committee of Information Technology (JTC 1) - Joint ISO/IEC activities :Technology (JTC 1) - Joint ISO/IEC activities :

SC 29 : Codage audio, image, multimédia et SC 29 : Codage audio, image, multimédia et hypermedia :hypermedia :

• WG 1 : Joint Photographic Experts Group (JPEG)WG 1 : Joint Photographic Experts Group (JPEG)

• WG 11 : Moving Picture Experts Group (MPEG)WG 11 : Moving Picture Experts Group (MPEG)

• WG 12 : Multimédia Hypermedia Experts Group (MHEG)WG 12 : Multimédia Hypermedia Experts Group (MHEG)

Page 35: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3535FF

TITANTITAN

20/04/2320/04/23

Les normalisations ISO :Les normalisations ISO :JPEG - MPEG JPEG - MPEG

Joint Picture Experts GroupJoint Picture Experts Group Image fixe Image fixe =>=> JPEG (ISO/IEC IS 10918)JPEG (ISO/IEC IS 10918)

Moving Picture Experts GroupMoving Picture Experts Group Video Video =>=> MPEG1 (ISO/IEC IS 11172)MPEG1 (ISO/IEC IS 11172)

MPEG2 (ISO/IEC IS 13818)MPEG2 (ISO/IEC IS 13818)

MPEG4 (MPEG4 (ISO/IEC 14496ISO/IEC 14496 ))

Page 36: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3636FF

TITANTITAN

20/04/2320/04/23

Codage source : les technologies de Codage source : les technologies de compression numériquescompression numériques

Le codage Jpeg (intra image) basé sur la Le codage Jpeg (intra image) basé sur la DCT (Discret Cosine Transform)DCT (Discret Cosine Transform)

Le codage Mpeg (inter-image) basé sur la Le codage Mpeg (inter-image) basé sur la DCT (Discret Cosine Transform), des images DCT (Discret Cosine Transform), des images de base (codée en intra-image), des images de base (codée en intra-image), des images prédites, des intermédiaires, des vecteurs de prédites, des intermédiaires, des vecteurs de mouvements, ….mouvements, ….

Le codage «ondelettes» - MJPEG 2000Le codage «ondelettes» - MJPEG 2000 Le codage «fractale»Le codage «fractale»

Page 37: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3737FF

TITANTITAN

20/04/2320/04/23

Le système de codage Le système de codage MPEG-2MPEG-2

I Intracoded frameI Intracoded frame P Forward/predicted frameP Forward/predicted frame B Bi-directional/interpolated frameB Bi-directional/interpolated frame

II BB BB PP BB BB PP BB BB II

Group of Group of picturespicturesGOP : GOP : 12 - 1612 - 16

DécomposeDécomposeTemporalTemporalPrédictionPrédiction TransformTransform QuantifiéQuantifié

Entropy Entropy codecode

1620 Blocs de 64 pixels Discrete CosineDiscrete CosineTransform (DCT)Transform (DCT)

Fréquence spatialeComplexité du bloc

Débit maximum Bitstream

Longueur des motsInversement proportion.à la fréquence d’apparition

Page 38: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3838FF

TITANTITAN

20/04/2320/04/23

Le système MPEG-2Le système MPEG-2 : :4 Levels – 5 4 Levels – 5 PProfilesrofiles

PROFILESPROFILES

Mb/sMb/s

LEVELSLEVELS

1920x1152x251920x1152x25 High High

1440x1152x251440x1152x25 High 1440 High 1440720x576x25720x576x25 Main Main

352x288x25352x288x25 Low Low 00

2020

4040

6060

8080

100100

SimpleSimple MainMain SNRSNR

scalablescalable

SpatiallySpatially

scalablescalable

HighHigh

MP@LLMP@LL

MP@H14LMP@H14L

MP@HLMP@HL

SNRP@LLSNRP@LL

HP@HLHP@HL

HP@H14LHP@H14L

HP@MLHP@ML

SP@MLSP@MLMP@MLMP@ML SNRP@MLSNRP@ML

SSP@H14LSSP@H14L

Page 39: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

3939FF

TITANTITAN

20/04/2320/04/23

La norme MPEG-2 Vidéo :La norme MPEG-2 Vidéo :les différents «profile»les différents «profile»

““Un Un ««profileprofile»» est une séquence définie est une séquence définiede la syntaxe totalede la syntaxe totale

de l’information numérique”de l’information numérique”

5 profiles :5 profiles :

Simple profile (SP) Simple profile (SP) (faible consommation de mémoire)(faible consommation de mémoire) Main profile (MP) Main profile (MP) (grande efficacité de codage)(grande efficacité de codage) SNR profile (SNR) = SNR profile (SNR) = MP + dégradation tolérableMP + dégradation tolérable (SPATIAL) = (SPATIAL) = SNR + compatibilité TV/ HDTVSNR + compatibilité TV/ HDTV High profile (High) = High profile (High) = Spatial + options spécialesSpatial + options spéciales

Page 40: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4040FF

TITANTITAN

20/04/2320/04/23

MPEG 2 - AudioMPEG 2 - AudioLL

RR

CC

LsLs

RsRs

LFELFE

ML/ComML/Com

T0T0

T1T1

T2T2

T3T3

T4T4

MM

AA

TT

RR

II

XX

MC-Encoder

MM

CC

--

EE

nn

cc

oo

dd

ee

rr

Basic StereoBasic Stereo

++MC-ExtensionMC-Extension

InformationInformation

DD

EE

MM

AA

TT

RR

II

XX

MM

CC

--

DD

EE

CC

OO

DD

EE

RR

LL

RR

CC

LsLs

RsRs

LFELFE

ML/ComML/Com

LFE : low frequency LFE : low frequency enhancementenhancement

ML/C : multilingual ML/C : multilingual channelschannels

Page 41: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4141FF

TITANTITAN

20/04/2320/04/23

Les différentes normalisations Les différentes normalisations MPEG 4 : MPEG 4 :

Moving Picture Experts Group :Moving Picture Experts Group :

Video =>Video => MPEG 4 SP MPEG 4 SP Simple profileSimple profile

MPEG 4 ASP MPEG 4 ASP Advanced Simple ProfileAdvanced Simple Profile

MPEG 4 AVC MPEG 4 AVC Advanced Video Coding Advanced Video Coding

Page 42: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4242FF

TITANTITAN

20/04/2320/04/23

MPEG 4 MPEG 4 ::GPO variable et Macroblocks groupésGPO variable et Macroblocks groupés

GOP : en synchronisation avec les plans (segmentation de l’objet AV GOP : en synchronisation avec les plans (segmentation de l’objet AV

Page 43: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4343FF

TITANTITAN

20/04/2320/04/23

MPEG 4: concept numérique ISOMPEG 4: concept numérique ISO MPEG-4 AVC= H.264, MPEG-4 part 10,MPEG-4 AVC= H.264, MPEG-4 part 10,

L'encodage MPEG4 exploite une "boite à outils" générique pour segmenter automatiquement et figurer une vidéo dynamique tout en localisant et en caractérisant les objets de manière compacte et individualisée

MPEGMPEG 44Encodage numérique descriptif d'objets audiovisuels, Encodage numérique descriptif d'objets audiovisuels,

des rapports entre ces objets et un contextedes rapports entre ces objets et un contexte : :

Exemple de segmentation d'une scène Exemple de segmentation d'une scène mobile par un encodeur MPEG4: mobile par un encodeur MPEG4: reconnaissance des personnages en reconnaissance des personnages en mouvement relatif.mouvement relatif.

Page 44: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4444FF

TITANTITAN

20/04/2320/04/23

MPEG 4MPEG 4 : concept numérique ISO: concept numérique ISO

L'acquisition exploite un système de maillage automatique produit par l'encodeur lequel découpe et structure les images 2D et 3DLa modélisation se fait par la projection d'un maillage 3D composé de polygones dont la finesse est déterminée par la structure du maillage et par une liste plus ou moins importante de nœuds (déterminé à l'acquisition en fonction du flux MPEG4 souhaité en final)

A gauche maillage automatique et à droite l'image "reconstruite" avec 3200 nœuds (c'est trop peu!). Dans ce cas 95% des échantillons ont été éliminés..

Acquisition MPEG 4

Page 45: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4545FF

TITANTITAN

20/04/2320/04/23

MPEG 4MPEG 4 : concept numérique ISO: concept numérique ISO

• L'encodeur isole le fond et recrée un pano du fond de scène complet (estimation et compensation de mouvement par blocs de 8 ou 16 pixels)

• L'encodeur extrait le personnage en mouvement• Le fond est encodé une fois, seules les variations formelles y sont ré-encodées

en fonction des besoins. • L'encodeur incruste le joueur en mouvement tenant compte des zones

masquées. Les zones non reconnues sont représentés par de la DCT• Le décodeur recrée la scène grâce aux paramètres de la caméra pour le fond et

au joueur envoyé dans sa position à chaque image

Exemple Exemple

d'un d'un

traitement traitement

MPEGMPEG 44 : :

segmentation segmentation

et fusion et fusion

d'ingrédientsd'ingrédients

Page 46: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4646FF

TITANTITAN

20/04/2320/04/23

• Pour chaque objet vidéo et pour chaque séquence l'encodeur crée des répertoires hiérarchiques qui comprennent des couches d'informations successives pour décrire les objets (topologie, mouvement, formes, couleurs, textures, sons associés)

• La localisation est spatiale et temporelle selon une grille auto produite. Le maillage s'anime dans l'espace et le temps. La topologie est évolutive selon des cartes de segmentation qui prennent en compte diverses caractéristiques spatio-temporelles des mouvements

• Une autre caractéristique est la scalabilité = structuration multi échelle du travail d'analyse et de découpage :

• Scalabilité des objets eux-mêmes• Scalabilité spatiale• Scalabilité temporelle• Scalabilité de la représentation• Scalabilité de la distribution (en termes de flux vers l'usager)

Objets répertoriés, localisés, temporisés, à échelle variable

MPEG 4MPEG 4 : cartes de segmentation: cartes de segmentation

Page 47: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4747FF

TITANTITAN

20/04/2320/04/23

• Les flux sont variables, progressifs et hiérarchiquement emboités.

• Les flux entrants dans les décodeurs usagers sont lus en fonction des caractéristiques des décodeurs - le consommateur pouvant intervenir sur des ingrédients de la composition séquentielle - c'est la qualité à la demande qui permet d'utiliser MPEG 4 sur des réseaux diversifiés à capacité ≠ entre 1Mbps (xDSL) et 1000 Mbps (HD)

Les flux MPEG 4 :

Les versions successives MPEG 4 sont "survitaminées" l'une par rapport à l'autre.

L' "intelligence" des dernières versions s'est déployée dans plusieurs dimensions…

.

MPEG 4MPEG 4 : : la la qualité à la demandequalité à la demande

Page 48: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4848FF

TITANTITAN

20/04/2320/04/23

MPEG 4MPEG 4 : concept numérique ISO: concept numérique ISO

Les flux MPEG 4

• La compression MPEG 4 est qualitativement très performante !• Si on compare la qualité des images d'un match de tennis encodé en

MPEG 4 AVC et MPEG 2 sur des machines comparables à 30 fps, l'indice PSN est déjà au maximum pour un débit de 1,5Kbps alors que pour la même qualité MPEG 2 nécessite un débit de 3000 Kbps *! *In Broadcast Engineering, october 2003, by Mario Rainville & Amir Segev (pp 22-27)www.broadcastengineering.com

Page 49: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

4949FF

TITANTITAN

20/04/2320/04/23

L'univers MPEG 4L'univers MPEG 4 : : en en développementdéveloppement permnanent !permnanent !

• Amélioration du codage des visuels "naturels"• Animation des corps• Codage en maillage des objets 3D• Améliorations audio• Améliorations systèmes• BIFS avancé* (Binary Format for Scene Description)

• Définition d'un format de fichier M4F• Améliorations protocolaires

MPEGMPEG 4 est une norme "en mouvement" régulièrement 4 est une norme "en mouvement" régulièrement améliorée, certains développements pouvant être améliorée, certains développements pouvant être adressés aux décodeurs des usagers par les diadressés aux décodeurs des usagers par les diffuseursffuseurs..

*Binary Format for Scene Description (descripteur de la synchronisation dynamique des objets dans une scène encodée/décodée)

Page 50: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

5050FF

TITANTITAN

20/04/2320/04/23

ExtractionExtractiond’objetsd’objets

Relations entre les différentes normes Relations entre les différentes normes MPEG 1, 2, 4, et 7MPEG 1, 2, 4, et 7

MPEG-7MPEG-7

MPEG-4MPEG-4

MPEG-1MPEG-1MPEG-2MPEG-2

VoixVoixOrdinateurOrdinateur

FemmeFemmeHomme assis ...Homme assis ...

TélévisionTélévisiongéométriquegéométrique basée surbasée sur

le pixelle pixel

Page 51: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

5151FF

TITANTITAN

20/04/2320/04/23

ExtractionExtractiond’objetsd’objets

Relations entre les différentes normes Relations entre les différentes normes MPEG 1, 2, 4 et 7MPEG 1, 2, 4 et 7

Du pixel à l’objet avec un codage sémantique :Du pixel à l’objet avec un codage sémantique :

MPEG-7MPEG-7

MPEG-4MPEG-4

MPEG-1MPEG-1MPEG-2MPEG-2

SémantiqueSémantique

ReprésentationReprésentationorientée objetorientée objet

ReprésentationReprésentationorientée pixelorientée pixel

FormationFormationTraçageTraçage

des objetsdes objets

Page 52: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

5252FF

TITANTITAN

20/04/2320/04/23

Univers MPEG : compatibleUnivers MPEG : compatible et etinteropérableinteropérable

Le groupe ISO MPEG veille à la compatibilité entre les nouvelles normes et celles antérieurement définies.

MPEG 4 "comprend" donc MPEG 2 et MPEG 1

MPEG 2MPEG 2

MPEG 4MPEG 4

MPEG 7MPEG 7

MPEG 21MPEG 21

MPEG 1MPEG 1

1991199119941994

1998199820012001

20052005

Page 53: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

5353FF

TITANTITAN

20/04/2320/04/23

Le MPEG 4 choisit par la France pour les autres Le MPEG 4 choisit par la France pour les autres types de diffusion: Satellite, HD, Multimédia, etc.types de diffusion: Satellite, HD, Multimédia, etc.

Le MPEG-4 est né pour permettre l’intégration du Le MPEG-4 est né pour permettre l’intégration du multimédia, la sémantique et l’interaction.multimédia, la sémantique et l’interaction.

En plus de son développement pour le Digital Cinema le En plus de son développement pour le Digital Cinema le MPEG-4 propose une réponse à des besoins pour des MPEG-4 propose une réponse à des besoins pour des champs d'applications variés comme des services champs d'applications variés comme des services audiovisuels interactifs à la télésurveillance en bas débit, audiovisuels interactifs à la télésurveillance en bas débit, mais aussi pour répondre au souhait de l’industrie mais aussi pour répondre au souhait de l’industrie audiovisuelle de disposer de chaînes de production virtuelle audiovisuelle de disposer de chaînes de production virtuelle et cela avec des débits importants plus de 300 Mb/sec.et cela avec des débits importants plus de 300 Mb/sec.

Le MPEG 4 couvre un grand champ d’action allant de Le MPEG 4 couvre un grand champ d’action allant de l’application Internet très haut débit avec WINDOWS MEDIA l’application Internet très haut débit avec WINDOWS MEDIA PLAYER 10 de MICROSOFT aux caméras comme la PLAYER 10 de MICROSOFT aux caméras comme la Varicam de chez Panasonic ou la XDCam SR de chez Sony Varicam de chez Panasonic ou la XDCam SR de chez Sony mais aussi dans le segment DVCAM HD. mais aussi dans le segment DVCAM HD.

Elle est, avec le MPEG 7 et MPEG 21, la clé de voûte de la Elle est, avec le MPEG 7 et MPEG 21, la clé de voûte de la convergence entre l’informatique, le cinéma, la télévision et convergence entre l’informatique, le cinéma, la télévision et les télécommunications.les télécommunications.

Page 54: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

5454FF

TITANTITAN

20/04/2320/04/23

Avec les collaborations de :Avec les collaborations de :

Guy Maréchal Guy Maréchal [email protected]

Christian Dumont Christian Dumont [email protected]@belgacom.net

Jacques Jacobs Jacques Jacobs [email protected]@skynet.be

Page 55: Le traitement des essences  vidéo & audio  :  Du MPEG 1 au MPEG 4

5555FF

TITANTITAN

20/04/2320/04/23

Questions Questions et et

…. Réponses !…. Réponses !

La suite à l’écran …. Vendredi 6 mai !La suite à l’écran …. Vendredi 6 mai !