vid©o num©rique: analyse et codage cours en master ism jenny benois -pineau partie ii...

Download Vid©o Num©rique: Analyse et Codage Cours en Master ISM Jenny Benois -Pineau Partie II Universit© Bordeaux -1 Vid©o Num©rique: Analyse et Codage Cours en

Post on 03-Apr-2015

106 views

Category:

Documents

1 download

Embed Size (px)

TRANSCRIPT

  • Page 1
  • Vido Numrique: Analyse et Codage Cours en Master ISM Jenny Benois -Pineau Partie II Universit Bordeaux -1 Vido Numrique: Analyse et Codage Cours en Master ISM Jenny Benois -Pineau Partie II Universit Bordeaux -1
  • Page 2
  • Programme du cours (I) 1. Introduction. Video dans des systmes multimdia 2. Aspects technologiques Formats, numrisation, rsolution, couleur 3. Analyse et estimation du mouvement dans la vido 4. Notions de la thorie de linformation 5. Codage sans pertes des informations multimdia 6. Codage prdictif (MICD) et quantification des signaux visuels 7. Elments de codage par QV 8. Transformes orthogonales et codage par transformes. Application au codage. JPEG, MJPEG
  • Page 3
  • 9. Normes et standards de codage vido avec la compression Algorithmes MPEG1, MPEG2 Les premier codecs des images animes : 1974 : pour un service des visioconfrence 6 puis 2 Mbit/s 1984 : nouvelle gnration de codecs pour la visioconfrence (dbut de ltude) : TCD, Compensation du mouvement. Normes et standards 1989 : norme H.261 couvrant les dbits de 64 Kbit/s 2 Mbit/s (CCITT-IUT-T) nx64 Kbit/s 1992 : ISO MPEG1 : codage des images animes pour le stockage, le dbit 1-1.5 Mbit/s (driv de H. 261) optimis pour CD-I - ISO/IEC 11172, 1992 1993-95: ISO MPEG2 : Le codage gnrique de haute qualit pour TV numrique et TVHD ISO/IEC 13818, 1995 Video : ITU T H.262 1993-97 : ISO MPEG4 (version 1) : Le codage gnrique multi-fonctionnel, avec lments danalyse / synthse bas dbit et manipulation des scnes vido. ISO/IEC 14496-1 : 1998 IT Coding of Audio-Visual Objects H.263 : recommendation IUT-T
  • Page 4
  • Normes et standards vido 2003 MPEG4 10 et H.264 ISO/IEC 14496-10 et Rec. H.264 Advanced Video Coding 1998-2001: ISO MPEG7 Multimedia Content description Interface: description du contenu des flux multimdia.
  • Page 5
  • 9.1. Fondements des standards MPEG1 et MPEG2 MPEG = Motion Picture Expert Group Standards MPEG1 et MPEG2 (ainsi que les normes H.261, H. 263, H.264) sont conus selon les mmes principes fondamentaux : Vido : - codage hybride : spatial et temporel avec la compensation du mouvement; - codage spatial : TCD, quantification, codage entropique appliqu limage dorigine ou au signal derreur. - prdiction par compensation du mouvement base bloc (ou macro-bloc). MPEG1 vido : dbit cible : 1,5 Mbit/sec MPEG2 vido : 2-15 Mbit/sec voir plus (TVHD) Les standards spcifient larchitecture du train binaire et les dcodeurs, mais ne spcifient pas les mthodes de gnration des trains binaires. Compatibilit descendante entre MPEG2 et MPEG1 : le dcodeur MPEG2 dcode le train binaire MPEG1.
  • Page 6
  • Spcifications MPEG1, MPEG2 Trois composants des standards - Vido; - Audio; - Systme (le systme de multiplexage) Source Vido Source Audio Encodeur vido Encodeur audio Horloge systme Multi- plexeur Et encodeur systme
  • Page 7
  • Schma gnrique des codeurs MPEG1,2 Codage du mouvement TCD Prdictio n par mvt Image prcdente Estimation du mvt Dcodage + + - t= 0? Q Vers VLC -Vecteurs de dplacement - Image dorigine - Signal derreur - Image code et dcode
  • Page 8
  • Structure dune squence vido (I) Base : GOP = group of pictures I intra-coded - codage spatial type JPEG P predictive-coded , forward predicted par compensation du mouvement partir de limage de rfrence prcdente B bidirectionnaly predictive coded (par rapport au pass et /ou futur) N la distance entre deux images I sucessives = longueur dun GOP M la distance entre deux images de rfrence (anchor frames) I- P ou P-P - paramtrable
  • Page 9
  • Structure dune squence vido (II) Valeurs typiques : (1) N = 12 ou 15 = 0,5 sec pour Pal/SECAM et NTSC respectivement (2) M=1 -> absence des images B M=1,2,3 Les images B assurent des taux de compression plus importants Ordre daffichage et dencodage dun GOP
  • Page 10
  • Structure dune squence vido (III) Rgles de composition dun GOP (1) Dans lordre dencodage, ou dans le train binaire, la premire image dans un GOP est toujours une image I (2)Dans lordre daffichage ( la sortie du dcodeur), la premire image peut tre soit I, soit la premire image B dans la srie des images B juste avant la premire image I (3) La dernire image dans un GOP est toujours soit I soit P (4) Le premier GOP dans une vido commence toujours avec une image I.
  • Page 11
  • Exemples MPEG1 7ips, N=12, M=3 MPEG1 25 ips, N=12, M=3 CERIMES, De larbre louvrage
  • Page 12
  • Structure hirarchique du train binaire des standards MPEG1,2 Le train binaire des standards MPEG1,2 est organis de faon hirarchique en ensemble de niveaux (layers). Layer = layer header + layer data. Ensemble des niveaux 1. Squence : Sequence layer 2. GOP : GOP layer 3. Image : Picture layer 4. Couche : Slice layer 5. Macro- Bloc: MB layer 6. Bloc: Block layer
  • Page 13
  • Structure hirarchique dune squence vido Sequence GOP Picture Slice MB (16x16) Block 8x8
  • Page 14
  • Propagation de lerreur en MPEG1 Limitations de la propagation spatiale : chaque slice est encod indpendamment des autres Limitations de la propagation temporelle si lerreur est observe sur une image B, alors elle est limite cette image si lerreur est observe sur une image I, alors elle peut se propager uniquement dans le GOP courant. IBBPBBPBBPBBI si lerreur est observe sur une image P, elle peut se propager uniquement jusqu la fin du GOP courant. Erreur Codage indpendant
  • Page 15
  • Codage inter/intra-frame par macro-bloc (I) Sequence GOP Picture Slice MB (16x16) Block 8x8 Au centre de notre intrt!
  • Page 16
  • Codage inter/intra-frame par macro-bloc (II) I. Images P Modes de codage : inter-frame, intra-frame a)Inter-frame : - codage du vecteur de dplacement V - codage de lerreur de compensation Image P courante Image de rfrence
  • Page 17
  • Codage des images P mode Inter-frame Image P couranteImage de rfrence Vecteurs de dplacement, (distance IP M=3), SFRS, Aquaculture en Mditerrane
  • Page 18
  • Exemples -MPEG2, M-blocs 16x16
  • Page 19
  • Les vecteurs de dplacement en MPEG1et 2 sont encods la prcision de 0,5 pixels. Codage des vecteurs de dplacement En MPEG1 les vecteurs de dplacement sont limits : forward search window: -11...11 / -11...11 forward vector range: -16...15.5 / -16...15.5
  • Page 20
  • Types des MB dans les images P en mode Inter-Image Par rapport au : - compensation du mouvement - codage de lerreur de compensation du mouvement (1) Motion compensated (MC) : - erreur peut tre cod; - non-code (2) No-motion compensated (No MC) - pas de compensation et de codage derreur ( skipped ) le block est directement rcupr de limage de rfrence prcdente: - pas de codage du mouvement, mais uniquement lerreur; Ces modes sont dsignes par des bit-flags dans lentte des MB.
  • Page 21
  • Les MB skipped Image P courante Image P ou I de rfrence Prediction forward sans compensation du mouvement Daprs MPEG2 FAQ C. Fogg, Univ. de Berkeley
  • Page 22
  • b) Codage des MB en Intra Dcomposition en blocs 8x8 pixels - Codage du signal YUV (intra) - Mais aussi : Codage du signal derreur (inter) Codage en mode Intra dans les images P Algorithme de codage : ~JPEG
  • Page 23
  • Exemple du codage P-frame (MPEG1) picture statistics: # of intra coded macroblocks: 229 (14.1%) # of coded blocks: 2093 (21.5%) # of not coded macroblocks: 277 (17.1%) # of skipped macroblocks: 829 (51.2%) # of forw. pred. macroblocks: 509 (31.4%) # of backw. pred. macroblocks: 0 (0.0%) # of interpolated macroblocks: 0 (0.0%) Pour image 64 dans le flux Hiragasy, SFRS
  • Page 24
  • Cartes des MB de la scne 2 skipped
  • Page 25
  • Variation du nombre des blocs cods Intra dans les images P Aquaculture en Mditerrane, SFRS..\2005_2006 \MPEG1- 2\aqua2_21.mpg..\2005_2006 \MPEG1- 2\aqua2_21.mpg Changement de plan
  • Page 26
  • Codage inter/intra-frame par macro-bloc (III) II. Images B Modes de codage : inter-frame, intra-frame a) Inter-frame : - 3 possibilits de slection du meilleur vecteur Image B courante Image de rfrence prcdente (I ou P) A C
  • Page 27
  • Types des MB dans les images B en mode Inter-Image (1) Motion compensated (MC) : - par le pass forward-predicted : compensation par blocA - par le futur backward predicted : compensation par block C - bi-directionnel interpolated : et compensation par (bloc A + bloc C)/2 Codage derreur - pas de codage; - codage (2) Pas de compensation du mouvement Intra- image dorigine Inter pas de codage : skipped
  • Page 28
  • Exemple des statistiques des MBs B-frame Image B : 63 du clip Hiragasy picture statistics: # of intra coded macroblocks: 120 (7.4%) # of coded blocks: 1494 (15.4%) # of not coded macroblocks: 1016 (62.7%) # of skipped macroblocks: 157 (9.7%) # of forw. pred. macroblocks: 615 (38.0%) # of backw. pred. macroblocks: 404 (24.9%) # of interpolated macroblocks: 481 (29.7%) Skipped MB dans les images B-frames : quand le vecteur de dplacement est le mme que pour le bloc prcdemment cod dans la mme image
  • Page 29
  • Codage des images I et de lerreur de compensation du mouvement (I) Les macros-blocs dans les images I sont tous codes en mode intra image par blocs de 8x8 pixels - Intra-macroblocs . Les macros-blocs dans les images P et B cods en mode intra image sont cods de mme fao

Recommended

View more >