vidéo numérique - perso.univ-mlv.frperso.univ-mlv.fr/present/supports/pdfimage/videonum.pdf ·...

1

Vidéo numérique

Dominique PRESENTDépt S.R.C. - I.U.T. de Marne la Vallée

IUT Marne la Vallée vidéo numérique © D. Présent

Les applications• Télévision numérique :

• actuellement diffusée sur le câble et les canaux hertziens• destinée au grand public

• Vidéo à la demande :• accès à une banque de données vidéo• diffusion au moment choisi par le spectateur• destinée au grand public

• Visioconférence, visiophonie :• communication temps réel entre personnes ou entre groupes• destinée au public professionnel, sera étendue au grand public

• DVD :• stockage sur support individuel• visualisation en local• destinée au grand public

2


Numérisation d ’un signal vidéoPourquoi numériser ?

• Enregistrement ;• Manipulation (indexation, stockage) ;• Montage, modification ;• Copies, diffusion.

Critères de numérisation.• Echantillonnage à 13,5MHz ;• Echantillons par ligne 720 ;• Dimension d’un échantillon de 8bits à 10bits ;• Nombre de lignes 525 ou 625.

Remarque :format de l’image d’un moniteur L/l = 4/3 (ex. : 800x600 en VGA)

Débit brut : 8x3x13,5e6 = 324Mb/s


Image au format 4:2:2 : codageRecommandation CCIR 601 :

• Echantillonnage luminance à 13,5MHz ;• Echantillonnage chrominance à 6,75MHz.

Soit par ligne :• 720 échantillons en luminance ; • 360 échantillons en chrominance.

luminance

chrominance

• 1 pixel chrominance sur 2 pixels luminance lignes paires• 1 pixel chrominance sur 2 pixels luminance lignes impaires

Bloc de 6 pixelssur 6 lignes

3


Image au format 4:2:2 : décodageReproduction de l’image 4:2:2 :

• chaque échantillon de chrominance reçu est recopié pour reproduire le pixel suivant ;

Pixels luminance

Pixels chrominance reçus


Pixels chrominance recopiés


Sérialisation de l’image 4:2:2

EAV H-ANC 1440 éch (Y – Cb – Cr)

SAV

EAV H-ANC

SAV

Suppresion ligne

EAV : End of Active VideoSAV : Start of Active Video

Préamb DID DN DC Data CSDonnées audio

DID : identificateur de voie4canaux de 4 voies

DN : n° du bloc de donnéesDC : Lg du bloc de données

CS : contrôle

4


Image au format 4:2:0 : codageISO 13818 :

• Echantillonnage luminance à 13,5MHz ;• Echantillonnage chrominance à 6,75MHz ; • Transmission d’une trame sur 2 en chrominance.

luminance

chrominance

Remarques :• En SECAM, les échantillons Cb et Cr transmis sont une moyenne des échantillons de 2 lignes successives ; • Format de base des codages D2MAC et MPEG-2 (MPEG-Main Level MP@ML).

• 1 pixel chrominance sur 2 pixels luminance lignes paires• 0 pixel chrominance sur les lignes impaires



Image au format 4:2:0 : décodageReproduction de l’image 4:2:0 :

• chaque échantillon de chrominance reçu est recopié pour reproduire le pixel suivant ;• chaque échantillon de chrominance reçu est recopié pour reproduire les pixels correspondant de la ligne suivante.

Pixels luminance

Pixels chrominance reçus


Pixels chrominance recopiés

5


B-Y 144lignes360pixels


R-Y 144lignes360pixels


Trame 2(lignes impaires)


Structure d’une image 4:2:0

Trame 1(lignes paires)


Trame 4:2:0Trame 1- 2:1:0Trame 2- 2:1:0

Trame 1 : 288 lignesde 720 pixels

Luminance288 lignes720 pixels

Luminance288 lignes720 pixels

Codage MPEG 1


SIF (Source Intermediate Format)ISO 11172 (codage des signaux vidéo et audio pour des stockages à 1,5Mb/s) :

• Résolution luminance de 360x240 à une Fimage de 29,97Hz en 525 lignes ;• Résolution luminance de 360x288 à une Fimage de 25Hz en 625 lignes ; • Format 4 :2 :0.

luminance

chrominance

Remarques :• Résolution proche de celle d’un magnétoscope VHS ; •Format de base du codage MPEG-1.

• 1 pixel chrominance sur 2 pixels luminance lignes paires• 0 pixel chrominance sur les lignes impaires


6








Structure d’une image SIF



Trame 4:2:0Trame 1- 2:1:0Trame 2- 2:1:0

Trame 1 : 288 lignesde 720 pixels

Réductionà 352 pixelsRéduction

à 352 pixels

Codage MPEG 1

Format SIF :625 lignes de 360 pixels


CIF (Common Intermediate Format)Normes H261 et H263 (International Union for Telecommunication).

• Standard de codage des signaux vidéo pour des services audiovisuels à Px64Kb/s

Format CIF : • Résolution luminance de 360x288 à Fimage de 29,97Hz ;• Format 4 :2 :0.

Format QCIF :• Résolution luminance 180x144 à Fimage sous-multiple de 29,94Hz ;

7


Formats MPEGLe groupe de l’ISO dénommé MPEG (Moving Pictures Experts Group) à conduit à 2 normes :

• ISO 11172 (1993)pour le codage et la transmission des signaux audio-vidéo pour un stockage sur des supports à environ 1,5Mb/s :

! ISO 11172-1 définit la structure du multiplexage des signaux ;! ISO 11172-2 définit le codage vidéo MPEG-1 ;! ISO 11172-3 définit le codage audio MPEG-1.

• ISO 13818 (1995) pour le codage et la transmission des signaux audio-vidéo pour la diffusion par satellite, câble ou réseau terrestre :

! ISO 13818-1 définit la structure du multiplexage ;! ISO 13818-2 définit les résolutions et le codage vidéo MPEG-2 ; ! ISO 13818-3 définit le codage audio MPEG-2.


Traitement d’une image vidéo MPEG

8


Compression MPEGséquence

groupe d ’images

image

tranche

1 image est composée de « n tranches »1 tranche contient « p macroblocs »

Macrobloc(4 blocs)

bloc(8x8 pixels)


Compression MPEG-1Construction d ’une image :

• Bloc constitué de 8 x 8 pixels ;• Macrobloc regroupe 2 x 2 blocs (soit 16 x 16 pixels) ;• Tranche ensemble de macroblocs (le plus souvent une ligne de l’image) ;• Image composée de l’ensemble des lignes de l’écran, est de l’un des 3 types :

! I (Intraframe) codée sans référence à aucune autre image ;! P (Predicted) codée par rapport à l’image « I » ou « P » précédente ;! B (Bidirectionnal interpolation) codée à partir des images « I » ou « P » et « P » qui l’encadrent ;

• Groupe d’images (Group Of Pictures) regroupe les images codées à partir d’une même image « I ».

Groupe d’images : défini par 2 paramètres :• M distance (en nombre d’images) entre 2 images « P » successives ;• G distance entre 2 images « I » successives.

Le format MPEG-1 utilise un groupe d’images en (3 ;12).

9


Image - Macroblocs - BlocsLe macrobloc constitue l’unité de surface d’une image, quelque soit le format utilisé.

Format 4:2:2

luminance

Chrominance Cr

Chrominance Cb

Format 4:2:0

2x2 blocs « chrominance » par

macrobloc « luminance »

2x2 blocs « chrominance » par

macrobloc « luminance »


MPEG-2 : le vecteur mouvement

IP

P

Vecteur mouvement macrobloczone

d ’analyse

• une image P est caractérisée par un vecteur mouvement et les différences des macroblocs des images I et P

Recherche du macrobloc le plus proche

10


Estimation de mouvement en MPEG-2

• calcul sur 1 bloc du signal luminance ;• appliqué aux 4 blocs du macrobloc ;• appliqué au signaux R-Y et B-Y ;• si incalculable, bloc codé en image I ;• vecteur mouvement codé sur 12 bits ;

• un décodeur dispose en permanence de 4 images en mémoire ;• un codeur dispose en permanence de 8 images en mémoire ;• un décodeur est paramétré pour un profil donné ;


Compression MPEG : le GOPgroupe d ’images

I B B P B B I

Un groupe d’images (GOP) est défini par 2 valeurs :• le nb d’images séparant 2 images I ;• le nb d’images séparant 2 images P ou une image P et une image I ;

Exemple ci-dessus (6 ; 3)

groupe d ’images

I B P B P B P B I

Groupe d’images (8 ; 2)

11


Compression MPEG : le GOPgroupe d ’images

I B B P B B I• l’image P est codée par différence avec l’image I (ou P) qui la précède ;• l’image B est codée par rapport à l’image I (ou P) qui la précède et l’image P (ou I) qui la suit

Stockage : dans l’ordre d’arrivéeCodage : I B B P B B I

Transmission : I P B B I B B

Stockage/Décodage : I P B B I B B

Ré-ordonnancement : I B B P B B I


Codec MPEG-2

12


Profils MPEG-2

simple

main

SNR scala

ble

spati

aly sc

a...

high

low 352x240x30

high-1440 1440x1080x300

102030405060708090

100débits 'Mb/s)

profils

niveaux

low 352x240x30

main 720x480x30

high-1440 1440x1080x30

high 1920x1080x30

La norme permet la définition de la résolution de l’image à partir de 5 profils et 4 niveaux

1/4 TV

TV

TVHD

Simple : sans image BMain : codage 4:2:0SNR scalable : main + train d’infoSpatial scalable : codage TVHDHigh : codage 4:2:2


Profils MPEG-2 : options

Éch/ligneLignes

Images/sMb/s

35228830

4

35228830

4

Low

Éch/ligneLignes

Images/sMb/s

7205763015

7205763015

7205763015

7205763015

Main

Éch/ligneLignes

Images/sMb/s

14401152

6080

14401152

6060

14401152

6060

High 1440

Éch/ligneLignes

Images/sMb/s

14401152

60100

19201152

6080

High4:2:24:2:04:2:04:2:04:2:0Formats

I, P, BI, P, BI, P, BI, P, BI, PImages

highspatialsnrmainsimpleprofils

13


Standards audio numériques• Production :

Fe = 48KHz - 16 bits à 24 bits en mono, stéréo ou multicanalD = 768Kb/s à 3,84Mb/s

• Diffusion :Fe = 32KHz - 14 bits à 16 bits en mono ou stéréoD = 896Kb/s

• Téléphone :Fe = 8KHz - 12 bits en monoD = 96Kb/

• Compact Disc :Fe = 44,1KHz - 16 bits en stéréoD = 1,4Mb/s

• AES :Fe = 48KHz – 20 bitsD = 3,1Mb/s

Débit : Fe x N x nb canaux


Techniques de compression audio

• Parole G711 (1972) : compression 1:1,5

• diffusion NICAM (1980) : compression 1:1,2

• transmission G722 (1986) MICDA : compression 1:3

• grand public Mini Disc Sony codage ATRAC : compression 1:5

• générique MPEG-1 (1992) : compression 1:6 à 1:12

• multicanaux Dolby AC3 (1994) : compression 1:6 à 1:12

14


Compression audio MPEG-1 : 3 couches

Couche 1 : Compression 1:4 Débit en mono de 192Kb/sDébit en stéréo de 384Kb/sApplication : Multimédia

Couche 2 : Compression 1:6 Débit en mono de 128Kb/sDébit en stéréo de 256Kb/sApplication : diffusion

Couche 3 : Compression 1:12Débit en mono de 64Kb/sDébit en stéréo de 128Kb/sApplication : multimédia Internet


Compression audio MPEGLe codage/compression du signal audio utilise :

• Un modèle psycho-acoustique à masque variable ;• Un banc de 32 filtres dits polyphase ;• Echantillonnage à 32KHz, 44,1KHz, 48KHz ; • Quantification du masquage sur une trame de 12x32 échantillons ;• Quantification sur 16 bits avec facteur d’échelle ;• Codage multicanal en MPEG-2 (Left, Center, Right, Left Suround, Right Suround).

32 sous-bandes

15


Codage audio MPEG

0

32

64

96

128

Facteur d ’échelle : 48Facteur d ’échelle : 16

12 éc

hanti

llons


Compression audio MPEG : Codec

gauchecentredroiteSuround GSuround D

matrice

CodeurMPEG-1

CodeurMPEG-2

L0R0

T3T4T5

+

• algorithme de codage MUSICAM pour les radio (DAB) et télévision (DVB) numériques

• débits de 32Kb/s à 192Kb/s par voie (Hi-Fi à partir de 128Kb/s par voie)

• un codage par DCT permet d ’obtenir la qualité Hi-Fi dès 64Kb/s

16


Compression audio MPEG : trames

en-tête CRC résolution Fact Ech 12x32 échantillons Donnéesauxiliaires

32 16 32 * 4 6 (bits)

Trame audio couche 1

• 384 échantillons par trame• durée (t) du signal audio codé 384/Fe (8ms à 48KHz)• nombre de bits pour un débit D est D * t (1536 bits pour D=192Kb/s)

en-tête CRC résolution Info FE 3(12x32 échantillons)FE Donnéesauxiliaires

32 16 32 * 4 2 6 (bits)

Trame audio couche 2

• 1152 échantillons par trame• durée (t) du signal audio codé 1152/Fe (24ms à 48KHz)• nombre de bits pour un débit D est D * t (3072 bits pour D=128Kb/s)


Multiplexage MPEG-1Le multiplexage permet d’assurer la transmission des signaux audio/vidéo

vers les unités de stockage.Le multiplexeur :

• Reçoit du CODEC les trains élémentaires de données (Elementary Streams) ;

• Découpe les trains élémentaires (ES) en paquets (Packetized Elementary Stream) ;

• Regroupe les paquets en packs dont l’en-tête contient les informations de temps et de débits.

Chaque pack contient :• 0 à 16 paquets vidéo ;• 0 à 32 paquets audio ;• 0 à 2 paquets de données privées.

En-têtede pack

En-têtesystème 1er paquet Dernier

paquetCodede fin

En-têtede packpaquets suivants

Pack 1 Pack 2

17


Multiplexage MPEG-2• Pour le stockage des données audio/vidéo, la norme MPEG-2 reprend

le multiplexage de la norme MPEG-1.• La norme prévoit un flux de transport (Transport Stream) pour la

transmission sur les média des programmes destinés à la diffusion.• Le multiplexeur :

• Découpe les flux élémentaires (ES) en paquets de 188 octets ; • constitue des trains de données pouvant combiner plusieurs

programmes.

E-T ESPaquet de flux élémentaires

E-T ES

E-T E-T

E-T En-tête de paquet transport

184 octets

188 octetsE-T Autre flux E-T


Image MPEG-4

codec

Analysede

l ’image

codage

descriptif

codage

descriptif

codage

descriptif

multiplexage

ES

Elementary Streams : flux élémentaires

Objet 1

Objet 2

fond

18


MPEG-4 : maillage des objets

Plus le maillage est fin, plus la forme est précise, plus les calculs sont nombreux


Les standards informatiques• Quick Time :

– comprend essentiellement des formats de données standardisés, des procédés de compression et de décompression, et une interface utilisateur spécifique.

– L'extension système utilisée est fondée sur le principe du maintien de l'isochronie des données, et introduit donc le temps comme élément principal du système d'exploitation.

• Vidéo pour Windows :– ensemble logiciel permettant la capture et la restitution de vidéo animée

sur PC. L'exécution de séquences vidéo est possible sans matériel spécifique, alors que la capture doit être faite au moyen d'une carte de numérisation.

– offre des API (interfaces de programmation) relativement indépendantes du matériel.

– utilise des algorithmes de compression propriétaires (Microsoft Vidéo 1, Microsoft RLE compressor), mais intègre ceux proposés par des sociétés tierces, comme Indeo d'Intel

19


La vidéo sur Internetle réseau Internet n'est pas approprié au transport de vidéo temps réel :

• Le réseau doit fournir suffisamment de bande passante.

• La bande passante n ’est pas garantie durant toute la communication. Il faut prévoir des mécanismes qui assureront la réservation de bande passante pour les applications temps réel.

• Les paquets sont routés indépendamments les uns des autres. Leur séquencement n ’est pas assuré (ordre, espacement). Les protocoles de transport utilisés doivent assurer les exigences temporelles que demande la vidéo temps réel comme la synchronisation.


Les protocoles temps réel• RSVP (Ressource ReSerVation Protocol) :

• utilisé par les applications temps réel pour réserver les ressources nécessaires au niveau des routeurs situés le long du chemin de transmission

• Un Contrôle de Police (Policy Control) détermine si l'utilisateur à la permission administrative de faire de la réservation. Le contrôle d'admission (Admission Control) détermine si le nœud à suffisamment de ressource pour fournir la QoS demandée.

• RTP (Real-time Transport Protocol)– assure la reconstruction temporelle, la détection de perte, la sécurité et

l'identification du contenu. – travaille avec le protocole RTCP pour obtenir des feed-back concernant la

qualité de la transmission– fournit un système d'horloge (timestamping), une numérotation des

séquences et d'autres mécanismes pour prendre garde aux problèmes liés au temps.

– RTP tourne au-dessus de UDPEn-tête IP En-tête UDP En-tête RTP Données vidéo temps-réel

20


RTCP (Real-Time Control Protocol)– périodiquement des paquets RTCP pour donner des informations

sur la qualité du service délivré. travaille avec RTP. Les participants envoient

– RTCP offre les services suivants : Contrôle de la congestion et monitoring de la QoS ; Identification de la source ; Synchronisation inter-média ; Information de contrôle

RTSP (Real-Time Streaming Protocol)– initie et commande à distance des flux multimédia stockés sur un

serveur de données à travers un réseau IP. – offre des fonctionnalités comme l'arrêt, l'avance rapide, la

recherche avancée pour des flux vidéo et audio.– Les données quant à elles sont transmises séparément en utilisant

le plus souvent RTP.

Les protocoles temps réel


Session multimédia « temps réel »

UDP

RTP RTCP

Application«temps réel»

Serveur « temps réel »

UDP

RTP

Application«temps réel»

Client

RTCP RSVP

1-réservation des ressources dans les routeurs à l ’établissement de la session2-transmission des données dans des paquets RTP

3-contrôle de la qualité de la session (débit, gigue, perte) par des paquets RTCP

RouteurRSVP

RouteurRSVP

RouteurRSVP

21


off-line et streaming

Fichiers vidéo1

1 - le fichier est chargé sur l ’ordinateur client

clientRTCInternet

Routeur Routeur

Modem 56Kb/sserveur vidéooff-line

2 - le fichier est visionné localement

2

Versions du fichier28Kb/s 56Kb/s 512Kb/s

serveur"streaming"

RTCInternetRouteur Routeur

Modem 56Kb/s

2

client

Buffer7Ko

3

1 - test de performance de la liaison2 - création d ’un buffer pouvant stocker « n secondes » de vidéo3 - transmission des paquets4 - visualisation « n secondes » après l ’arrivée du premier paquet

4

vidéo numérique - perso.univ-mlv.frperso.univ-mlv.fr/present/supports/pdfimage/videonum.pdf ·...

Documents