vidéo numérique: analyse et codage cours en master ism jenny benois -pineau université bordeaux...
Post on 03-Apr-2015
114 Views
Preview:
TRANSCRIPT
Vidéo Numérique:Vidéo Numérique:Analyse et Analyse et
CodageCodageCours en Master ISMCours en Master ISM
Jenny Benois -PineauJenny Benois -Pineau
Université Bordeaux -1Université Bordeaux -1
Programme du cours (I)• 1. Introduction. Vidéo dans des systèmes
multimédia• 2. Aspects technologiques
– Formats, numérisation, résolution.– Interpolation temporelle de la vidéo– Systèmes couleur spécifiques à la vidéo
• 3. Analyse et estimation du mouvement dans la vidéo– Détection du mouvement– Estimation du mouvement
• 4. Notions de la théorie de l’information• 5. Codage sans pertes d’informations multimédia• 6. Quantification des signaux visuels. Codage
prédictif (MICD)• 7. Eléments de codage par QV• 8. Transformées orthogonales et codage par
transformées. Application au codage. JPEG, MJPEG
Programme du cours (II)
• 9. Normes et Standards de codage hybride avec la compensation du mouvement et compression
– Bases de l’architecture des standards MPEG1, MPEG2
– Standard MPEG2
– H.264/MPEG4 AVC
1. Introduction (I)Vidéo dans les systèmes
multimédia
• (1)TV analogique et numérique
TV numérique d’hier/CDROM
1. Introduction (II)Vidéo dans les systèmes
multimédia
• (2) TV numérique d’aujourd’hui/DVD
• (3) TNT • (télévision numérique
terrestre) – DVB-T (1995)• (4) TVHD, DVDHD
1. Introduction (III)Vidéo dans les systèmes
multimédia
• (5) Vidéo sur IP
(5)Vidéo sur IP
• (4) Vidéo via réseau sans fil • (5) Numérisation du patrimoine
culturel – du bétacam au DVD
• (6) BD vidéo – archives demo
• (7) Production et post-production sous forme numérique
1. Introduction (IV)Vidéo dans les systèmes
multimédia
2. Aspects technologiques Formats
Historique : TV analogique
StandardRésolution en pixels / Lignes Cadence Secteur Géographique
NTSC
640x480 (525) carré720x480=704+16 30 ips = 2x60 trames
USA, Canada, Japon, Philippines, Moyen Orient
PAL720x576 (625),768x576 25 ips=2x50 trames
UK, Chine, Singapour, Allemagne,Amérique du Sud
SECAM 720x576 (625), 25 ips=2x50 trames
France, Europe de l'EST (MESECAM)
PAL/SECAM : la même résolution et la même fréquence
NTSC : National Television System Committee
PAL : Phase Alternation Line
SECAM : Système Electronique Couleur Avec Mémoire, 1967
Tramage
Formation d’une image sur l’écran de TV
Trame impaire
Trame paire
Le spot lumineux « affiche » d’abord les lignes de la trame « impaire » ( 1, 3, 5, …) en 1/50 de sec (PAL/SECAM)
Ensuite les lignes de la trame paire ( 2, 4, …)
Cette technologie a été conçue pour éviter le scintillement de l’image sur des écrans cathodiques.
La rémanence du phosphore et la persistance des impressions sur la rétine donnent l’illusion d’une image permanente
Tramage
Trames paires des séquences CCIR601 (720x480:2), (720x576:2)
Tramage
Effets gênants : en présence de mouvement fort on observe le décalage spatial des trames sur les contours verticaux des objets, dans des zones d’occultation SFRS, Hiragasy
Tramage
Illustration.
Nécessité de filtres de désentrelacement lors de la conversion vers les formats progressifs
Formats analogique/numérique
DV Amateur numérique Séparément
(Digital 8)
Technologies de la vidéo
numérique
MJPEG-2000, MJPEG-2000,
SVCSVC
H.264 MPEG4 V.10 AVC- H.264 MPEG4 V.10 AVC- vidéocoms IP,WAPvidéocoms IP,WAP
Chaîne d ’acquisition de la vidéo
Résolution des formats numériques
Format Fréquence * Mode lignes ppl Aspect Applications
Sub-QCIF 30 progressif 96 128 4/3 Vidéocom
QCIF 30 progressif 144 176 4/3 Vidéocom
CIF 30 progressif 288 352 4/3 CD-ROM/VC
(SIF525) 30 progressif 240 352 4/3 Vidéocom
(SIF625) 25 progressif 288 352 4/3 Vidéocom
420-525(CCIR601)
30 entrelacé 480 720 4/3 SD : TV Num/DVD
420-625(CCIR601)
25 entrelacé 576 720 4/3 SD : TV Num/DVD
SD – définition standard
HD – haute définition
Résolution spatiale des formats progressifs
Sub-QCIF - 128x96
QCIF - 176x144
CIF - 352x288
4CIF, 16CIF
Résolution spatiale des formats progressifs (II)
QCIF - 176x144
CIF - 352x288
Formats HD
Format Fréquence *
Mode lignes ppl Aspect
720p/50 50 progressif 720 1280 16/9
1080i/25 25 entrelacé 1080 1920* 16/9
1080p/25 25 progressif 1080 1920* (1440 lignes utiles act.
16/9
1080p/50 50 progressif 1080 1920* 16/9
* “2K” pixels en ligne .....
Formats TVHD suggérés par l’EUR (2005)
Formats HD
1080 psf
Qualité de bande de base
Séquence « Voiture extérieur »
Compression MPEG4/DIVX
« Voiture Extérieur »
Changement des formats
• Interpolation spatiale et temporelle
• Interpolation temporelle
– sans compensation du mouvement
– avec compensation du mouvement
• Interpolation temporelle sans compensation du mouvement
Interpolation temporelle
• 1. Sur-échantillonnage temporel : interpolation basée pixel.
• Équivaut à l’interpolation du signal 1D pour chaque pixel le long de l’axe du temps.
• Interpolation du signal 1D : 2 étapes
• a) complément par ajout des zéros
• b) filtrage passe-bas du signal complété
Interpolation temporelle de la vidéo(2)
• a) Ajout des zéros
Etant donné un signal s(n), le signal u(n) sur-échantillonné de facteur L est défini comme
,...2,,0,,0
)( LLnL
ns
nu
sisinon
0 1 2 3 4 5… n
s(n)
0 1 2 3 4 5… n
u(n)
L=3
Interpolation temporelle de la vidéo(3)
• La transformée de Fourier pour les signaux discrets est
• Ainsi le spectre du signal complété est lié au spectre du signal d’origine par « compression » de l’axe de fréquences .
)(2exp)(2exp)()( fLSfLninufninufUnn
0 1/2-1/2
-1/21/21/6-1/6
fn
fn
fn – fréquence normalisé fn=f*t
Interpolation temporelle de la vidéo(4)
• b) Interpolation
• Filtre Idéal d’interpolation
• La réponse impulsionnelle est sinc
Ln
Lnnh
/
/sin)(
1/21/2L-1/2L fn0
1
H(fn)U(fn)
1/21/2L-1/2L0
1 fn
-1
-1
Interpolation temporelle de la vidéo(5)
• Le signal interpolé est donc obtenu par la convolution avec la réponse impulsionnelle du filtre
• La réponse impulsionnelle du filtre idéal d’interpolation a des propriétés :
• Ainsi à cause de ces zéros y(n)=s(n) dans les valeurs existantes et les valeurs non-nulles sont assignées aux zéros de complément.
Lkn
Lknkuny
k
k /)(
/)(sin)(
...2,pour0)(1)0( LLnnheth
• Les filtres pratiques d’interpolation.
• Le filtre idéal d’interpolation ne peut pas être synthétisé car il a la réponse impulsionnelle infinie et il est non-causal.
Sa mise en oeuvre demanderait un temps de délais infini.
Ainsi plusieurs approximations sont possibles.
Interpolation temporelle de la vidéo(5)
1. Interpolateur d’ordre zéro ( ex. pour L=3) :
Engendre des effets d’aliasing.
2.Filtre d’interpolation linéaire
Interpolation linéaire est obtenue par la somme pondérée des pixels voisins le long de l’axe temporel.
Interpolation temporelle de la vidéo(6)
h(n)
n
1
0 1 2
n
h(n)1
2/31/3
n
12/3
1/3
h(n-k)
u(k)
k
Décimation/sous-échantillonnage (1)
• Décimation du signal 1D de facteur M : 2 étapes
• a) multiplier par le train des impulsions pour remplacer M-1 valeurs par zéros entre chaque couple des valeurs distantes de M
• b) enlever les zéros pour obtenir le signal à la cadence plus faible
a) Etant donnée le signal d’entrée s(n) on définit un signal intermédiaire w(n) comme
Alors le signal sous-échantilloné peut être exprimé comme
k
k
kMnnsnw )()(
Mnwny )(
Décimation (2)
• Illustration pour un facteur de sous-échantillonnage de 2
n
0 1 2 3 4 5…
s(n)
n
0 1 2 3 4 5…
w(n)
0 1 2 3 4 5…
y(n)
n
Décimation (3)
• La transformée de Fourier du signal intermédiaire w(n) :
• Ainsi le spectre du signal intermédiaire consiste des réplications du spectre du signal d’origine. Il y a M répliques dans l’interval (de la fréquence normalisée (-1/2, ½) .
• Le spectre du signal décimé :
• étirement de l’axe des fréquences
)(1
)(1
0
M
k M
kfS
MfW
)2exp()2exp()( MnM
fiMnwfniMnwfY
nn
M
fWfY )(
Décimation (4)
• Illustration ( pour la fréquence normalisée) M=2, spectre borné ( fc=1/4)
1/2-1/20 1
-1
S(f)
f
f1/2-1/20
1-1
W(f)
f1/2-1/20
1-1
Y(f)
Décimation (5)• Si la bande passante du signal d’entrée est
plus large que 1/(2M), alors les répliques se recouvriront et le signal sous-échantillonné comportera des effets d’aliasing.
• Ainsi un filtrage passe-bas avec la fréquence de coupure est nécessaire ( filtre d’anti-aliasage).
Mfc 2/1
f1/2-1/2 0 1-1
f1/2-1/2 0 1-1
f1/2-1/2 0 1-1
S(f)
W(f)
Y(f)
Changement de la cadence d’échantillonnage d’un facteur
rationnel
• Soit le facteur de changement est L/M• Principe : sur-échantillonner de L, ensuite sous-
échantillonner de M.• Les filtres d’interpolation et d’anti-aliasage • peuvent être regrouppés dans un seul filtre
Avec les contraintes que les valeurs existantes doivent être préservées (Interp. linéaire)
LMfc 2/1,2/1min
1:L
Filtrage Passe-bas M:1
s(n)u(n) w(n) y(n)
Systèmes couleur spécifiques à la
vidéo (I)
• RGB – le système le plus proche au matériel : reproduction LCD, TV, scanner.
http://www.tsi.enst.fr/enseignement/ressources/
Système additif
C(x,y)=r(x,y)+v(x,y)+b(x,y)
C=(r,v,b,)T – vecteur couleur
Systèmes couleur spécifiques à la
vidéo (II)
• Le système RGB n’est pas efficace selon le critère d’«efficacité/compacité » de représentation.
• Les systèmes couleurs séparant la luminance et la chrominance le sont.
Systèmes couleur spécifiques à la vidéo
RVB Y
Luminance
U V
Chrominance
Quantification : 8 bits/pixel/composante
Système - couleur : YUV(PAL) ou YCrCb, YIQ(NTSC)
Echantillonnage spatial : 4:2:0, 4:2:2, 4:4:4
4:2:24:2:2
Représentation de la couleur dans le signal vidéo numérique (II)
Production du signal numérique YCrCb à partir des signaux primaires analogiques ER,EG,EB
Standard CCIR 601 : le standard international pour la numérisation des signaux analogiques NTSC, PAL et SECAM (NTSC est encodé en YIQ, PAL en YUV, CCIR601 - YCrCb
BGRY EEEE 114.0587.0299.0
BGRYR EEEEE 114.0587.0701.0
BGRYB EEEEE 886.0587.0299.0
886.0886.0,701.0701.0,10 YBYRy EEEEE
16219 YEY
128)(160128))(713.0(224 YRYRR EEEEC
128)(126128))(564.0(224 YBYBB EEEEC
Représentation de la couleur dans le signal vidéo numérique (III)
128
128
16
2.0200.1201.250
0.392-0.693-1.250
01.7201.250
B
R
C
C
Y
B
V
R
U V Y
Image RVB après le filtrage scalaire YUV
top related