régulation de débit pour mpeg-4 svc
DESCRIPTION
Stratégies d’encodage pour codeur vidéo scalable. Yohann Pitrey Encadrement : M. Babel, O. Déforges IETR – Équipe Image et Télédétection UMR 6164 INSA de Rennes 16 Septembre 2009. Régulation de débit pour MPEG-4 SVC. Plan. Introduction - PowerPoint PPT PresentationTRANSCRIPT
1
Stratégies d’encodage pour codeur vidéo scalable
Yohann Pitrey
Encadrement : M. Babel, O. Déforges
IETR – Équipe Image et Télédétection UMR 6164INSA de Rennes
16 Septembre 2009
Régulation de débit pour MPEG-4 SVC
2Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour codage vidéo scalable
3. Outils et méthodologie
4. Contributions
5. Conclusion et perspectives
3Y. Pitrey 16/09/2009
Codage vidéo
704 x 576 pixels25 img/seconde
4.7 Go
Objectif : Réduire le volume de données nécessaire pour représenter une séquence d’images
Stockage de vidéos :
Sans codage : 5 minutes
MPEG-4 AVC : 4 heures
Transmission de vidéos :
Applications :
4Y. Pitrey 16/09/2009
Codage vidéo et cibles hétérogènes
Problème : Réseaux et terminaux hétérogènes
Solution 1: simulcast (flux vidéo indépendants)
5Y. Pitrey 16/09/2009
Codage vidéo scalable
Avantage : Codage conjoint des couches économie de données
Solution 2 : codage vidéo scalable (un flux unique)
Plusieurs couches
scalabilité spatiale
scalabilitéen qualité
scalabilité temporelle
6Y. Pitrey 16/09/2009
Stratégies d’encodage
1. Optimisation débit/distorsion– Améliorer les outils de codage– Augmenter le rapport qualité/débit
2. Régulation de débit– Choisir les paramètres d’encodage– Respecter une consigne
Débit
Qua
lité
Amélioration du rapport qualité/débit
Déb
it
ImagesImages
Déb
it
Débit sans régulation Débit avec régulation
consigne
7Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils et méthodologie
4. Contributions
5. Conclusion et perspectives
8Y. Pitrey 16/09/2009
Régulation de débit pour le Codage Vidéo Scalable
Acquisition
Encodage
Transmission
Lecture
Décodage
Décodage
Cibles hétérogènes
Contraintes deTransmission
Contrainte de Latence faible
Codage vidéo scalable
Régulation de débit :
Fine
Par couche
Complexité faible en calculs
Contraintes :
Contexte actuel de diffusion de vidéos :
9Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique :Régulation de débit pour le Codage vidéo scalable
3. Outils et méthodologie– MPEG-4 SVC– Régulation de débit
4. Contributions
5. Conclusion et perspectives
10Y. Pitrey 16/09/2009
Schéma de codage MPEG-4 AVC
Prédiction Transformée QuantificationCodage
entropique
Séquence d’imagesnon compressée
Flux vidéocompressé
* =
011001001100011001001100101100111001
11001000110011+ =
11Y. Pitrey 16/09/2009
Schéma de codage scalable MPEG-4 SVC
Flux vidéocompressé
Prédiction inter-couches
Prédiction inter-couches
Prédiction inter-couches
Codage entropique
Prédiction Transformée Quantification
Couche de base
Prédiction Transformée Quantification
Rehaussement spatial
Codage entropique
Prédiction Transformée Quantification
Rehaussement en qualité
Codage entropique
Prédiction Transformée Quantification
Rehaussement temporel
Codage entropique
12Y. Pitrey 16/09/2009
MPEG-4 SVC
• Extension de la norme MPEG-4 AVC– Couche de base compatible avec MPEG-4 AVC
• Un encodeur de référence : JSVM
• Plan de vérification de la norme– Comparaison des performances
avec MPEG-4 AVC– Configurations scalables types
13Y. Pitrey 16/09/2009
• Types d’images Différents outils de prédiction :
• Intra image
• Inter images, 1 image de référence
• Inter images, 2 images de référence
• Groupes d’images (GOP) hiérarchiques
Types et Groupes d’Images
Efficacité de codage
Efficacité de codage
B B B B
B
B B
I P
Images B hiérarchiques
I
Intra
B
Bi-prédiction
P
Prédiction
14Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils et méthodologie– MPEG-4 SVC– Régulation de débit
4. Contributions
5. Conclusion et perspectives
15Y. Pitrey 16/09/2009
Niveaux de régulation
• Niveau séquence
• Niveau GOP
• Niveau image
• Niveau macrobloc
Finesse Complexité
16Y. Pitrey 16/09/2009
Répartition de budget
• Budget :nombre de bits souhaité
• Niveau GOP– Budget constant par GOP
• Niveau image– Budget constant par image
ou– Budget en fonction du type d’image
17Y. Pitrey 16/09/2009
Respect du budget
• Niveau image :– Choix du paramètre de quantification (QP) :
Prédiction Transformée Quantification
00000000
00000000
00000000
00000001
0000-121-4
000-1-151-3
00011-4-20
00-122-6-4-26
Bloc transformé
00000000
00000000
00000000
00000000
0000000-1
00000200
00000-100
00000-2-1-10
Bloc quantifié
50018
5983351
2000
zjiQP
,510,q
Codage entropique
q = 0 quantification faible
q = 51 quantification forte
18Y. Pitrey 16/09/2009
Respect du budget : stratégies
q
R
Relation entre débit et QP :
Budget à respecter : Rt
Valeur de QP optimale :
)(minarg
51...0
qRRq t
q
t
Problème : Comment choisir le QP ? Deux types d’approches :
• Recherche exhaustive :– Encoder l’image avec toutes
les valeurs de QP possibles
Forte complexité
• Modèle de débit :– Approximation de la relation
R(q) par une fonction paramétrique
Faible complexité
19Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils utilisés
4. Contributions1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe
5. Conclusion et perspectives
20Y. Pitrey 16/09/2009
Définition :ρ = % de coefficients transformés annulés après quantification
Un modèle de débit adapté : Le ρ-domaine
Relation ρ débit linéaire
ρ
Dé
bit
(kb
)
Ic
qczM
q ),(1
)(
2. Relation ρ(q) :
)R;(ρ 00
1;0
0
00 )1()(
R
RRR
1. Modèle linéaire de ρ(R) :
– Corrélation ρ R forte– Relation ρ(q) exacte Précision élevée
)()(minarg
51...0qRq t
qt
Calcul du QP optimal :
Complexité faible– Relation ρ(R) linéaire– Relation ρ(q) simple
Points clés :
21Y. Pitrey 16/09/2009
Validation du ρ-domaine pour MPEG-4 SVC
Deux hypothèses à vérifier :
1. relation ρ(q) valide
2. relation ρ(R) linéaire
Vérification expérimentale :• Tracé R(ρ) pour configurations scalables représentatives• Plan de Vérification MPEG-4 SVC • Encodage avec q = 0,…,51
0
00 )1()(
R
RRR
Ic
qczM
q ),(1
)(
22Y. Pitrey 16/09/2009
Relation R(ρ) pour SVC
Scalabilité spatiale Scalabilité en qualité Scalabilité temporelle
Relation linéaire pour l’ensemble des configurations testées :
23Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils utilisés
4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe
5. Conclusion et perspectives
24Y. Pitrey 16/09/2009
Ic
qczM
q ),(1
)(
Respect du budget : 2 passes
0
00 )1()(
R
RRR
1ère passe : valeurs initiales
2ème passe : encodage final
Valeurs initiales
)()(minarg51,0
qRq tq
t
Régulation de débit
25Y. Pitrey 16/09/2009
Répartition de budget
• Niveau GOP– Budget constant par GOP :
• Niveau image– Budget constant par image :
l
lll
F
SCG E
Compensation des erreurs
l
lt
S
GR
Cl = contrainte en bits par seconde
Sl = taille d’un GOP de la couche l
Fl = nb. d’img par sec. dans la couche l
26Y. Pitrey 16/09/2009
Résultats expérimentaux
Débits par GOP
Scalabilité spatiale - séquence HOCKEY
27Y. Pitrey 16/09/2009
Résultats expérimentaux
Scalabilité spatiale - séquence HOCKEY
Débits par image
Effet de seuil dû à la régulation niveau image :
R(qt )
R(qt+1)
Rt
Budget réel
Budget alloué
28Y. Pitrey 16/09/2009
Variations de la qualité
Scalabilité en qualité - séquence CITY
Effet de scintillement de la qualité :
29Y. Pitrey 16/09/2009
Résultats : variations de la qualité
Scalabilité en qualité – séquence HARBOUR Scalabilité temporelle – séquence CITY
P
B1
B2
B3
Variations de qualité :
PS
NR
images
Efficacitéde codage
Origine des variations :
30Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils utilisés
4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe
5. Conclusion et perspectives
31Y. Pitrey 16/09/2009
Objectif : Obtenir un PSNR constant sur toutes les images d’un GOP.
Problème :Différences d’efficacité de codage entre les types et niveaux d’images.
• Efficacité de codage :– Liée à la relation entre débit et qualité
– Relation difficile à caractériser
Qualité constante par GOP
Efficacitéde codage
32Y. Pitrey 16/09/2009
Relation PSNR(1/2q/6)
Image 1
Image 2
Lien entre débit et qualité
6/2q
ijijij
CYZ
Valeur d’un coefficient quantifié dans SVC :
PSNR constant
Terme de décalage constant
q : valeur de QP utiliséeCoefficient quantifié
Coefficient transformé
1/(2q1/6) 1/(2q2/6)
Relation Débit(1/2q/6)
Image 1
Image 2b2
b1
33Y. Pitrey 16/09/2009
Approximation linéaire des relations
Relation PSNR(1/2q/6)
Image 1
Image 2
Relation Débit(1/2q/6)
Image 1
Image 2
PSNR constant
b2
b1
1/(2q1/6) 1/(2q2/6)
6/
6/
1
2
2
2q
q PSNRq1
6/12/1
PSNRq2
6/22/1
Approximation linéaire de PSNR(1/(2q/6)) : Approximation linéaire de Débit(1/(2q/6)) :
6/1112/1 qb
6/2222/1 qb
2
1
b
b
34Y. Pitrey 16/09/2009
Mesure d’efficacité de codage
l
GOPi
i
f
t GK
KR
Répartition de budget image :
Valeur relative de Kfdans le GOP
Budget du GOP
Budget de l’image
6/
6/
1
2
2
2q
q PSNRq1
6/12/1
PSNRq2
6/22/1
Approximation linéaire de PSNR(1/(2q/6)) : Approximation linéaire de Débit(1/(2q/6)) :
6/1112/1 qb
6/2222/1 qb
2
1
b
b
fq
f bK f 6/2
Mesure de l’efficacité de codaged’une image :
Calculée après la 1ère passe :
qf : QP utilisé pour la 1ère passe
bf : débit obtenu par la 1ère passe
35Y. Pitrey 16/09/2009
Résultats : Comparaison visuelle
Budget constant par image : Budget selon l’efficacité de codage :
36Y. Pitrey 16/09/2009
Résultats : PSNR
Budget constant par image :
Budget selon l’efficacité de codage :
Scalabilité spatiale – séquence SOCCER Scalabilité en qualité – séquence HARBOUR
Scalabilité spatiale – séquence SOCCER Scalabilité en qualité – séquence HARBOUR
37Y. Pitrey 16/09/2009
Débits par image
Résultats : précision de la régulation
Scalabilité spatiale – séquence HARBOUR
Débits par GOP
38Y. Pitrey 16/09/2009
Résultats : temps d’encodage
Temps moyen d’encodage par image
39Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils utilisés
4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe
5. Conclusion et perspectives
40Y. Pitrey 16/09/2009
Initialisation du modèle de débit
• Besoin d’une phase d’initialisation– Modèle de débit : ρ0, R0, coefficients transformés
– Mesure d’efficacité de codage Kf : qf et bf
• Exploitation dépendances temporelles entre images :
B B B B
B
B
B
P P
B B B B
B
B
B
P P
GOP précédent GOP courant
... ...
Image courante
Image de référencepour la régulation de débit
41Y. Pitrey 16/09/2009
Résultats : débits par image
SOCCER – scalabilité en qualité
Débits par image (2 passes)
Débits par image (1 passe)
42Y. Pitrey 16/09/2009
Résultats : PSNR
2 passes
1 passe
HARBOUR – scalabilité spatialeSOCCER – scalabilité en qualité
2 passes
1 passe
43Y. Pitrey 16/09/2009
Résultats : temps d’encodage
Temps moyen d’encodage par image
44Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils utilisés
4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe
5. Conclusion et perspectives
45Y. Pitrey 16/09/2009
Conclusion
• Objectif :– Développer un schéma de régulation de débit
adapté à un codage vidéo scalable• MPEG-4 SVC• Contraintes applicatives fortes
• Bilan des contributions :– Validation d’un modèle de débit sur MPEG-4 SVC– Régulation fine– Faible complexité– Qualité constante
46Y. Pitrey 16/09/2009
Plan
1. Introduction
2. Problématique : Régulation de débit pour le Codage vidéo scalable
3. Outils utilisés
4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe
5. Conclusion et perspectives
47Y. Pitrey 16/09/2009
Travaux préliminaires
• Régulation inter-couches– Initialisation du modèle de débit
avec l’image de la couche de base– Problème de mise à l’échelle
Image courante
Même imagedans la couche de base
Image précédentede même type
dans la même couche
Corrélations des QP entre les couches :
48Y. Pitrey 16/09/2009
Travaux préliminaires
Régulation en une passe
Régulation inter-couches
49Y. Pitrey 16/09/2009
Travaux préliminaires
• Budget image adaptatif– Comparaison de la qualité a posteriori– Correction de la répartition de budget niveau image
Répartition et selon efficacité de codage
HA
RB
OU
R –
qu
alit
é
Répartition après correction
50Y. Pitrey 16/09/2009
• Prise en compte du buffer de transmission– Étude de différentes politiques de contrôle de buffer– Interdépendances des données inter-couches
• Mesures perceptuelles de qualité
Perspectives
51
Stratégies d’encodage pour codeur vidéo scalable
Yohann Pitrey
IETR – Equipe Image et Télédétection UMR 6164INSA de Rennes
16 Septembre 2009
Régulation de débitpour MPEG-4 SVC
52
53Y. Pitrey 16/09/2009
• Prise en compte du buffer de transmission
Contrainte : niveau d’occupation du buffer
• Étude de différentes politiques de contrôle de buffer• Local à chaque couche :
• Global à toutes les couches :
Perspectives
…EncodageTransmission
Décodage…
Buffer Buffer
54Y. Pitrey 16/09/2009
Validation du ρ-domaine
• Pourquoi la relation rho(R) aurait pu changer dans SVC?– Prédiction inter-couches
• Force de la quantification peut avoir un impact sur l’efficacité prédiction inter-couches
• Nature de cet impact : – constant ( relation toujours linéaire)?
55Y. Pitrey 16/09/2009
Scalabilité spatiale
56Y. Pitrey 16/09/2009
Scalabilité en qualité
+ +
57Y. Pitrey 16/09/2009
Scalabilité temporelle
B B B B
B
B
B
P P
Structure de gop hiérarchique (importante pour explication qualité constante)
58Y. Pitrey 16/09/2009
Codage Vidéo Scalable
Simulcast
Codage scalable
Économie de débit
59Y. Pitrey 16/09/2009
Codage Vidéo Scalable
Simulcast
Codage scalable
60Y. Pitrey 16/09/2009
Images
Dé
bit
(kb
its)
Régulation de débit
trop élevé
trop faible
Trop de données
Arrêt pendant chargement
Trop de pertes
Qualité sous optimale
• Transmission de vidéos
Contrainte de débit constant Régulation fine Impact sur la qualité
61Y. Pitrey 16/09/2009
• Structure courante pour MPEG-4 AVC :
• Structure hiérarchique de MPEG-4 SVC :
Groupes d’Images (GOP)
B B B B
B
B B
P
I B B P B B P B B
P
Efficacitéde la
prédiction
62Y. Pitrey 16/09/2009
iS
GR
l
restantlt
Répartition de budget
• Niveau image– Budget égal pour chaque image :
Budget allouéà l’image
Budget restant pour le GOP
Position de l’image dans le GOP
63Y. Pitrey 16/09/2009
Mécanisme en deux passes
1ère passe
Calcul QP
2ème passe
)R,(ρ 00 coeffs+
qt
64Y. Pitrey 16/09/2009
Mécanisme en une passe
Encodage imageprécédente
Encodage imagecourante
Calcul QP
65Y. Pitrey 16/09/2009
Choix d’un modèle de débit pour SVC
• Exemples d’approches sur SVC :
[Liu 2008]
• Modèle linéaire pour R(q)
• Apprentissage complexe
• Sensible aux changements brusques
[Xu 2007]
• Modèle complexe
• Apprentissage
• Mélange répartition budget et calcul du QP
66Y. Pitrey 16/09/2009
Mesure de complexité de codage
l
GOPi
i
f
t GK
KR
P
B1
B2B3
B4
P
B1
B2
B3B4
Comportement de Kf dans un GOP :
• Calcul du budget image :Complexité relative
de l’image dans le GOP
Budget du GOP
67Y. Pitrey 16/09/2009
Résultats expérimentaux
Scalabilité spatiale - séquence HOCKEY
Erreur de débit par image et par couche
moyenneécart type