régulation de débit pour mpeg-4 svc

1

Stratégies d’encodage pour codeur vidéo scalable

Yohann Pitrey

Encadrement : M. Babel, O. Déforges

IETR – Équipe Image et Télédétection UMR 6164INSA de Rennes

16 Septembre 2009

Régulation de débit pour MPEG-4 SVC

2Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour codage vidéo scalable

3. Outils et méthodologie

4. Contributions

5. Conclusion et perspectives

3Y. Pitrey 16/09/2009

Codage vidéo

704 x 576 pixels25 img/seconde

4.7 Go

Objectif : Réduire le volume de données nécessaire pour représenter une séquence d’images

Stockage de vidéos :

Sans codage : 5 minutes

MPEG-4 AVC : 4 heures

Transmission de vidéos :

Applications :

4Y. Pitrey 16/09/2009

Codage vidéo et cibles hétérogènes

Problème : Réseaux et terminaux hétérogènes

Solution 1: simulcast (flux vidéo indépendants)

5Y. Pitrey 16/09/2009

Codage vidéo scalable

Avantage : Codage conjoint des couches économie de données

Solution 2 : codage vidéo scalable (un flux unique)

Plusieurs couches

scalabilité spatiale

scalabilitéen qualité

scalabilité temporelle

6Y. Pitrey 16/09/2009

Stratégies d’encodage

1. Optimisation débit/distorsion– Améliorer les outils de codage– Augmenter le rapport qualité/débit

2. Régulation de débit– Choisir les paramètres d’encodage– Respecter une consigne

Débit

Qua

lité

Amélioration du rapport qualité/débit

Déb

it

ImagesImages

Déb

it

Débit sans régulation Débit avec régulation

consigne

7Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils et méthodologie

4. Contributions

5. Conclusion et perspectives

8Y. Pitrey 16/09/2009

Régulation de débit pour le Codage Vidéo Scalable

Acquisition

Encodage

Transmission

Lecture

Décodage

Décodage

Cibles hétérogènes

Contraintes deTransmission

Contrainte de Latence faible

Codage vidéo scalable

Régulation de débit :

Fine

Par couche

Complexité faible en calculs

Contraintes :

Contexte actuel de diffusion de vidéos :

9Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique :Régulation de débit pour le Codage vidéo scalable

3. Outils et méthodologie– MPEG-4 SVC– Régulation de débit

4. Contributions

5. Conclusion et perspectives

10Y. Pitrey 16/09/2009

Schéma de codage MPEG-4 AVC

Prédiction Transformée QuantificationCodage

entropique

Séquence d’imagesnon compressée

Flux vidéocompressé

* =

011001001100011001001100101100111001

11001000110011+ =

11Y. Pitrey 16/09/2009

Schéma de codage scalable MPEG-4 SVC

Flux vidéocompressé

Prédiction inter-couches

Prédiction inter-couches

Prédiction inter-couches

Codage entropique

Prédiction Transformée Quantification

Couche de base

Prédiction Transformée Quantification

Rehaussement spatial

Codage entropique

Prédiction Transformée Quantification

Rehaussement en qualité

Codage entropique

Prédiction Transformée Quantification

Rehaussement temporel

Codage entropique

12Y. Pitrey 16/09/2009

MPEG-4 SVC

• Extension de la norme MPEG-4 AVC– Couche de base compatible avec MPEG-4 AVC

• Un encodeur de référence : JSVM

• Plan de vérification de la norme– Comparaison des performances

avec MPEG-4 AVC– Configurations scalables types

13Y. Pitrey 16/09/2009

• Types d’images Différents outils de prédiction :

• Intra image

• Inter images, 1 image de référence

• Inter images, 2 images de référence

• Groupes d’images (GOP) hiérarchiques

Types et Groupes d’Images

Efficacité de codage

Efficacité de codage

B B B B

B

B B

I P

Images B hiérarchiques

I

Intra

B

Bi-prédiction

P

Prédiction

14Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils et méthodologie– MPEG-4 SVC– Régulation de débit

4. Contributions

5. Conclusion et perspectives

15Y. Pitrey 16/09/2009

Niveaux de régulation

• Niveau séquence

• Niveau GOP

• Niveau image

• Niveau macrobloc

Finesse Complexité

16Y. Pitrey 16/09/2009

Répartition de budget

• Budget :nombre de bits souhaité

• Niveau GOP– Budget constant par GOP

• Niveau image– Budget constant par image

ou– Budget en fonction du type d’image

17Y. Pitrey 16/09/2009

Respect du budget

• Niveau image :– Choix du paramètre de quantification (QP) :

Prédiction Transformée Quantification

00000000

00000000

00000000

00000001

0000-121-4

000-1-151-3

00011-4-20

00-122-6-4-26

Bloc transformé

00000000

00000000

00000000

00000000

0000000-1

00000200

00000-100

00000-2-1-10

Bloc quantifié

50018

5983351

2000

zjiQP

,510,q

Codage entropique

q = 0 quantification faible

q = 51 quantification forte

18Y. Pitrey 16/09/2009

Respect du budget : stratégies

q

R

Relation entre débit et QP :

Budget à respecter : Rt

Valeur de QP optimale :

)(minarg

51...0

qRRq t

q

t

Problème : Comment choisir le QP ? Deux types d’approches :

• Recherche exhaustive :– Encoder l’image avec toutes

les valeurs de QP possibles

Forte complexité

• Modèle de débit :– Approximation de la relation

R(q) par une fonction paramétrique

Faible complexité

19Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

20Y. Pitrey 16/09/2009

Définition :ρ = % de coefficients transformés annulés après quantification

Un modèle de débit adapté : Le ρ-domaine

Relation ρ débit linéaire

ρ

Dé

bit

(kb

)

Ic

qczM

q ),(1

)(

2. Relation ρ(q) :

)R;(ρ 00

1;0

0

00 )1()(

R

RRR

1. Modèle linéaire de ρ(R) :

– Corrélation ρ R forte– Relation ρ(q) exacte Précision élevée

)()(minarg

51...0qRq t

qt

Calcul du QP optimal :

Complexité faible– Relation ρ(R) linéaire– Relation ρ(q) simple

Points clés :

21Y. Pitrey 16/09/2009

Validation du ρ-domaine pour MPEG-4 SVC

Deux hypothèses à vérifier :

1. relation ρ(q) valide

2. relation ρ(R) linéaire

Vérification expérimentale :• Tracé R(ρ) pour configurations scalables représentatives• Plan de Vérification MPEG-4 SVC • Encodage avec q = 0,…,51

0

00 )1()(

R

RRR

Ic

qczM

q ),(1

)(

22Y. Pitrey 16/09/2009

Relation R(ρ) pour SVC

Scalabilité spatiale Scalabilité en qualité Scalabilité temporelle

Relation linéaire pour l’ensemble des configurations testées :

23Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

24Y. Pitrey 16/09/2009

Ic

qczM

q ),(1

)(

Respect du budget : 2 passes

0

00 )1()(

R

RRR

1ère passe : valeurs initiales

2ème passe : encodage final

Valeurs initiales

)()(minarg51,0

qRq tq

t

Régulation de débit

25Y. Pitrey 16/09/2009

Répartition de budget

• Niveau GOP– Budget constant par GOP :

• Niveau image– Budget constant par image :

l

lll

F

SCG E

Compensation des erreurs

l

lt

S

GR

Cl = contrainte en bits par seconde

Sl = taille d’un GOP de la couche l

Fl = nb. d’img par sec. dans la couche l

26Y. Pitrey 16/09/2009

Résultats expérimentaux

Débits par GOP

Scalabilité spatiale - séquence HOCKEY

27Y. Pitrey 16/09/2009

Résultats expérimentaux

Scalabilité spatiale - séquence HOCKEY

Débits par image

Effet de seuil dû à la régulation niveau image :

R(qt )

R(qt+1)

Rt

Budget réel

Budget alloué

28Y. Pitrey 16/09/2009

Variations de la qualité

Scalabilité en qualité - séquence CITY

Effet de scintillement de la qualité :

29Y. Pitrey 16/09/2009

Résultats : variations de la qualité

Scalabilité en qualité – séquence HARBOUR Scalabilité temporelle – séquence CITY

P

B1

B2

B3

Variations de qualité :

PS

NR

images

Efficacitéde codage

Origine des variations :

30Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

31Y. Pitrey 16/09/2009

Objectif : Obtenir un PSNR constant sur toutes les images d’un GOP.

Problème :Différences d’efficacité de codage entre les types et niveaux d’images.

• Efficacité de codage :– Liée à la relation entre débit et qualité

– Relation difficile à caractériser

Qualité constante par GOP

Efficacitéde codage

32Y. Pitrey 16/09/2009

Relation PSNR(1/2q/6)

Image 1

Image 2

Lien entre débit et qualité

6/2q

ijijij

CYZ

Valeur d’un coefficient quantifié dans SVC :

PSNR constant

Terme de décalage constant

q : valeur de QP utiliséeCoefficient quantifié

Coefficient transformé

1/(2q1/6) 1/(2q2/6)

Relation Débit(1/2q/6)

Image 1

Image 2b2

b1

33Y. Pitrey 16/09/2009

Approximation linéaire des relations

Relation PSNR(1/2q/6)

Image 1

Image 2

Relation Débit(1/2q/6)

Image 1

Image 2

PSNR constant

b2

b1

1/(2q1/6) 1/(2q2/6)

6/

6/

1

2

2

2q

q PSNRq1

6/12/1

PSNRq2

6/22/1

Approximation linéaire de PSNR(1/(2q/6)) : Approximation linéaire de Débit(1/(2q/6)) :

6/1112/1 qb

6/2222/1 qb

2

1

b

b

34Y. Pitrey 16/09/2009

Mesure d’efficacité de codage

l

GOPi

i

f

t GK

KR

Répartition de budget image :

Valeur relative de Kfdans le GOP

Budget du GOP

Budget de l’image

6/

6/

1

2

2

2q

q PSNRq1

6/12/1

PSNRq2

6/22/1

Approximation linéaire de PSNR(1/(2q/6)) : Approximation linéaire de Débit(1/(2q/6)) :

6/1112/1 qb

6/2222/1 qb

2

1

b

b

fq

f bK f 6/2

Mesure de l’efficacité de codaged’une image :

Calculée après la 1ère passe :

qf : QP utilisé pour la 1ère passe

bf : débit obtenu par la 1ère passe

35Y. Pitrey 16/09/2009

Résultats : Comparaison visuelle

Budget constant par image : Budget selon l’efficacité de codage :

36Y. Pitrey 16/09/2009

Résultats : PSNR

Budget constant par image :

Budget selon l’efficacité de codage :

Scalabilité spatiale – séquence SOCCER Scalabilité en qualité – séquence HARBOUR

Scalabilité spatiale – séquence SOCCER Scalabilité en qualité – séquence HARBOUR

37Y. Pitrey 16/09/2009

Débits par image

Résultats : précision de la régulation

Scalabilité spatiale – séquence HARBOUR

Débits par GOP

38Y. Pitrey 16/09/2009

Résultats : temps d’encodage

Temps moyen d’encodage par image

39Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

40Y. Pitrey 16/09/2009

Initialisation du modèle de débit

• Besoin d’une phase d’initialisation– Modèle de débit : ρ0, R0, coefficients transformés

– Mesure d’efficacité de codage Kf : qf et bf

• Exploitation dépendances temporelles entre images :

B B B B

B

B

B

P P

B B B B

B

B

B

P P

GOP précédent GOP courant

... ...

Image courante

Image de référencepour la régulation de débit

41Y. Pitrey 16/09/2009

Résultats : débits par image

SOCCER – scalabilité en qualité

Débits par image (2 passes)

Débits par image (1 passe)

42Y. Pitrey 16/09/2009

Résultats : PSNR

2 passes

1 passe

HARBOUR – scalabilité spatialeSOCCER – scalabilité en qualité

2 passes

1 passe

43Y. Pitrey 16/09/2009

Résultats : temps d’encodage

Temps moyen d’encodage par image

44Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

45Y. Pitrey 16/09/2009

Conclusion

• Objectif :– Développer un schéma de régulation de débit

adapté à un codage vidéo scalable• MPEG-4 SVC• Contraintes applicatives fortes

• Bilan des contributions :– Validation d’un modèle de débit sur MPEG-4 SVC– Régulation fine– Faible complexité– Qualité constante

46Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

47Y. Pitrey 16/09/2009

Travaux préliminaires

• Régulation inter-couches– Initialisation du modèle de débit

avec l’image de la couche de base– Problème de mise à l’échelle

Image courante

Même imagedans la couche de base

Image précédentede même type

dans la même couche

Corrélations des QP entre les couches :

48Y. Pitrey 16/09/2009

Travaux préliminaires

Régulation en une passe

Régulation inter-couches

49Y. Pitrey 16/09/2009

Travaux préliminaires

• Budget image adaptatif– Comparaison de la qualité a posteriori– Correction de la répartition de budget niveau image

Répartition et selon efficacité de codage

HA

RB

OU

R –

qu

alit

é

Répartition après correction

50Y. Pitrey 16/09/2009

• Prise en compte du buffer de transmission– Étude de différentes politiques de contrôle de buffer– Interdépendances des données inter-couches

• Mesures perceptuelles de qualité

Perspectives

51

Stratégies d’encodage pour codeur vidéo scalable

Yohann Pitrey

IETR – Equipe Image et Télédétection UMR 6164INSA de Rennes

16 Septembre 2009

Régulation de débitpour MPEG-4 SVC

52

53Y. Pitrey 16/09/2009

• Prise en compte du buffer de transmission

Contrainte : niveau d’occupation du buffer

• Étude de différentes politiques de contrôle de buffer• Local à chaque couche :

• Global à toutes les couches :

Perspectives

…EncodageTransmission

Décodage…

Buffer Buffer

54Y. Pitrey 16/09/2009

Validation du ρ-domaine

• Pourquoi la relation rho(R) aurait pu changer dans SVC?– Prédiction inter-couches

• Force de la quantification peut avoir un impact sur l’efficacité prédiction inter-couches

• Nature de cet impact : – constant ( relation toujours linéaire)?

55Y. Pitrey 16/09/2009

Scalabilité spatiale

56Y. Pitrey 16/09/2009

Scalabilité en qualité

+ +

57Y. Pitrey 16/09/2009

Scalabilité temporelle

B B B B

B

B

B

P P

Structure de gop hiérarchique (importante pour explication qualité constante)

58Y. Pitrey 16/09/2009

Codage Vidéo Scalable

Simulcast

Codage scalable

Économie de débit

59Y. Pitrey 16/09/2009

Codage Vidéo Scalable

Simulcast

Codage scalable

60Y. Pitrey 16/09/2009

Images

Dé

bit

(kb

its)

Régulation de débit

trop élevé

trop faible

Trop de données

Arrêt pendant chargement

Trop de pertes

Qualité sous optimale

• Transmission de vidéos

Contrainte de débit constant Régulation fine Impact sur la qualité

61Y. Pitrey 16/09/2009

• Structure courante pour MPEG-4 AVC :

• Structure hiérarchique de MPEG-4 SVC :

Groupes d’Images (GOP)

B B B B

B

B B

P

I B B P B B P B B

P

Efficacitéde la

prédiction

62Y. Pitrey 16/09/2009

iS

GR

l

restantlt

Répartition de budget

• Niveau image– Budget égal pour chaque image :

Budget allouéà l’image

Budget restant pour le GOP

Position de l’image dans le GOP

63Y. Pitrey 16/09/2009

Mécanisme en deux passes

1ère passe

Calcul QP

2ème passe

)R,(ρ 00 coeffs+

qt

64Y. Pitrey 16/09/2009

Mécanisme en une passe

Encodage imageprécédente

Encodage imagecourante

Calcul QP

65Y. Pitrey 16/09/2009

Choix d’un modèle de débit pour SVC

• Exemples d’approches sur SVC :

[Liu 2008]

• Modèle linéaire pour R(q)

• Apprentissage complexe

• Sensible aux changements brusques

[Xu 2007]

• Modèle complexe

• Apprentissage

• Mélange répartition budget et calcul du QP

66Y. Pitrey 16/09/2009

Mesure de complexité de codage

l

GOPi

i

f

t GK

KR

P

B1

B2B3

B4

P

B1

B2

B3B4

Comportement de Kf dans un GOP :

• Calcul du budget image :Complexité relative

de l’image dans le GOP

Budget du GOP

67Y. Pitrey 16/09/2009

Résultats expérimentaux

Scalabilité spatiale - séquence HOCKEY

Erreur de débit par image et par couche

moyenneécart type