régulation de débit pour mpeg-4 svc

67
1 Stratégies d’encodage pour codeur vidéo scalable Yohann Pitrey Encadrement : M. Babel, O. Déforges IETR – Équipe Image et Télédétection UMR 6164 INSA de Rennes 16 Septembre 2009 Régulation de débit pour MPEG-4 SVC

Upload: sari

Post on 09-Jan-2016

27 views

Category:

Documents


3 download

DESCRIPTION

Stratégies d’encodage pour codeur vidéo scalable. Yohann Pitrey Encadrement : M. Babel, O. Déforges IETR – Équipe Image et Télédétection UMR 6164 INSA de Rennes 16 Septembre 2009. Régulation de débit pour MPEG-4 SVC. Plan. Introduction - PowerPoint PPT Presentation

TRANSCRIPT

Page 1: Régulation de débit pour MPEG-4 SVC

1

Stratégies d’encodage pour codeur vidéo scalable

Yohann Pitrey

Encadrement : M. Babel, O. Déforges

IETR – Équipe Image et Télédétection UMR 6164INSA de Rennes

16 Septembre 2009

Régulation de débit pour MPEG-4 SVC

Page 2: Régulation de débit pour MPEG-4 SVC

2Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour codage vidéo scalable

3. Outils et méthodologie

4. Contributions

5. Conclusion et perspectives

Page 3: Régulation de débit pour MPEG-4 SVC

3Y. Pitrey 16/09/2009

Codage vidéo

704 x 576 pixels25 img/seconde

4.7 Go

Objectif : Réduire le volume de données nécessaire pour représenter une séquence d’images

Stockage de vidéos :

Sans codage : 5 minutes

MPEG-4 AVC : 4 heures

Transmission de vidéos :

Applications :

Page 4: Régulation de débit pour MPEG-4 SVC

4Y. Pitrey 16/09/2009

Codage vidéo et cibles hétérogènes

Problème : Réseaux et terminaux hétérogènes

Solution 1: simulcast (flux vidéo indépendants)

Page 5: Régulation de débit pour MPEG-4 SVC

5Y. Pitrey 16/09/2009

Codage vidéo scalable

Avantage : Codage conjoint des couches économie de données

Solution 2 : codage vidéo scalable (un flux unique)

Plusieurs couches

scalabilité spatiale

scalabilitéen qualité

scalabilité temporelle

Page 6: Régulation de débit pour MPEG-4 SVC

6Y. Pitrey 16/09/2009

Stratégies d’encodage

1. Optimisation débit/distorsion– Améliorer les outils de codage– Augmenter le rapport qualité/débit

2. Régulation de débit– Choisir les paramètres d’encodage– Respecter une consigne

Débit

Qua

lité

Amélioration du rapport qualité/débit

Déb

it

ImagesImages

Déb

it

Débit sans régulation Débit avec régulation

consigne

Page 7: Régulation de débit pour MPEG-4 SVC

7Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils et méthodologie

4. Contributions

5. Conclusion et perspectives

Page 8: Régulation de débit pour MPEG-4 SVC

8Y. Pitrey 16/09/2009

Régulation de débit pour le Codage Vidéo Scalable

Acquisition

Encodage

Transmission

Lecture

Décodage

Décodage

Cibles hétérogènes

Contraintes deTransmission

Contrainte de Latence faible

Codage vidéo scalable

Régulation de débit :

Fine

Par couche

Complexité faible en calculs

Contraintes :

Contexte actuel de diffusion de vidéos :

Page 9: Régulation de débit pour MPEG-4 SVC

9Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique :Régulation de débit pour le Codage vidéo scalable

3. Outils et méthodologie– MPEG-4 SVC– Régulation de débit

4. Contributions

5. Conclusion et perspectives

Page 10: Régulation de débit pour MPEG-4 SVC

10Y. Pitrey 16/09/2009

Schéma de codage MPEG-4 AVC

Prédiction Transformée QuantificationCodage

entropique

Séquence d’imagesnon compressée

Flux vidéocompressé

* =

011001001100011001001100101100111001

11001000110011+ =

Page 11: Régulation de débit pour MPEG-4 SVC

11Y. Pitrey 16/09/2009

Schéma de codage scalable MPEG-4 SVC

Flux vidéocompressé

Prédiction inter-couches

Prédiction inter-couches

Prédiction inter-couches

Codage entropique

Prédiction Transformée Quantification

Couche de base

Prédiction Transformée Quantification

Rehaussement spatial

Codage entropique

Prédiction Transformée Quantification

Rehaussement en qualité

Codage entropique

Prédiction Transformée Quantification

Rehaussement temporel

Codage entropique

Page 12: Régulation de débit pour MPEG-4 SVC

12Y. Pitrey 16/09/2009

MPEG-4 SVC

• Extension de la norme MPEG-4 AVC– Couche de base compatible avec MPEG-4 AVC

• Un encodeur de référence : JSVM

• Plan de vérification de la norme– Comparaison des performances

avec MPEG-4 AVC– Configurations scalables types

Page 13: Régulation de débit pour MPEG-4 SVC

13Y. Pitrey 16/09/2009

• Types d’images Différents outils de prédiction :

• Intra image

• Inter images, 1 image de référence

• Inter images, 2 images de référence

• Groupes d’images (GOP) hiérarchiques

Types et Groupes d’Images

Efficacité de codage

Efficacité de codage

B B B B

B

B B

I P

Images B hiérarchiques

I

Intra

B

Bi-prédiction

P

Prédiction

Page 14: Régulation de débit pour MPEG-4 SVC

14Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils et méthodologie– MPEG-4 SVC– Régulation de débit

4. Contributions

5. Conclusion et perspectives

Page 15: Régulation de débit pour MPEG-4 SVC

15Y. Pitrey 16/09/2009

Niveaux de régulation

• Niveau séquence

• Niveau GOP

• Niveau image

• Niveau macrobloc

Finesse Complexité

Page 16: Régulation de débit pour MPEG-4 SVC

16Y. Pitrey 16/09/2009

Répartition de budget

• Budget :nombre de bits souhaité

• Niveau GOP– Budget constant par GOP

• Niveau image– Budget constant par image

ou– Budget en fonction du type d’image

Page 17: Régulation de débit pour MPEG-4 SVC

17Y. Pitrey 16/09/2009

Respect du budget

• Niveau image :– Choix du paramètre de quantification (QP) :

Prédiction Transformée Quantification

00000000

00000000

00000000

00000001

0000-121-4

000-1-151-3

00011-4-20

00-122-6-4-26

Bloc transformé

00000000

00000000

00000000

00000000

0000000-1

00000200

00000-100

00000-2-1-10

Bloc quantifié

50018

5983351

2000

zjiQP

,510,q

Codage entropique

q = 0 quantification faible

q = 51 quantification forte

Page 18: Régulation de débit pour MPEG-4 SVC

18Y. Pitrey 16/09/2009

Respect du budget : stratégies

q

R

Relation entre débit et QP :

Budget à respecter : Rt

Valeur de QP optimale :

)(minarg

51...0

qRRq t

q

t

Problème : Comment choisir le QP ? Deux types d’approches :

• Recherche exhaustive :– Encoder l’image avec toutes

les valeurs de QP possibles

Forte complexité

• Modèle de débit :– Approximation de la relation

R(q) par une fonction paramétrique

Faible complexité

Page 19: Régulation de débit pour MPEG-4 SVC

19Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

Page 20: Régulation de débit pour MPEG-4 SVC

20Y. Pitrey 16/09/2009

Définition :ρ = % de coefficients transformés annulés après quantification

Un modèle de débit adapté : Le ρ-domaine

Relation ρ débit linéaire

ρ

bit

(kb

)

Ic

qczM

q ),(1

)(

2. Relation ρ(q) :

)R;(ρ 00

1;0

0

00 )1()(

R

RRR

1. Modèle linéaire de ρ(R) :

– Corrélation ρ R forte– Relation ρ(q) exacte Précision élevée

)()(minarg

51...0qRq t

qt

Calcul du QP optimal :

Complexité faible– Relation ρ(R) linéaire– Relation ρ(q) simple

Points clés :

Page 21: Régulation de débit pour MPEG-4 SVC

21Y. Pitrey 16/09/2009

Validation du ρ-domaine pour MPEG-4 SVC

Deux hypothèses à vérifier :

1. relation ρ(q) valide

2. relation ρ(R) linéaire

Vérification expérimentale :• Tracé R(ρ) pour configurations scalables représentatives• Plan de Vérification MPEG-4 SVC • Encodage avec q = 0,…,51

0

00 )1()(

R

RRR

Ic

qczM

q ),(1

)(

Page 22: Régulation de débit pour MPEG-4 SVC

22Y. Pitrey 16/09/2009

Relation R(ρ) pour SVC

Scalabilité spatiale Scalabilité en qualité Scalabilité temporelle

Relation linéaire pour l’ensemble des configurations testées :

Page 23: Régulation de débit pour MPEG-4 SVC

23Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

Page 24: Régulation de débit pour MPEG-4 SVC

24Y. Pitrey 16/09/2009

Ic

qczM

q ),(1

)(

Respect du budget : 2 passes

0

00 )1()(

R

RRR

1ère passe : valeurs initiales

2ème passe : encodage final

Valeurs initiales

)()(minarg51,0

qRq tq

t

Régulation de débit

Page 25: Régulation de débit pour MPEG-4 SVC

25Y. Pitrey 16/09/2009

Répartition de budget

• Niveau GOP– Budget constant par GOP :

• Niveau image– Budget constant par image :

l

lll

F

SCG E

Compensation des erreurs

l

lt

S

GR

Cl = contrainte en bits par seconde

Sl = taille d’un GOP de la couche l

Fl = nb. d’img par sec. dans la couche l

Page 26: Régulation de débit pour MPEG-4 SVC

26Y. Pitrey 16/09/2009

Résultats expérimentaux

Débits par GOP

Scalabilité spatiale - séquence HOCKEY

Page 27: Régulation de débit pour MPEG-4 SVC

27Y. Pitrey 16/09/2009

Résultats expérimentaux

Scalabilité spatiale - séquence HOCKEY

Débits par image

Effet de seuil dû à la régulation niveau image :

R(qt )

R(qt+1)

Rt

Budget réel

Budget alloué

Page 28: Régulation de débit pour MPEG-4 SVC

28Y. Pitrey 16/09/2009

Variations de la qualité

Scalabilité en qualité - séquence CITY

Effet de scintillement de la qualité :

Page 29: Régulation de débit pour MPEG-4 SVC

29Y. Pitrey 16/09/2009

Résultats : variations de la qualité

Scalabilité en qualité – séquence HARBOUR Scalabilité temporelle – séquence CITY

P

B1

B2

B3

Variations de qualité :

PS

NR

images

Efficacitéde codage

Origine des variations :

Page 30: Régulation de débit pour MPEG-4 SVC

30Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

Page 31: Régulation de débit pour MPEG-4 SVC

31Y. Pitrey 16/09/2009

Objectif : Obtenir un PSNR constant sur toutes les images d’un GOP.

Problème :Différences d’efficacité de codage entre les types et niveaux d’images.

• Efficacité de codage :– Liée à la relation entre débit et qualité

– Relation difficile à caractériser

Qualité constante par GOP

Efficacitéde codage

Page 32: Régulation de débit pour MPEG-4 SVC

32Y. Pitrey 16/09/2009

Relation PSNR(1/2q/6)

Image 1

Image 2

Lien entre débit et qualité

6/2q

ijijij

CYZ

Valeur d’un coefficient quantifié dans SVC :

PSNR constant

Terme de décalage constant

q : valeur de QP utiliséeCoefficient quantifié

Coefficient transformé

1/(2q1/6) 1/(2q2/6)

Relation Débit(1/2q/6)

Image 1

Image 2b2

b1

Page 33: Régulation de débit pour MPEG-4 SVC

33Y. Pitrey 16/09/2009

Approximation linéaire des relations

Relation PSNR(1/2q/6)

Image 1

Image 2

Relation Débit(1/2q/6)

Image 1

Image 2

PSNR constant

b2

b1

1/(2q1/6) 1/(2q2/6)

6/

6/

1

2

2

2q

q PSNRq1

6/12/1

PSNRq2

6/22/1

Approximation linéaire de PSNR(1/(2q/6)) : Approximation linéaire de Débit(1/(2q/6)) :

6/1112/1 qb

6/2222/1 qb

2

1

b

b

Page 34: Régulation de débit pour MPEG-4 SVC

34Y. Pitrey 16/09/2009

Mesure d’efficacité de codage

l

GOPi

i

f

t GK

KR

Répartition de budget image :

Valeur relative de Kfdans le GOP

Budget du GOP

Budget de l’image

6/

6/

1

2

2

2q

q PSNRq1

6/12/1

PSNRq2

6/22/1

Approximation linéaire de PSNR(1/(2q/6)) : Approximation linéaire de Débit(1/(2q/6)) :

6/1112/1 qb

6/2222/1 qb

2

1

b

b

fq

f bK f 6/2

Mesure de l’efficacité de codaged’une image :

Calculée après la 1ère passe :

qf : QP utilisé pour la 1ère passe

bf : débit obtenu par la 1ère passe

Page 35: Régulation de débit pour MPEG-4 SVC

35Y. Pitrey 16/09/2009

Résultats : Comparaison visuelle

Budget constant par image : Budget selon l’efficacité de codage :

Page 36: Régulation de débit pour MPEG-4 SVC

36Y. Pitrey 16/09/2009

Résultats : PSNR

Budget constant par image :

Budget selon l’efficacité de codage :

Scalabilité spatiale – séquence SOCCER Scalabilité en qualité – séquence HARBOUR

Scalabilité spatiale – séquence SOCCER Scalabilité en qualité – séquence HARBOUR

Page 37: Régulation de débit pour MPEG-4 SVC

37Y. Pitrey 16/09/2009

Débits par image

Résultats : précision de la régulation

Scalabilité spatiale – séquence HARBOUR

Débits par GOP

Page 38: Régulation de débit pour MPEG-4 SVC

38Y. Pitrey 16/09/2009

Résultats : temps d’encodage

Temps moyen d’encodage par image

Page 39: Régulation de débit pour MPEG-4 SVC

39Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

Page 40: Régulation de débit pour MPEG-4 SVC

40Y. Pitrey 16/09/2009

Initialisation du modèle de débit

• Besoin d’une phase d’initialisation– Modèle de débit : ρ0, R0, coefficients transformés

– Mesure d’efficacité de codage Kf : qf et bf

• Exploitation dépendances temporelles entre images :

B B B B

B

B

B

P P

B B B B

B

B

B

P P

GOP précédent GOP courant

... ...

Image courante

Image de référencepour la régulation de débit

Page 41: Régulation de débit pour MPEG-4 SVC

41Y. Pitrey 16/09/2009

Résultats : débits par image

SOCCER – scalabilité en qualité

Débits par image (2 passes)

Débits par image (1 passe)

Page 42: Régulation de débit pour MPEG-4 SVC

42Y. Pitrey 16/09/2009

Résultats : PSNR

2 passes

1 passe

HARBOUR – scalabilité spatialeSOCCER – scalabilité en qualité

2 passes

1 passe

Page 43: Régulation de débit pour MPEG-4 SVC

43Y. Pitrey 16/09/2009

Résultats : temps d’encodage

Temps moyen d’encodage par image

Page 44: Régulation de débit pour MPEG-4 SVC

44Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

Page 45: Régulation de débit pour MPEG-4 SVC

45Y. Pitrey 16/09/2009

Conclusion

• Objectif :– Développer un schéma de régulation de débit

adapté à un codage vidéo scalable• MPEG-4 SVC• Contraintes applicatives fortes

• Bilan des contributions :– Validation d’un modèle de débit sur MPEG-4 SVC– Régulation fine– Faible complexité– Qualité constante

Page 46: Régulation de débit pour MPEG-4 SVC

46Y. Pitrey 16/09/2009

Plan

1. Introduction

2. Problématique : Régulation de débit pour le Codage vidéo scalable

3. Outils utilisés

4. Contributions apportées1. Choix et validation d’un modèle de débit pour MPEG-4 SVC2. Régulation en deux passes3. Régulation et qualité d’image constante4. Régulation en une passe

5. Conclusion et perspectives

Page 47: Régulation de débit pour MPEG-4 SVC

47Y. Pitrey 16/09/2009

Travaux préliminaires

• Régulation inter-couches– Initialisation du modèle de débit

avec l’image de la couche de base– Problème de mise à l’échelle

Image courante

Même imagedans la couche de base

Image précédentede même type

dans la même couche

Corrélations des QP entre les couches :

Page 48: Régulation de débit pour MPEG-4 SVC

48Y. Pitrey 16/09/2009

Travaux préliminaires

Régulation en une passe

Régulation inter-couches

Page 49: Régulation de débit pour MPEG-4 SVC

49Y. Pitrey 16/09/2009

Travaux préliminaires

• Budget image adaptatif– Comparaison de la qualité a posteriori– Correction de la répartition de budget niveau image

Répartition et selon efficacité de codage

HA

RB

OU

R –

qu

alit

é

Répartition après correction

Page 50: Régulation de débit pour MPEG-4 SVC

50Y. Pitrey 16/09/2009

• Prise en compte du buffer de transmission– Étude de différentes politiques de contrôle de buffer– Interdépendances des données inter-couches

• Mesures perceptuelles de qualité

Perspectives

Page 51: Régulation de débit pour MPEG-4 SVC

51

Stratégies d’encodage pour codeur vidéo scalable

Yohann Pitrey

IETR – Equipe Image et Télédétection UMR 6164INSA de Rennes

16 Septembre 2009

Régulation de débitpour MPEG-4 SVC

Page 52: Régulation de débit pour MPEG-4 SVC

52

Page 53: Régulation de débit pour MPEG-4 SVC

53Y. Pitrey 16/09/2009

• Prise en compte du buffer de transmission

Contrainte : niveau d’occupation du buffer

• Étude de différentes politiques de contrôle de buffer• Local à chaque couche :

• Global à toutes les couches :

Perspectives

…EncodageTransmission

Décodage…

Buffer Buffer

Page 54: Régulation de débit pour MPEG-4 SVC

54Y. Pitrey 16/09/2009

Validation du ρ-domaine

• Pourquoi la relation rho(R) aurait pu changer dans SVC?– Prédiction inter-couches

• Force de la quantification peut avoir un impact sur l’efficacité prédiction inter-couches

• Nature de cet impact : – constant ( relation toujours linéaire)?

Page 55: Régulation de débit pour MPEG-4 SVC

55Y. Pitrey 16/09/2009

Scalabilité spatiale

Page 56: Régulation de débit pour MPEG-4 SVC

56Y. Pitrey 16/09/2009

Scalabilité en qualité

+ +

Page 57: Régulation de débit pour MPEG-4 SVC

57Y. Pitrey 16/09/2009

Scalabilité temporelle

B B B B

B

B

B

P P

Structure de gop hiérarchique (importante pour explication qualité constante)

Page 58: Régulation de débit pour MPEG-4 SVC

58Y. Pitrey 16/09/2009

Codage Vidéo Scalable

Simulcast

Codage scalable

Économie de débit

Page 59: Régulation de débit pour MPEG-4 SVC

59Y. Pitrey 16/09/2009

Codage Vidéo Scalable

Simulcast

Codage scalable

Page 60: Régulation de débit pour MPEG-4 SVC

60Y. Pitrey 16/09/2009

Images

bit

(kb

its)

Régulation de débit

trop élevé

trop faible

Trop de données

Arrêt pendant chargement

Trop de pertes

Qualité sous optimale

• Transmission de vidéos

Contrainte de débit constant Régulation fine Impact sur la qualité

Page 61: Régulation de débit pour MPEG-4 SVC

61Y. Pitrey 16/09/2009

• Structure courante pour MPEG-4 AVC :

• Structure hiérarchique de MPEG-4 SVC :

Groupes d’Images (GOP)

B B B B

B

B B

P

I B B P B B P B B

P

Efficacitéde la

prédiction

Page 62: Régulation de débit pour MPEG-4 SVC

62Y. Pitrey 16/09/2009

iS

GR

l

restantlt

Répartition de budget

• Niveau image– Budget égal pour chaque image :

Budget allouéà l’image

Budget restant pour le GOP

Position de l’image dans le GOP

Page 63: Régulation de débit pour MPEG-4 SVC

63Y. Pitrey 16/09/2009

Mécanisme en deux passes

1ère passe

Calcul QP

2ème passe

)R,(ρ 00 coeffs+

qt

Page 64: Régulation de débit pour MPEG-4 SVC

64Y. Pitrey 16/09/2009

Mécanisme en une passe

Encodage imageprécédente

Encodage imagecourante

Calcul QP

Page 65: Régulation de débit pour MPEG-4 SVC

65Y. Pitrey 16/09/2009

Choix d’un modèle de débit pour SVC

• Exemples d’approches sur SVC :

[Liu 2008]

• Modèle linéaire pour R(q)

• Apprentissage complexe

• Sensible aux changements brusques

[Xu 2007]

• Modèle complexe

• Apprentissage

• Mélange répartition budget et calcul du QP

Page 66: Régulation de débit pour MPEG-4 SVC

66Y. Pitrey 16/09/2009

Mesure de complexité de codage

l

GOPi

i

f

t GK

KR

P

B1

B2B3

B4

P

B1

B2

B3B4

Comportement de Kf dans un GOP :

• Calcul du budget image :Complexité relative

de l’image dans le GOP

Budget du GOP

Page 67: Régulation de débit pour MPEG-4 SVC

67Y. Pitrey 16/09/2009

Résultats expérimentaux

Scalabilité spatiale - séquence HOCKEY

Erreur de débit par image et par couche

moyenneécart type