Problématiques liées à la communication vidéo sur réseaux
INRIA-Rennesprojet TEMICSStéphane Pateux
http://www.irisa.fr/temics/
Atelier Franco-Marocain STIC - 28-29 Mai 2001
Contexte général
• Communication vidéo– bande passante limitée : compression
• contexte MPEG4: codage orienté-objets
• analyse de la vidéo: segmentation, modélisation d ’objets
• nouvelles approches innovantes
– édition vidéo• post-production
– transmission sur réseau à QoS non garantie• codage conjoint source canal
– protection de documents• tatouage de flux multimédia
z
• Contexte général
• Analyse, segmentation, suivi temporel d ’objets vidéo
• Manipulation vidéo
• Codage conjoint source canal
• Tatouage
• Quelques sujets ouverts et autres labos en France travaillant sur ces sujets
Plan
Analyse, segmentation, suivi temporel
• Problématique– segmentation pour le codage
• amélioration globale de la compression
• compression avec régions d ’intérêts
– suivi d ’objets vidéos– modélisation d ’objets vidéos
• représentation par maillages actifs
• reconstruction 3D
Codage basé régions Segmentation basée mouvement avec modèles de mouvement affines Optimisation R-D (étiquettes, coût de description des contours, erreur de prédiction)
MPEG-2 (1 Mbits/s) Region (1 Mbits/s)
Analyse, segmentation, suivi temporel
rG
rGrGG
SSDL
SDLSDLDL
,,
,min
,
Analyse, segmentation, suivi temporel
Première approche: Suivi temporel basé-contours Utilisation de contours actifs dans un cadre multi-objets
Suivi des objets par filtrage de Kalman et interpolation des images intermédiaires
dssddssdE rrppr '
dssNsdsPItEd
.
Contours actifs
Attache aux données
Terme de régularisation
Minimisation de: rd EEE
Objectifs: Segmentation avec bonne localisation spatiale + suivi temporel Gestion objets multiples et déformables Représentation compacte et scalable
Analyse, segmentation, suivi temporel
Seconde approche: Approche orientée-régions
Segmentation spatiale d ’images basée sur des outils de morphologie math.
Suivi temporel d ’objets vidéo par affectations, projection au sens du mouvement et redécoupage des régions
Interface Graphique pour le suivi interactif
Représentation par maillages
Objectifs
•Suivi des déformations par maillage actif•Maillage propre à un objet vidéo•Modélisation hiérarchique adaptative
Résultats
•Concept de lignes de ruptures•Schéma de codage vidéo basé maillage•Optimisation R-D des maillages
Représentation par maillages et segmentation
Codage 100 Kbit/s CIF@15hz
Mesh tracking Mosaick Evolution Reconsctruction
Représentation/compression basées modèles 3D
Objectifs: Objectifs de compression et de navigation dans de grandes scènes Modélisation 3D à partir de séquences monoculaires géométrie projective, auto-calibration) Représentation compacte et scalable des modèles et attributs.
Approche: Estimation de mouvement par maillage Critères mixtes compression-qualité rendu Suite modèles 3D + images clés texture + position caméra; schéma IPP
H263 Rec3DR=117kb/s, format CIF, fr=25Hz
Edition de vidéos
• Problématique:– mixage de scène
• téléconférence virtuelle
– ajout/suppression d ’objets vidéos– gestion des problèmes d ’illuminations
Edition de séquences
)](sin))(1[(cos)(
)](sin))(1[(cos)(
gggy
gggx
xxyykyyktdy
yyxxkxxktdx
Analyse du mouvement + segmentation
Reconstruction d’images panoramiquesAnalyse des conditions d ’éclairement
Analyse
SynthèseCréation de nouvelles trajectoiresHarmonisation conditions d ’éclairement
Objectifs:
Manipulation d ’objets dans une séquence Mélange réaliste d ’objets synthétiques et d ’objets naturels
Détermination de la direction d ’éclairement
Détection des variations d ’éclairementSegmentation de l ’ombre
Edition de séquences
Codage conjoint source-canal (IP+sans fil)
Optimiser la QoS en prenant en compte les modèles de la source et du canal
Canaux hétérogènes (non stationnaires, multipoints, topologie fixes+sans fils)
Approches complémentaires - contrôle de congestion - codage robuste et conjoint - décodage conjoint source-canal
Equilibre approches compatibles et non compatibles
Modèle de test H263 Optimisation R-D avec prise encompte du canal
taux de pertes=10%
Codage conjoint compatible: redondance temporelle
Métriques de performance débit-distorsion
Estimation compensée en mvt de la propagation des pertes
Objectif: transmission robuste aux pertes
Codage conjoint compatible: contrôle de congestion
Modèles de prédiction de bande passante Régulation de débit en point-à-point
)321()8
33,1min(
32 2
0 ppbp
Tbp
RTT
MSSB
n
iiii
n
iiii
Twd
cwdp
1
1
feedn
n
feedn
n
t
t
t
t Ne dttRdttR
)()(ne tB )(
buff
~
5% pertes, Rennes-Stuttgart
RTTRTT DST 40 RTTcurrRTT SRTTS )1(
FR
FRBWRTTfeed
)%5,max(
Objectif: Adaptation à la bande passante
Codage conjoint compatible: codage scalable robuste et contrôle de congestion multipoint
Récepteur 3 (100Kbit/s)Récepteur 1 (50Kbit/S) Récepteur 2 (100Kbit/s)
Algorithme de clustering et d’agrégation (Planète) Représentation scalable
Modèles et régulation par niveau de scalabilité
Objectif: Adaptation à la bande passante en multi-point
(Dé)Codage conjoint compatible Décodage conjoint source-canal (sans fils)
Modélisation des dépendances entre processus de la chaîne de codage de source et de codage de canal, formalisme réseau Bayésien (collaboration SIGMA2)
Décodage souple de VLCs, basé sur estimateur de type MAP
Turbo décodage source-canal
Synchronisation “douce” de VLCS
Réseau Bayésien aléatoire
Objectif: Exploiter la corrélation résiduelle ou introduite
Codage conjoint non compatible Transformations redondantes
codeur de canal
Codeurde source
Décodeur de source
décodagesyndrôme
xWWy kn (n,n)(n,k) (k,k) (k,1)(n,1)
*1* )(~
FFFF
F
Expansion du signal sur des bases de fonctions (« frames ») redondantes (ou sur-échantillonnées)
Projectioncanal
« Bonnes » bases de décomposition?Mise en forme du bruit de quantification
Introduire de la redondance dans la représentation compressée du signal
Exploiter la diversité dans un contexte de transmission multi-canal
Objectif: Introduire de la corrélation au niveau de la représentation de source
Décodage basé syndrôme
Protection de documents multimédias
• Problématique– limiter le risque de piratage de contenu numérique
– insertion d ’une marque invisible dans l ’image
– résistance à différentes manipulations• non-intentionnelles
– compression, filtrage, cropping, retaille
• intentionnelles
Tatouage d ’images fixes et animées
• Objectifs
– Insertion de marque robuste
– Invisibilité de la marque(masquage psychovisuel)
– Résistance aux attaques
– Analogie avec le codage canal
• Approche étudiée
– Modélisation des attaques
– Analogie codage canal
• technique d ’étalement de spectre
• utilisation de code correcteurs
• définition de la capacité d ’insertionet/ou taux d ’erreurs
originale tatouée
Mise en forme
Message M
Transfo.-1
Image tatouée
Transformation
Image P
Clef K
Choix de sites
Marque W
Insertion
Coefficients V
• Analyse automatique ou pseudo-automatique• Compression vidéo
– intérêt codage orienté objets?– développement de schémas vraiment scalable– convergence 2D-3D?
• Codage conjoint– diffusion multicast– gestion des nouveaux réseaux (sans fils)
• Tatouage– tatouage assymétrique– résistance accrue face aux attaques– formalisation du problème
Quelques sujets
• GDR ISIS: http://www-isis.enst.fr/– groupement de recherche CNRS sur les activités
traitement du signal et de l ’image
• Analyse d ’image - compression– SEI - Ecole polytechnique Nantes (D. Barba)– LIS - Grenoble (JM Chassery)– I3S-CReATIVe - Sophia Antipolis (M. Barlaud)– LIGIV - Lyon (A. Baskurt)– CREATIS - INSA Lyon (R. Prost, I. Magnin)
Quelques équipes travaillant sur ces sujets