soutenance de thèse

12 décembre 2005 Soutenance de thèse de Michel Narozny

1

Soutenance de thèse

Michel Narozny

Équipe Systèmes de Traitement des Signaux, Supélec, campus de Metz

ANALYSE EN COMPOSANTES INDÉPENDANTES (ACI) ET

COMPRESSION DE DONNÉES


2

Deux domaines de recherche… Un sujet de thèse à la charnière entre deux domaines de recherche:

Analyse en composantes indépendantes

Séparation aveugle de sources,

Analyse de données (images, bourses),

Modélisation du cortex visuel,

Astronomie,…

Compression de donnéesPhotos numériques,

Vidéos,

Images médicales,

Musique,…

Mon sujet de thèse


3

Pourquoi associer ACI et compression?

Réduction de redondance

dans les données

Compression de données:

on cherche à réduire/éliminer la redondance dans

les données

BUT:

réduire la complexité des

codeurs

ACI:

outil pour réduire la redondance dans les

données


4

Redondance résiduelle exploitée par les codeurs

SPIHT

Exploite la redondance entre des coefficients d’ondelettes situés au

même endroit dans des sous-bandes différentes

● ● ●

●●

EBCOT (JPEG2000)

Exploite la redondance entre des coefficients d’ondelettes situés dans

une même sous-bande


5

Images de la galaxie 3C120 prises avec 4 filtres différents

L’ACI diminue la redondance

Images obtenues après ACI (algorithme FastICA)

Référence: D. Nuzillard and A. Bijaoui. Blind source separation and analysis of multispectral astronomical images. Astron. Astrophys. Suppl. Ser. 147, 129-138


6

Travaux précédents (1/2)Principe de réduction de redondance pour expliquer la stratégie de codage de l’information visuelle dans le cortex visuel primaire (V1)

L’ACI modélise bien les champs récepteurs des cellules simples de V1

Localisation dans l’espace et en fréquence + orientation

Olshausen BA. Principles of Image Representation in Visual Cortex. In: The Visual Neurosciences, L.M. Chalupa, J.S. Werner, Eds. MIT Press, pp. 1603-15, 2003


7

Travaux précédents (2/2)Codage par transformée classique1 (Puga et Alves, 98)

l’ACI est moins performante que la transformée de Karhunen-Loève en codage à bas débit d’images en niveaux de gris

Codage prédictif2 (Marusic et Deng, 99)Les performances de l’ACI varient selon la méthode de quantification utilisée

Matching pursuit3 (Ferreira et Figueiredo, 03)

Publié au milieu de ma thèse

Gain de la méthode par rapport à JPEG de 2,3 dB à 0.62 bpp

1) A. T. Puga and A. P. Alves. An experiment on comparing PCA and ICA in classical transform image coding. ICA’98

2) S. Marusic and G. Deng. ICA-FIR based image redundancy reduction. ICA’99

3) A. J. Ferreira and M. A. T. Figueiredo. Class-adapted image compression using independent component analysis. ICIP’03


8

Objectif et contributions Objectif:

Comprendre le lien qui existe entre les performances en compression et la réduction de redondance dans les données

ContributionsÉvaluation des performances de l’ACI “standard” en codage par transformée (codage par blocs)

Nouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié

Proposition de deux nouveaux algorithmes d’ACI modifiés:

GCGsup: calcul de la transformation linéaire optimale

ICAorth: calcul de la transformation orthogonale optimale


9

Introduction Présentation du schéma de codage étudié

Évaluation des performances de l’ACI en compression

Proposition de transformations optimales obtenues à partir d’algorithmes d’ACI modifiés

Conclusion et perspectives

Plan de la présentation


10

Choix du type de transformation Choix des quantificateurs Choix du codeur entropique Choix des mesures de distorsion et de

débit Choix de la méthode d’allocation de débit

Présentation du schéma de codage étudié

Plan

Introduction


Performances de l’ACI en compression

Transformations optimales obtenues à partir d’ algorithmes d’ACI modifiés



11

Structure d’un codeur par transformée


12

Structure d’un décodeur

Inverse mathématique


13

Choix du type de transformation

Découpage de l’image en blocs de 8×8 pixels

Balayage de chaque bloc de haut en bas et de gauche à droite

Vecteur de 64 composantes

Transformation linéaire

(matrice de dimension

64×64)

Q1

Q2

Q64

Quantification


14

Choix des quantificateursDifférents types de quantificateurs: scalaires, vectorielsNotre choix: quantificateur scalaire uniforme infini

simplicité, souvent utilisé,

caractérisé seulement par son pas de quantification: q

optimal pour une source sans mémoire, sous l’hypothèse haute résolution et à condition d’être suivi par un codeur entropique

Rappel: hypothèse haute résolutionLe nombre de niveaux de quantification est élevé

La ddp des données à quantifier est constante dans chaque intervalle de quantification

Les représentants sont pris au milieu des intervalles


15

Choix du codeur entropique

Dernière étape de la chaîne de codage (sans perte)But: exploiter la redondance résiduelle présente dans les coefficients après quantificationIdée: représenter un coefficient quantifié (ou un ensemble de coefficients quantifiés) à l’aide d’un mot de code dont la longueur dépend de sa probabilité d’occurrenceExemples: codeurs de huffman, arithmétique, mais aussi… EBCOTNotre choix: ne pas utiliser de codeur entropique


16

Mesure de distorsion Erreur quadratique moyenne (EQM) entre le signal d’entrée et le signal reconstruit

Pic du rapport signal sur bruit en compression d’images (PRSB)

Mesure de débitDébit de compression (bpp)

Ri = débit de la ième composante

Compression à haut et moyen débits: entropie d’ordre 1 des coefficients quantifiés lorsque l’hypothèse haute résolution est vérifiée

Compression à bas débit: entropies d’ordres 2, 4 et 9

Choix des mesures de distorsion et de débit

)1(2log10 10 EQMPRSB

dyn

dyn = 8 pour une image codée sur 8 bits

)2(11

N

iiRN

R


17

Présentation du problèmeTrouver les pas de quantification des N quantificateurs qui minimisent la distorsion D sous la contrainte d’un débit cible Rcible

ou, d’une manière équivalente, qui minimisent le débit R sous la contrainte d’une distorsion cible Dcible

Approximation de la distorsion

Validité de l’approximation (1)lorsque l’hypothèse haute résolution est bien vérifiée

ou, lorsque les vecteurs colonnes de la transformation inverse sont orthogonaux ou quasi-orthogonaux

ou, lorsque les composantes transformées sont deux à deux indépendantes

L’allocation de débit (1/2)

)1(1

N

iiiDwD wi: carré de la norme de

la ième colonne de la transformation inverse


18

Méthode analytiqueoptimale lorsque l’hypothèse haute résolution est bien vérifiée (compression à haut et moyen débits)

Formule d’allocation de débit:

Algorithme de Shoham et Gersho Méthode d’optimisation numérique utilisant des couples débits-distorsions obtenus expérimentalement (voir rapport de thèse)

optimal quelque soit le débit, utilisé à bas débit dans nos tests

L’allocation de débit (2/2)

iYhic

~2

121

iY

iii

YEYY

~où et

(1)


19

Conclusion de la première partie

Proposition d’un dispositif expérimental simple pour évaluer les performances d’une transformation linéaire à haut, moyen et bas débits

Partie suivante: évaluation des performances de l’ACI


20

Algorithmes d’ACI testés Signaux testés Réduction de redondance obtenue avec

l’ACI Performances à haut, moyen et bas

débits

Performances de l’ACI en compressionPlan

Introduction






21

Définition du modèle d’ACISources indépendantes (au plus une source gaussienne)

Observations

Mélange linéaire instantané: X = AS

Séparation Y=BS, B=DPA-1

Sources estimées

S1 S2 S3 S4

X1 X2 X3 X4

Y1 Y2 Y3 Y4


22

Trois approches théoriques célèbres

Approche du maximum de vraisemblanceLes ddp des sources sont supposées a priori connues

On peut relâcher cette hypothèse en choisissant des ddp a priori quelconques (on ne recouvre pas toujours les sources d’origine)

Minimisation de l’information mutuelleConnaissance a priori des ddp des sources n’est pas nécessaire

Les algorithmes sont plus lourds à mettre en œuvre

Infomax (approche de type réseaux de neurones)Équivalent au maximum de vraisemblance


23

Minimisation d’une approximation de l’information mutuelle ACI, FastICA, jadeR, SANG

Minimisation directe de l’information mutuelle ICAinf

Exploitation des statistiques d’ordres 2 et 4 des donnéesEVD24

Algorithmes de séparation aveugle de sources qui exploitent les statistiques d’ordre 2 des données

SOBI, AMUSE, EVD2

Algorithmes d’ACI testés


24

Image Lena (composante rouge), image médicale, signal musical

Résolution et taille des signaux testés

Signaux testés


25

Réduction de redondance obtenue avec l’ACI

Coefficient de corrélationInformation mutuelle


26

Les valeurs des coefficients de corrélation sont élevées avant transformation (ex: Identité, image médicale, N = 64)

Coefficients de corrélation avant transformation


27

Hormis ICAinf, tous les autres algorithmes d’ACI testés décorrèlent les composantes (exemple: jadeR, image médicale, N = 64)

Coefficients de corrélation après transformation

Coefficient de

corrélation


28

ICAinf, image médicale, N = 64



29

Définition de la réduction d’information mutuelle

Exemple: image médicale, N = 64

Réduction d’information mutuelle

Précision: ±0,01 bpp

I (bpp)

(bpp)


30

Performances à haut, moyen et bas débits


31

Pour l’image médicale et N=64, les performances de la TKL sont meilleures d’environ 1,5 dB par rapport à celles de la meilleure transformation d’ACI (sur cet exemple, ICAinf)

Performances à haut et moyen débits

TKLICAinf


32

Performances à bas débitImage médicale, N=64, débit = entropie d’ordre 4


33

Signaux synthétiques

Performances à haut et moyen débits (signaux synthétiques)

Gain(ICAinf/TKL) 2,72 dB


34

Les performances de la TKL sont meilleures que celles de l’ACI sur des signaux réelsCependant il existe des signaux synthétiques (non gaussiens) pour lesquels les performances de l’ACI sont meilleures que celles de la TKLPar conséquent, ni l’ACI ni la TKL ne sont optimales pour compresser des signaux non gaussiensLes critères d’optimalité de l’ACI et de la TKL ne sont pas adaptés au problème de la compression il faut reformuler le problème

Conclusion de la deuxième partie


35

Présentation du problème d’optimisation Lien avec l’ACI Algorithmes GCGsup et ICAorth Résultats expérimentaux

Transformations optimales obtenues à partir d’algorithmes d’ACI modifiés

Plan

Introduction






36

Cadre de l’étude Aucune hypothèse sur le caractère gaussien ou non des signaux

L’hypothèse haute résolution est vérifiée

Allocation de débit optimale entre les composantes

Distorsion asymptotique en fonction du débit cible:

Débit asymptotique en fonction de la distorsion cible:

Hypothèses

cibleA RD

cibleA DR

(1)

(2)


37

Gain de codage généralisé

Réduction de débit généralisée

Gain de codage généralisé

)()(

cibleA

cibleI

RDRDG

cibleAcibleI DRDRRmax

GR 2max log21

)()(max cibleAcibleI DRDRR

(1)

(2)

(3)


38

Critère d’optimisation proposé

Nouveau point de vue:

Le problème de la recherche de la transformation linéaire optimale en codage par transformée peut se

ramener à un problème d’ACI modifié

Transformation optimale

Critère utilisé en ACIMesure de distance à l’orthogonalité de A


39

Algorithme GCGsup Version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation linéaire A qui minimise C(A) L’algorithme (de type quasi-Newton) consiste à calculer à chaque itération une matrice ε par la résolution de (M = A-tA-1):

(i,j=1,…,N), puis à déplacer le point courant en A+εA.

Hypothèses simplificatrices:Les composantes transformées sont proches de l’indépendance

La solution du problème est une matrice proche d’une matrice dont les colonnes sont deux à deux orthogonales


40

Algorithme ICAorth

Autre version modifiée de l’algorithme ICAinf de D.-T. Pham pour calculer la transformation orthogonale A qui minimise C(A) L’algorithme (de type quasi-Newton) consiste à calculer les éléments de la matrice ε de la manière suivante:

(i,j=1,…,N), puis à déplacer le point courant en A+ε A.

lorsque ε est antisymmétrique A+ε A coïncide au second ordre avec la matrice eεA qui est orthogonale.


41

Réduction de redondance obtenue avec GCGsup et ICAorth

Coefficient de corrélation Réduction d’information mutuelle


42


Les nouvelles transformations décorrèlent moins bien que la TKL (ex: GCGsup, image médicale, N=64)

Corrélations résiduelles


43

Réduction d’information mutuelle GCGsup et ICAorth permettent d’obtenir des composantes transformées plus indépendantes que celles obtenues avec la TKL

Lena

Image médicale

Résultats proches de ceux obtenus avec ICAinf


44

Performances à haut, moyen et bas débits


45

Performances à haut et moyen débits

Lena Image médicale

Gain (GCGsup/TKL) 0,43 dB

Gain (ICAorth/TKL) 0,37 dB

Gain (GCGsup/TKL) 0,8 dB

Gain (ICAorth/TKL) 0,9 dB


46

Performances à bas débit

Lena

Image médicale

PRSB = PRSB(GCGsup/ICAorth) – PRSB TKL


47

Lien entre indépendance, orthogonalité et performances en

compression


48

Rappel: réduction de débit généralisée

Réduction de débit généralisée

Réduction d’information mutuelle

Distance à l’orthogonalité


49

Indépendance et orthogonalité

TKL


50

Vecteurs de base (Lena, N=64)

TKL GCGsup


51

Conclusion

Étude située à la charnière entre deux domaines de recherche: l’ACI et la compression de données La TKL offre de meilleures performances que l’ACI standard en compression à haut, moyen et bas débitsNouveau point de vue en codage par transformée: le problème de la recherche de la transformation linéaire optimale peut se ramener à un problème d’ACI modifié Deux nouveaux algorithmes: GCGsup et ICAorth Gain de codage des nouvelles transformations par rapport à la TKL


52

Perspectives

Étude comparative des performances de la TKL et des nouvelles transformations sur un échantillon statistiquement représentatif d’imagesUtilisation d’un vrai codeur entropiqueCodage d’images multicomposantes

Schéma de codage associant des transformées en ondelettes et les transformations retournées par GCGsup et ICAorth

Critère multicomposante = somme pondérée des critères monocomposantes


53

Merci de votre attention!

soutenance de thèse

Documents