habilitation a diriger les...

Habilitation a Diriger les Recherches

Inference bayesienne dans des problemes inverses, myopes et aveuglesen traitement du signal et des images

Nicolas Dobigeon

Universite de Toulouse, IRIT/INP-ENSEEIHT

http://www.enseeiht.fr/[email protected]

Toulouse, 19 Octobre 2012

Nicolas DOBIGEON Habilitation a Diriger les Recherches 1 / 58

http://www.enseeiht.fr/~dobigeon

Sommaire de la presentation

Synthese des activitesCurriculum-vitaeActivites pedagogiquesActivites de recherche

Travaux de rechercheCadre general des travauxDemelange d’images hyperspectrales

Demelange lineaire non-superviseExploitation de la correlation spatialeDemelange non-lineaire

Reconstruction d’images parcimonieusesReconstruction superviseeReconstruction myope

Bilan et perspectives


Synthese des activites









Curriculum-vitae









Curriculum-vitae

Curriculum-vitae

Situation actuelle· Maıtre de Conferences a l’INP-ENSEEIHT (Universite de Toulouse)

Departement “Electronique et Traitement du Signal”

· Equipe de recherche “Signal et Communications” de l’IRIT (UMR CNRS 5505)

Formation· 2007 : Doctorat de l’INP Toulouse, Specialite “Signal, Image, Acoustique”

Titre : Modeles bayesiens hierarchiques pour le traitement multi-capteurDirecteur : J.-Y. Tourneret (Professeur INPT)Rapporteurs : J. Idier (DR IRCCyN), E. Moulines (Professeur ENST),Examinateurs : P. Flandrin (DR ENSL), M. Davy (CR LAGIS), E. Christophe (IR CNES)

· 2004 : D.E.A. de l’INP Toulouse, Specialite “Signal, Image, Acoustique”

· 2004 : Ingenieur ENSEEIHT, Electronique et Traitement du Signal

Postes occupes· 2008-... : Maıtre de Conferences a l’INP-ENSEEIHT, Section 61

· 2007-2008 : Chercheur post-doctoral a l’Universite du Michigan (financement DGA)

· 2004-2007 : Allocataire-moniteur a l’IRIT/INP-ENSEEIHT

· 2004 (6 mois) : Stagiaire a l’ONERA, Dept. Optique Theorique et Appliquee (DOTA)



Activites pedagogiques










Enseignements

Volume horaire depuis 2010 : environ 270 heures (ETD) par an.

Outils theoriques· Probabilites (Cours, TD)

· Statistique (Cours, TD, TP)

· Variable complexe (Cours, TD)

Bases du traitement du signal· Traitement du signal (Cours, TD)

· Traitement numerique du signal (Cours, TD)

Methodes avancees en traitement du signal· Traitement numerique du signal (Cours, TD)




Responsabilites pedagogiques

Encadrement de projets· Module d’Approfondissement (2ieme annee)

20 heures, Segmentation d’images SAR

· Projets longs (3ieme annee)

3 ou 4 etudiants, 6 semaines

- 2012 : apprentissage de dictionnaire pour la teledetection- 2011 : fusion d’images multi-bandes- 2010 : traitements non-lineaires d’images hyperspectrales

Charges collectivesAu sein du Departement “Electronique et Traitement du Signal” :

· Membre elu du Conseil de Departement, depuis 2011

· Responsable de l’annee de specialisation “Traitement du Signal et des Images”, depuis 2011emploi du temps, gestion des intervenants, suivi pedagogique, gestion de l’evaluation

· Responsable de l’Unite d’Enseignement “Traitement du Signal” (1iere annee), depuis 2011gestion des intervenants, suivi pedagogique

· Responsable du Module d’Approfondissement “Signal & Image” (2ieme annee), 2010-2011gestion des intervenants, suivi pedagogique



Activites de recherche










Encadrements

Co-endadrements de these· Qi Wei, depuis Sept. 2012, Bourse CSC

Fusion d’images multi-bandes

· Yoann Altmann, depuis Sept. 2010, Bourse DGADemelange non-lineaire d’images hyperspectrales

· Cecile Bazot, depuis Sept. 2009, Bourse MESRMethodes bayesiennes pour l’analyse genetique

· Olivier Eches, these soutenue en Sept. 2010, Bourse MESRDemelange bayesien d’images hyperspectrales

Autres collaborateurs (post-)doctorants· Zacharie Irace (IRIT/TCI), depuis Fev. 2011

Segmentation d’images TEP

· Celine Quinsac (IRIT/TCI), Sept. 2010 – Sept. 2011Echantillonnage compresse en imagerie ultrasonore

· Marcelo Pereyra (IRIT/TCI), depuis Mai 2010Analyse d’images ultrasonores

· Se Un Park (Univ. of Michigan), depuis Mars 2009Reconstruction d’images MRFM




Financements

Projets de recherche· Projet ANR (participant), demarrage fin 2012

Algorithmes de demelange non lineaire de donnees hyperspectralesPartenaires : Lab. Lagrange (Nice), GIPSA-lab (Grenoble), STMR (Troyes)

· Projet PEPS-Rupture (porteur), 2011-2012Estimation de l’ordre dans les modeles a factorisation matriciellePartenaire : Cedric Fevotte (CNRS/LTCI, Telecom ParisTech)

· Projet BQR (co-porteur), 2011-2012Mission d’acquisition de donnees hyperspectrales par capteurs aeroportesPartenaires : DYNAFOR (Toulouse), Purpan EI (Toulouse)

· Projet “Jeunes Chercheurs” GdR-ISIS (participant), 2007-2008Methodes MCMC pour l’analyse d’images hyperspectralesPartenaire : IRCCyN (Nantes)

Activites contractuelles· Contrat CLS/CNES, 2012

Algorithme de reconstruction de donnees de l’instrument MADRAS

· Contrat R&T CNES, 2011-2012Apprentissage de dictionnaire pour l’analyse d’images de teledetection

· Contrat R&T CNES, 2009-2010Desentrelacement des mesures TDOA et FDOA




Implication dans la communaute scientifique

Activites d’animation· Co-organisateur, session speciale a EUSIPCO 2013 (soumis)

· Membre du comite technique, EUSIPCO 2012

· Co-organisateur & co-chairman, reunion GdR ISIS, Fevrier 2012

· Co-organisateur & co-chairman, session speciale a MaxEnt 2012

· Co-chairman, session speciale a IEEE WHISPERS 2009

· Benevole volontaire, IEEE ICASSP 2006

Evaluations et expertises· Membre nomme du CNU 61, Septembre 2012

· Evaluation de projets academiques : UEFISCDI (Roumanie), FWO (Belgique),IT (Portugal), BELSPO (Belgique), UTT (France)

· Comites de selection : UJF Grenoble (vivier externe 61, poste MCF1222),UNSA (vivier externe 61), INPT (vivier interne 61/63)

· Activites de relecture : plusieurs journaux et conferencesBest Reviewer Award, IEEE Geosc. Remote Sens. Letters, 2011

Diffusion aupres du grand public· Mediation scientifique, Les mathematiques au service de la sante, Mai 2012

· Interviews, La Depeche du Midi, Le Figaro, Sante Magazine, Science & Vie..., 2011-2012

· Co-organisateur & co-chairman, “Rencontres CNRS Jeunes”, Mai 2006




Collaborations

Collaborations internationales· University of Michigan : A. O. Hero

· University of Edinburgh : S. McLaughlin

· Vienna University of Technology : F. Hlawatsch

· University of Maryland Baltimore County : C.-I Chang

· NASA Ames Research Center : J. D. Scargle

Collaborations nationales· INP Toulouse : J.-Y. Tourneret, H. Batatia

· Universite de Toulouse : D. Kouame, A. Basarab

· ISAE-ENSICA : O. Besson

· Ecole Centrale Nantes : S. Moussaoui

· Universite Paris-Sud (IDES) : F. Schmidt

· Universite Paris-Sud (LPS) : N. Brun


Travaux de recherche









Cadre general des travaux










Problemes inverses, myopes et aveugles




Problemes inverses, myopes et aveugles

T : RM → RN

x 7→ y = T (x)

Hypotheses relatives au modele T

· parfaitement connu : probleme inverseT non-inversible : probleme mal-pose⇒ besoin d’une regularisation

· partiellement connu : probleme myope (semi-aveugle)

T connu via une forme parametrique Tθ(x), θ = [θ1, . . . , θK ]T

⇒ estimation conjointe de x et θ

· totalement inconnu : probleme aveugle⇒ besoin d’hypotheses supplementairesexemple : T lineaire

- deconvolution y(n) = h(n) ∗ x(n)- separation aveugle de source y(n) = Ax(n)- factorisation matricielle Y = MX




Inversion et regularisation1

Formulation probabiliste bayesienne

Comment choisir une solution dans l’espace des solutions admissibles ?

⇓introduction de penalites et/ou de contraintes

(guide par l’application visee)

Construction du critere

· y|x ∼ f (y|x) : terme d’attache aux donnees

· x ∼ f (x) : penalites et contraintes

Calcul d’un estimateur bayesien a partir de la loi a posteriori

f (x|y) =1

f (y)f (y|x) f (x)

· xMMSE = E [x|y] =∫

xf (x|y) dx

· xMAP = argmaxx f (x|y)

1Emprunt a l’Habilitation a Diriger les Recherches de J.-F. Giovannelli.Nicolas DOBIGEON Habilitation a Diriger les Recherches 18 / 58



Inversion et regularisation1


Comment choisir une solution dans l’espace des solutions admissibles ?⇓

introduction de penalites et/ou de contraintes(guide par l’application visee)

Construction du critere

· y|x ∼ f (y|x) : terme d’attache aux donnees

· x ∼ f (x) : penalites et contraintes

Calcul d’un estimateur bayesien a partir de la loi a posteriori

f (x|y) =1

f (y)f (y|x) f (x)

· xMMSE = E [x|y] =∫

xf (x|y) dx

· xMAP = argmaxx f (x|y)

1Emprunt a l’Habilitation a Diriger les Recherches de J.-F. Giovannelli.Nicolas DOBIGEON Habilitation a Diriger les Recherches 18 / 58



Inversion et regularisation

1


Difficultes· Choix des hyperparametres φ caracterisant le modele a priori

· Optimisation/integration du critere

Solutions· Introduction d’un deuxieme niveau dans le modele bayesien,

φ ∼ f (φ)

puis marginalisation :

f (x|y) =1

f (y)

∫f (y|x) f (x|φ) f (φ) dφ

· Recours a des methodes de Monte Carlo par chaıne de Markov

xMMSE = E [x|y] ≈ 1

NMC

NMC∑t=1

x(t) avec x(t) ∼ f (x|y)




En traitement du signal et des images...

· Depuis 2005 : analyse d’images hyperspectrales

- demelange spectral- classification/segmentation- detection de melanges non-lineaires

· Depuis 2005 : demelange lineaire en spectroscopie

- spectroscopie infrarouge- microscopie EELS

· Depuis 2008 : reconstruction d’images parcimonieuses

· Depuis 2008 : analyse de donnees genetiques

· Depuis 2010 : analyse d’images ultrasonores

- classification/segmentation- echantillonnage compresse

· Depuis 2011 : estimation de sous-espaces



Demelange d’images hyperspectrales










Imagerie hyperspectrale

Images hyperspectrales

· meme scene observee a plusieurs longueurs d’onde,

· pixel represente par un vecteur de centaines de mesures.

Cube hyperspectral




de

Melange spectral lineaire

...

Modele de melange lineaire (MML) : yp =∑R

r=1 mrar ,p + np

Reference : IEEE Signal Proc. Magazine, Jan. 2002.




Demelange spectral lineaire

...


r=1 mrar ,p + np

· L = 825(0.4µm→ 2.5µm),

· R = 3 :

- brique rouge,- beton,- herbe verte,

· ap = [0.3, 0.6, 0.1]T ,

· SNR ≈ 20dB.

Probleme

Estimation de ap sous des contraintes de positivite et additiviteet m1, . . . ,mR sous des contraintes de positivite.




Demelange spectral lineaire...... et applications y1,p

...yL,p

=

m1 . . . mR

a1,p

...aR,p

p = 1, . . . ,P

Imagerie multi-bande

· teledetection2, astronomique3, EELS4,...

· parametre d’evolution : indice du pixel dans l’image.

Analyse spectrochimique

· Raman5, NIR6,...

· parametre d’evolution : temps, temperature,...

Analyse genetique

· analyse factorielle des donnees d’expression genetique7

· parametre d’evolution : temps, sujet, traitement,...

2Bioucas-Dias et al., IEEE JSTSP, 2012. 3Schmidt et al., IEEE TGRS, 2010. 4Dobigeon andBrun, Ultramicroscopy, 2012. 5Dobigeon et al., SP, 2009. 6Moussaoui et al., IEEE TSP, 2006.7Huang et al., PLoS Genetics, 2011.




Demelange spectral lineaire

...


r=1 mrar ,p + np

· Cas supervise : m1, . . . ,mR connus,

· Cas semi-supervise : m1, . . . ,mR partiellement connus (e.g., les mr

appartiennent a une bibliotheque),

· Cas non-supervise : m1, . . . ,mR sont inconnus.




Demelange lineaire non-supervise

Lois a priori des poles de melange (spectres purs)

Dans l’espace des observations :

· Pour les spectres d’absorbance : exploiter le caractere parcimonieuxex : spectrochimie [Dobigeon, Moussaoui et al, Signal Processing, 2009]

· Pour les spectres de reflectance : quelles caracteristiques ?

Solution retenue : lois a priori definies dans un sous-espace approprie !




Demelange lineaire non-supervise

Lois a priori des poles de melange (spectres purs)Dans l’espace des observations :

· Pour les spectres d’absorbance : exploiter le caractere parcimonieuxex : spectrochimie [Dobigeon, Moussaoui et al, Signal Processing, 2009]

· Pour les spectres de reflectance : quelles caracteristiques ?

Solution retenue : lois a priori definies dans un sous-espace approprie !




Demelange lineaire non-supervise[Dobigeon et al, IEEE Trans. SP, 2009]

Donnees AVIRIS

· Image : 50× 50 pixels (Moffett field), L = 224 bandes.




Demelange lineaire non-supervise[Dobigeon et al, IEEE Trans. SP, 2009]

Donnees AVIRIS





Application a des donnees genetiques[Huang et al, PLoS Genetics, 2011]

Donnees analysees· 267 echantillons de sang collectes au cours du temps chez 17 sujets

volontaires apres inoculation de la grippe A (H3N2).· expressions de plus de 12000 genes dans chaque echantillon preleve.




Application a des donnees genetiques[Huang et al, PLoS Genetics, 2011]

Donnees analysees· 267 echantillons de sang collectes au cours du temps chez 17 sujets

volontaires apres inoculation de la grippe A (H3N2).· expressions de plus de 12000 genes dans chaque echantillon preleve.

Resultats· identification d’un groupe de genes implique dans l’apparition des

symptomes (facteur inflammatoire)




Exploitation de la correlation spatialeTravaux de these d’Olivier Eches (2007-2010)

Introduction des dependances spatiales

· entre les pixels ? f (Y|M,A) 6=∏P

i=1 f (yi |M, ai )

· entre les vecteurs d’abondances3 ? f (A) 6=∏P

i=1 f (ai )

· a un niveau plus haut dans la hierarchie bayesienne ?→ demarche adoptee...

3Kent and Mardia, IEEE PAMI, 1988.Nicolas DOBIGEON Habilitation a Diriger les Recherches 32 / 58



Exploitation de la correlation spatialeTravaux de these d’Olivier Eches (2007-2010)

· Image de P pixels divisee en K regions homogenes I1, . . . , IK

· Introduction de variables indicatrices (cachees) : zp = k ⇔ p ∈ Ik

· Abondances de moyenne et covarianceidentiques au sein de chaque classe

· Modele de Potts-Markov pour zp

f (z) =1

G (β)exp

β P∑p=1

∑p′∈V

δ (zp − zp′)




Exploitation de la correlation spatiale[Eches et al., IEEE TGRS, 2010]

Donnees AVIRIS





Application a l’imagerie ultrasonore[Pereyra et al., IEEE TMI, 2012]

Image 3D de la peau· Detection de melanome (ROI = 100× 100× 3)

(a) Derme avec lesion cutanee.

(b) ROI (slice 2) (c) Modele Potts-Markov (d) Labels independants




Modeles de melange non-lineairesTravaux de these de Yoann Altmann (2010-...)

· presence d’interactions entre les composants physiques de la scene

· termes non-lineaires dans le modele de melange




Modele bilineaire generalise[Halimi et al., IEEE TGRS, 2011]

Definition

y =R∑

r=1

ar mr︸︷︷︸terme lineaire

+R−1∑i=1

R∑j=i+1

γi,jaiaj mi �mj︸︷︷︸terme d’interaction

+ n

Proprietes

· Absence de mi ⇒ ai = 0 ⇒ pas de non-linearites mi mj ,

· Generalisation des modeles de melanges existants

- γi,j = 0, ∀i , j , → modele lineaire- γi,j = 1, ∀i , j , → modele de Fan4

· Interactions entre mi et mj quantifiees avec γi,j .

4Fan et al., Int. J. Remote Sensing, 2009.Nicolas DOBIGEON Habilitation a Diriger les Recherches 37 / 58



Modele bilineaire generalise[Halimi et al., IEEE TGRS, 2011]

Donnees AVIRIS




Reconstruction d’images parcimonieuses











Magnetic Resonance Force Microscopy (MRFM)· methode d’imagerie non-destructive,

· resolution potentiellement atomique,

· images 2D ou 3D.

Schema experimental




Formulation du probleme

Probleme inverse standard

L’equation d’observation est :

y = T (κ, x) + n,

avec

· y = [y1, . . . , yN ]T : un ensemble de N projections observees,

· x = [x1, . . . , xM ]T : image inconnue vectorisee lexicographiquement,

· n : un vecteur bruit de dimension N × 1.

· T (·, ·) : fonction bilineaire (e.g., operation de convolution...),

· κ : reponse de l’imageur,

Probleme

Estimation de x sous des contraintes de positivite et parcimonie.




Modele bayesien hierarchique

Modele a priori des pixels de l’imageChoix naturel : une loi exponentielle definie par

ga (xi ) =1

aexp

(−xi

a

)1R∗+ (xi ) ,

Estimateur MAP de x≈

estimateur du maximum de vraisemblance penalise `1 (LASSO)

Choix propose : melange de lois

f (xi |w , a) = (1− w)δ (xi ) + wga (xi ) ,

ou δ (·) est une masse en 0.




Application a des donnees MRFM[Dobigeon et al., IEEE TIP, 2009.]

Donnees MRFM

· Un echantillon du virus du tabac, image 3D, sous echantillonnee(dx = 3, dy = 2, dz = 3).




Application a des donnees MRFM[Dobigeon et al., IEEE TIP, 2009.]




Application a des images ultrasonores[Dobigeon et al., EUSIPCO, 2012.]

Echantillonnage compresse d’images US· Masquage spatial realiste et reconstruction dans l’espace K .

Fig.: (a) Image reelle, (b) Image mesuree, (c) Image reconstruite paroptimisation, (d) Image reconstruite par la methode proposee.




Reponse de l’imageur partiellement connue

Fonction d’etalement 3D decrite analytiquement par

κ = κ (η1, . . . , ηK )

ou η1, . . . , ηK sont des parametres fixes par le protocole experimental :

· rayon de la sonde (η1 = R),

· champ externe (η2 = Bext),

· moment de la sonde (η3 = m),

· etc.

devant satisfaire des conditions de resonance.

Probleme

η1, . . . , ηK regles experimentalement = incertitude sur la reponse κ⇒ estimation conjointe de l’image x et de la reponse κ





Reference : C. L. Degen et al., Proc. Nat. Academy of Science, 2009.





Fonction d’etalement 3D decrite analytiquement par

κ = κ (η1, . . . , ηK )

ou η1, . . . , ηK sont des parametres fixes par le protocole experimental :

· rayon de la sonde (η1 = R),

· champ externe (η2 = Bext),

· moment de la sonde (η3 = m),

· etc.

devant satisfaire des conditions de resonance.

Probleme

η1, . . . , ηK regles experimentalement = incertitude sur la reponse κ⇒ estimation conjointe de l’image x et de la reponse κ




Reconstruction myope

Methode de reference : approche parametrique5

· Choix de lois a priori f (η) pour les η1, . . . , ηK ,

· Calcul de la loi jointe f (x,η|y) ∝ f (y|x,η) f (x) f (η),

· Generation d’echantillons{

x(t), η(t)}

par algorithme de Gibbs.

Mais deux problemes :

· Besoin de recalculer κ (·) a chaque mise a jour des parametres→ cout calculatoire prohibitif

· Aucune contrainte sur les parametres→ solution non realiste (conditions de resonance non assurees)

5Orieux et al., JOSA, 2010.Nicolas DOBIGEON Habilitation a Diriger les Recherches 47 / 58



Reconstruction myope

Solution proposee : decomposition sur une base de fonctions

· Reponse connue a une perturbation pres κ = κ0 + ∆κ,

· Erreur de modele decomposee sur une base d’elements propres deparametres λ = [λ1, . . . , λL]T : ∆κ =

∑Ll=1 λl vl ,

· Choix de lois a priori f (λ) pour les λ1, . . . , λL,

· Calcul de la loi jointe f (x,λ|y) ∝ f (y|x,λ) f (x) f (λ),

· Generation d’echantillons{

x(t), λ(t)}

par algorithme de Gibbs.

Les avantages :

· Critere lineaire en λ1, . . . , λL

→ strategie de mise a jour recursive→ pas de calcul de la fonction d’etalement κ a chaque mise a jour

· La solution vit dans l’espace engendre par v1, . . . , vL

→ solution realiste




Reconstruction myope[Park et al., IEEE TIP, 2012]

Donnees MRFM

· Un echantillon du virus du tabac, image 3D, sous echantillonnee(dx = 3, dy = 2, dz = 3).



Bilan des activites



Enjeux et verrousAlgorithmes MCMC et geometrie

Dans nos travaux

Solution basee sur l’echantillonnage du critere d’interet (loi a posteriori)

Limitations

· grande dimension de l’espace des parametres (image)→ temps de convergence

· correlations intrinseques entre les parametres→ exploration inefficace

Comment, en grande dimension, explorerefficacement les regions d’interets ?



Enjeux et verrousAlgorithmes MCMC et geometrie

Algorithmes de Monte Carlo hybrides

Mouvements de Metropolis-Hastings definis par des candidats

x(?) = x(t) + ∆x(t)

ou ∆x exploite la forme du critere (e.g., le gradient).

Avantages

· mouvements dans des espaces de grande dimension

· mouvements dans des directions pertinentes

+ gradient depend du choix de la metrique.



Enjeux et verrousOrdre et selection de modele

Dans nos travaux (problemes aveugles)

Ordre du modele (e.g., nombre de sources) connu.

Limitations

· Qualite de l’estimation depend de l’ordre

· Expertise a priori de l’operateur necessaire

Comment estimer conjointement la dimension de l’espace d’interet ?



Enjeux et verrousOrdre et selection de modele

Solutions classiques

· Enumeration puis comparaison

- validation croisee (donnees d’apprentissage)- vraisemblances marginales,- critere d’information (BIC, AIC,...)

· Autodetermination

- algorithmes MCMC a sauts reversibles- sur-dimensionnement et parcimonie (ARD)

Estimation bayesienne non-parametrique· Espace des parametres est suppose de dimension infinie

- processus de Dirichlet- processus gaussiens

· S’inscrit naturellement dans le cadre adopte (depot ANR en cours)



Cadre applicatifFusion et integration multi-capteurs



Cadre applicatifFusion et integration multi-capteurs

Enjeux· Definition du modele direct

- collaboration avec les operateurs- modelisation des incertitudes

· Multiplicite des donnees

- heterogeneite des mesures (modalites differentes)- exploitation de la temporalite (e.g., cyclostationnarite)- comment s’affranchir des donnees manquantes ?

Retombees· Imagerie satellitaire

- projets de recherche ambitieux : VEGEMIX (BELSPO)- programmes des agences spatiales : Pleiades et Venµs (CNES)

· Imagerie medicale

- aide au diagnostic



Habilitation a Diriger les Recherches

Inference bayesienne dans des problemes inverses, myopes et aveuglesen traitement du signal et des images

Nicolas Dobigeon

Universite de Toulouse, IRIT/INP-ENSEEIHT

http://www.enseeiht.fr/[email protected]

Toulouse, 19 Octobre 2012


http://www.enseeiht.fr/~dobigeon

habilitation a diriger les...

Documents