méthodes et applications du traitement du signal et des...

Ronan Fablet ronan.fablet@telecom-bretagne.eu

Habilitation à Diriger des Recherches, UBO, mars 2012

méthodes et applications du traitement du signal et des images pour l'observation de l'océan

Des otolithes aux satellites :

Plan

! Synthèse des activités de recherche et formation

! Focus thématique et méthodologique

•  Les otolithes comme marqueurs des traits de vie individuels des poissons

•  La géométrie dans les signaux et les images

! Et maintenant …

1

Parcours

2

Ingénieur SUPAERO, 1997

Thèse INRIA Rennes, 1998-2001

Postdoc, Brown Univ., 2001-2002

Chercheur Ifremer, STH/LASAA, 2002-2007

Enseignant-chercheur, Telecom Bretagne (Dept SC), depuis 2008

Accueil IRD/IMARPE Lima, 2010-2011

Un fil rouge, l’observation de l’océan

3

Ingénieur SUPAERO, 1997

Thèse INRIA Rennes, 1998-2001

Postdoc, Brown Univ., 2001-2002

Chercheur Ifremer, STH/LASAA, 2002-2007

Enseignant-chercheur, Telecom Bretagne (Dept SC), depuis 2008

Accueil IRD/IMARPE Lima, 2010-2011

Oto

litho

mét

rie

Acoustique sous-marine Télédétection spatiale

L’observation de l’océan : contributions et démarche

! Objectifs scientifiques : •  1) Représentation des scènes/processus observés •  2) Inférence/reconstruction d’informations d’intérêt

! Démarche: •  Approche intégrée / recherche interdisciplinaire •  Questions thématiques ! Contributions méthodologiques

4

S’il vous plaît, dis-moi ton âge S’il vous plaît, dessine-moi un front

Synthèse des activités : contributions méthodologiques

Méthodes variationnelles Apprentissage et Classification

Géométrie des images & courbes, Géométrie stochastique

Méthodes de classification Segmentation basée texture Emulation statistique/super-résolution

Détection et suivi de structures Interpolation de données éparses Assimilation multi-résolution

Extraction de structures géométriques Régularité géométrique multi-échelle

Distribution de signatures locales Processus ponctuels marqués

[e.g., CVIU’2008, GRSL’2011] [e.g., IEEE GRS 2011, CVPR’2011]

[e.g., IEEE IP 2010, ECCV’2010] [e.g., IEEE IP 2010, ECCV’2006]

Synthèse des activités : programmes de recherche nationaux et européens

Problématique amont Opérationnelles

Otolithométrie -

Sclérochronologie

Acoustique sous-marine

Océanographiespatiale

ANR JC OTOCAL (05-08) STREP AFISA (07-08)

GDR ACOMAR (04-07)

AC TACADAR (02-06)

FP6 IBACS (02-06)

FUI ITIS/ACSYS (07-09)

FUI TACTIPECHE (11-13)

CREATE FI2O (09-12)

IFIG / Accueil

IRD-IMARPE (11-12)

Budget total (hors financement de thèse) : ~ 1.5m!

Synthèse des activités

7

Thèmes d’enseignement •  Mathématiques •  Traitement du signal •  Vision par ordinateur •  Sclérochronologie •  Projets

Enseignement (~ 130h/an)

Public •  Formation continue •  Formation initiale (master, ingénieur) Responsabilités •  Coordination du domaine SIT •  Formation continue “Traitement avancé du signal”

Thèses : •  6 soutenues (3 Ifremer, 2 Telecom B., 1 ENIB) •  5 en cours (2 IRD, 2 Ifremer, 1 ACRI-ST) •  8 co-encadrants/directeurs différents

(Co-)Encadrement

Stages master II/ingénieur : 13

Postdocs/ingénieurs : 4

Synthèse des activités

8

Revues “méthodologiques” : IEEE PAMI, IEEE TIP, CVIU, IEEE TGRS

0

5

10

15

20

25

1998 1999 2000 2001 2002 2003 2004 2005 2006 2007 2008 2009 2010 2011 2012

Articles de revues et chapitres d’ ouvrages Actes de conférences et colloques

Autres communications

Revues thématiques : PloS One, PTRS, CJFAS, MEPS

Publications

Logiciel TNPC (Traitement Numérique des Pièces Calcifiées) Librairie Matlab SonarScope

Transfert

Nombre de citations : > 700 H-index : 12 Revues ISI : 35

[Harzing.com]

Les otolithes comme marqueurs des traits de vie individuels des poissons

ou L’histoire d’une oreille de poisson qui gardait ses secrets…..

Focus thématique

9

d’une mine d’or pour l’écologie marine •  Echelle individuelle : âge et croissance, origine natale, migrations,…. •  Echelle de la population, de l’écosystème

L’histoire, d’un poisson qui couvait son otolithe

10

Evolution de la signature chimique Sr/Ca de l’otolithe fonction de la salinité du milieu

Inférence bayésienne des migrations indivi-duelles

Caractérisation des tactiques migratoires des anguilles [Fablet et al., 2007]

résidents migrateurs

11

d’une mine d’or pour l’écologie marine •  Echelle individuelle : âge et croissance, origine natale, migrations,…. •  Echelle de la population, de l’écosystème

MAIS de chercheurs (d’or) peinant à l’exploiter

L’histoire, d’un poisson qui couvait son otolithe

12

Des fondements « empiriques » pas toujours vérifiés

Comment expliquer ces différences ? Quels sont les facteurs métaboliques et environ-nementaux qui déterminent la formation de l’otolithe ? Quels mécanismes ?

NS Cod

BS Cod

13

La formation de l’otolithe

! Objectifs [ANR JC OTOCAL, 2005-2008]: •  Compréhension et modélisation de la formation de l’otolithe (interaction

otolithe/poisson/environnement) •  Outils et méthodes pour la calibration des archives biocalcifiées

Environnement (T, nourriture,…)

Croissance de l’otolithe

Ca2++HCO3- !CaCO3+H+

Précipitation de CaCO3

Métabolisme du poisson

? ?

14

ANR JC OTOCAL (2005-2008) Une approche multidisciplinaire

Modèle numérique de la formation de l’otolithe

Caractérisation de la formation de l’otolithe

Outil expérimental

Eco-physiologie

Bio-minéralisation

Biologie théorique

Chimie analytique

Vision par ordinateur

15

Reconstruction de l’histoire de forme d’un otolithe [CVIU 2007, Thèse A. Chessel]

16

+ Bruit +

Composante géométrique : “histoire de forme”

Composante photométrique : Alternance de bandes opaques

et translucides

Objectifs

Reconstruction de l’histoire de forme d’un otolithe [CVIU 2007, Thèse A. Chessel]

17

! Représentation “level-set”

! Formulation variationnelle •  Objectif : ajuster la représentation “level-set” à une image particulière

Formes successices = ensemble de niveaux successifs d’une surface 3D

Régularité Contrainte géométrique

Orientation locale de l’image

ANR JC OTOCAL (2005-2008) Une approche multidisciplinaire

Modèle numérique de la formation de l’otolithe

Caractérisation de la formation de l’otolithe

Outil expérimental

Eco-physiologie

Bio-minéralisation

Biologie théorique

Chimie analytique

Vision par ordinateur

18

Modélisation numérique de la formation de l’otolithe [PloS One 2011]

!!"##$%&'(!)*!+,'-'+.-/*!0!123!'$45(.62*!789:!;!123!<.(%$5+!7CaCO3:!

Flux de MO

Flux de CaCO3

Flux dérivés des flux métaboliques (DEB)

Effet de la température sur la précipitation de CaCO3

Opacité fonction des flux de MO et de CaCO3

=3-*(>.'(!?@!

Modèle DEB

Temp.

Croissance Forme Opacité

Opa

cité

sai

sonn

ière

Modélisation numérique de la formation de l’otolithe [PLoS One 2011]

Scénarios spécifiques

à chaque stock

NS Cod (-) BS Cod (-)

Tem

pera

ture

(C)

Alim

enta

tion

BS Cod NS Cod

Simulations

Images réelles « Patterns » d’opacité observés vs. simulations

Les otolithes comme archives des traits de vie individuels

! Contributions thématiques •  Modèle mécaniste de formation de l’otolithe [PLoS One 2011] •  Nouvelles méthodes de reconstruction et extraction des traits de vie

individuels [e.g., Fish. Res. 2005, CJFAS 2007, CVIU 2007]

! Perspectives •  Potentiel d’extraction de nouveaux marqueurs [MEPS 2012] •  Généricité des problématiques d’analyse et extraction de

structures géométriques (e.g., interpolation de données d’orientation [ECCV 2006], contrainte variationnelle géométrique) pour d’autres types d’images (e.g., dynamique frontale des traceurs géophysiques)

La géométrie dans les signaux et les images

Focus « méthodologique »

22

! Déformations géométriques

! Distribution spatiale de structures/signatures élémentaires

Géométrie et images naturelles

!"#$%

Tourbillons océaniques

Texture sonar

Texture naturelle

Bancs de poisson

Dynamique frontale

Déformation de la couche de surface

Données trajectométriques

Le modèle fractal

Diffusion vs. Super-diffusion

P(l)~ l - µ Invariance en échelle Caractérisation statistique de la distribution des pas / incréments

Turbulence & invariance conforme

[Bernard et al., 2007]

A.4(*>!)*!(.B*52!7CD8:! [GRSL 2012]

Géométrie du traceur

Indicateur de la turbulence

24

Mouvement & marche de Lévy

Stratégie des prédateurs supérieurs : Hypothèse “Lévy” & modèle de Pareto généralisé [soumis]

#%&%'% #%(%)%

*%&"% *%&%'%

#%!)%#%(%)+,%

*%(%-%

!"#$%&'()"*(+,--

./012%23/4% 5/6/27%23/48%

934/8:;% 9<=>6/36%?@A=676:34%B=/88=6%

.+%/01-'()"*(+,-

.CDE%F/012%

G73DE%23/4%!

P l j( ) =1"1+

1µ #1

(l j #$ )"

%

& '

(

) *

#µModèle de Pareto généralisé :

Trois questions Quel modèle testé?

Modèle de Pareto généralisé

Comment tester l’ajus-tement du modèle aux données ?

Critère robuste Cramer-Von-Mises (statistiques de rang)

Comment définir la queue de la distribution ?

Plus petite valeur pour laquelle le test d’ajustement est valide

! Application aux données “VMS” de la pêcherie d’anchois du Pérou

Des comportements “Lévy”? Oui (Bertrand et al., 2007) Que des comportements “Lévy”? Non (Edwards, 2011) Différences entre les deux flotilles ! stratégies différentes?

EFGG!63D/<7+36%A=H<%43%HI#/*$.*!.()2>-$.*++*!

?JGG! 63D/<7+36% A=H<% 43%HI#/*$.*!5$&>5(5+*!

K! LGM! )*! -*>-! ),5N2>-*<*(-!B5+.)%! 3D7;% H67% IH7H7% J7%J82</KH:=6% <7A<C8762362% 3H%$=/68%EGM!)*>!)'((%*>!

Stratégie des prédateurs supérieurs : modèle de Pareto généralisé [Bertrand et al., soumis]

! Déformations géométriques

! Distribution de structures/signatures élémentaires

Géométrie et images naturelles

!"#$%

Tourbillons océaniques

Texture sonar

Texture naturelle

Bancs de poisson

Dynamique frontale

Déformation de la couche de surface

Données trajectométriques

28

Distribution de signatures élémentaires dans les images & processus ponctuels

! Principe : •  Image = ensemble de signatures/objets élémentaires vue comme

la réalisation d’une processus ponctuel

•  Formellement, un ensemble de signatures {si,mi} est la réalisation d’un processus ponctuel S, où chaque position si est associée à une marque (signature) discrète Mi.

statistiques descriptives & modèles probabilistes [IEEE TGRS 2012]

29

Moment d’ordre 1 (densité)

Moment du second-ordre (corrélation)

(~ nombre d’évènements par classe = sacs de mots visuels)

!

µ ij(2) (r) = E " i (m1)" j (m2)1 s1 #s2 $r( )

s1 ;m1[ ], s2 ;m2[ ]%&

#

'(

) *

+ *

,

- *

. *

!

µ ij(2) (r){ }

statistiques descriptives

Modèles de Cox log-gaussiens

!

S1,...,SN{ }Y1,...,YN

Covariance de log(Yi)

6 classes, 180 images 256x256

Application à la reconnaissance de textures sonar [Thèse H.G. Nguyen]

! Résultats : bases de données Ifremer (Rebent)

30

! Résultats similaires pour des bases de textures visuelles

50

60

70

80

90

100

1 3 5 8 10

Gabor

Coocurrence

Sacs de Mots

Ling

Xu

Zhang

Nguyen

Nombre d’images d’apprentissage

Taux

de

clas

sific

atio

n (%

) 50

60

70

80

90

100

1 3 5 8 10

Gabor

Coocurrence

Nguyen

Nombre d’images d’apprentissage

Taux

de

clas

sific

atio

n (%

) 50

60

70

80

90

100

1 3 5 8 10

Sacs de Mots

Ling

Nguyen

Nombre d’images d’apprentissage

Taux

de

clas

sific

atio

n (%

)

Géométrie des signaux et des images

31

! Extension/perspectives : •  Application à différents types d’objets/signatures élémentaires

(e.g., régions « élémentaires », déformations élémentaires, formes,…) et imagerie (e.g. SAR) [IEEE TGRS 2012, IEEE GRSL 2012, CJFAS 2012]

•  Exploitation de la modélisation probabiliste (simulation, test d’ajustement, définition de distance entre modèles)

•  Application comme a priori ou modèle d’observation pour des problèmes inverses: eg segmentation d’images [cf. lien avec Karoui et al. 2011], assimilation variationnelle (Ba et al. en prep)

Agrégation(attraction)

Distribution aléatoire(Poisson)

Covariance spatiale

Plan

! Synthèse des activités de recherche et formation

! Focus thématique et méthodologique

•  Les otolithes comme marqueurs des traits de vie individuels des poissons

•  La géométrie dans les signaux et les images

! Et maintenant …

32

De l’observation de l’océan à la modélisation de ces dynamiques ?

Enjeux

Compréhension & modélisation des cascades d’énergie à travers les échelles spatiales et les compartiments biotiques et abiotiques

Echelle globale

Echelle régionale

Méso-échelle (10-500kms)

Subméso-échelle

(10ms-kms)

?

Physique

Biogéochimie

plankton

Prédateurs supérieurs

?

Petits pélagiques

De l’observation de l’océan à la modélisation de ces dynamiques?

Les bases d’observation ?

Observations sur une large gamme d’échelles

Observation de composantes biotiques (e.g., plancton, poisson,…) et abiotiques (e.g., forçage physique)

Question Comment explorer et croiser ces bases de données pour identifier/valider des modèles/hypothèses ?

De l’observation de l’océan à la modélisation : approche proposée

Q3. Comment identifier et modéliser les dynamiques conjointes de différentes composantes?

Q1. Comment analyser et modéliser des déformations géométriques multi-échelles?

Q2. Comment accroître la résolution spatio-temporelle des traceurs géophysiques ?

Q1. Comment analyser et modéliser des déformations géométriques multi-échelles?

Comment analyser et modéliser des déformations géométriques multi-échelles?

Objectif

modélisation/représentation

probabiliste des distributions

espace-échelle de ces déformations

élémentaires

[Chainais’07, CVPR 2011]

! Au-delà du modèle fractal

36

Extension à d’autres types de signaux Signaux 1D Iso-niveaux de traceurs

géophysiques

Déformations verticales

[Thèse D. Grados, 2011-2014]

Séries temporelles (multivariées)

[Thèse B. Saulquin, 2009-2013]

De l’observation de l’océan à la modélisation : approche proposée

Q3. Comment identifier et modéliser les dynamiques conjointes de différentes composantes?

Q1. Comment analyser et modéliser des déformations géométriques multi-échelles?

Q2. Comment accroître la résolution spatio-temporelle des traceurs géophysiques ?

Reconstruction multi-résolution et multi-modale de traceurs géophysiques (FI2O)

e.g., Température de Surface REMSS: basse-résolution

AVHRR-METOP: haute-résolution

39

AMSRE ~25km

METOP ~4km

e.g., Champs de vent Sorties de modèles numériques

Observation SAR haute-résolution

Objectifs : interpolation de données manquantes, problèmes inverses & super-résolution Cadre développé et envisagé : assimilation varitionnelle multi-modale multi-résolution

40

Reconstruction multi-résolution et multi-modale de traceurs géophysiques

Identification de modèle d’observation

par apprentissage [Thèse L. He-Guelton,

2009-2013]

Interpolation et inversion conjointe

multi-résolution [RFIA 2012]

De l’observation de l’océan à la modélisation : approche proposée

Q3. Comment identifier et modéliser les dynamiques conjointes de différentes composantes?

Q1. Comment analyser et modéliser des déformations géométriques multi-échelles?

Q2. Comment accroître la résolution spatio-temporelle des traceurs géophysiques ?

Représentation des dynamiques conjointes des écosystèmes marins

Méthodologie

Fouille de donnés basée sur la définition/identification d’évènements élémentaires

Représentation probabiliste de la distribution des évènements élémentaires

Prédateurs supérieurs

Poissons pélagiques

Chantier d’étude privilégié : Système du Courant de Humboldt

Plancton Dynamiques physiques

Base de données

[Thèse D. Grados, 2011-2014] [Thèse R. Joo, 2010-2013]

Synthèse ! Méthodes et modèles pour l’observation de l’océan

“multi-échelle” et “multi-modale”

! Dynamiques et collaborations inter-disciplinaires

! Perspectives : •  “Des bases de données d’observation à la représentation des

dynamiques de l’océan” •  Insertion locale : LabSTICC/CID/TOMS, interactions Labex Mer/

CominLabs •  Réponse à des appels à projets ANR, UE,… •  Collaborations internationales : LMI DISCOH, LIAMA •  Interaction formation/recherche

43

TRUGAREZ D’AN HOLL

44

………..y todos los demas