Aymeric Histace

Traitement d’Image :

Régularisation d’image par EDP

1

Aymeric Histace

Introduction

n  On s'intéresse ici aux techniques d'amélioration des images numériques, pour augmenter la qualité de leur rendu visuel, ou pour faciliter leur analyse.

n  On cherche donc à atténuer, sinon supprimer une

certaine dégradation.

n  Illustration :

2

Dégradation additive

Aymeric Histace

Introduction

n  La problématique peut se voir comme la régularisation d’une surface (l’image)…

n  Illustration :

3

Aymeric Histace

Introduction

n  …et peut donc se formaliser sous forme variationnelle

n  L’approche variationnelle de la restauration d’image aboutit à la réécriture de la problématique sous forme d’une EDP

n  Origine empirique : q  Analogie entre l’atteinte de l’équilibre thermique d’un

ensemble de particules en thermodynamique (diffusion thermique) et la régularisation de la luminance des images bruitées.

4

Aymeric Histace

L’EDP de la chaleur

n  Une première approche : q  Régulariser l’image revient à régulariser les

variations de niveaux de gris de l’image

q  La variation des niveaux de gris est liée aux variations de la norme du gradient de l’image.

q  On cherche donc à minimiser les variations associées

5

Aymeric Histace

L’EDP de la chaleur

n  Une première approche : q  La fonctionnelle associée s’écrit alors

q  proposée par Thikonov en 1963 dans le cadre de l’étude des problèmes inverses.

6

E(I ) = !I 2 dxdy"

#

Aymeric Histace

L’EDP de la chaleur

n  Une première approche : q  Equation d’Euler-Lagrange associée

q  Avec

7

!f!I"ddx

!f!Ix

"ddy

!f!Iy

= 0

f I, Ix, Iy, x, y( ) = !I 2=

"I"x#

$%

&

'(2

+"I"y#

$%

&

'(

2

Aymeric Histace

L’EDP de la chaleur

n  Une première approche : q  Soit

q  L’EDP associée à la résolution est la suivante

q  proposée par Thikonov en 1963 dans le cadre de l’étude des problèmes inverses.

8

!2I!x2

+!2I!y2

= "I = 0

I(x, y, t = 0) = I0!I!t= "I

#

$%

&%

Aymeric Histace

L’EDP de la chaleur

n  Il s’agit de l’EDP de la chaleur

n  Illustration :

9

I(x, y, t = 0) = I0!I!t= "I

#

$%

&%

5 itérations 10 itérations 50 itérations

Aymeric Histace

L’EDP de la chaleur

n  Propriété importante : q  Il y a équivalence entre diffuser itérativement une image

au moyen de l’EDP de la chaleur et la filtrer par convolution avec un masque gaussien

q  Propriété démontrée par Koenderick en 1984

q  L’équivalence avec le filtrage gaussien d’écart-type σ est vérifiée lorsque

10

t2=σ

Aymeric Histace

EDP de la chaleur

n  Propriété importante : q  Piste pour la preuve :

n  Déterminer les solutions du type : I(x, t) = I1(x,y) . I2(t)

n  En déduire la solution fondamentale de l’équation de la chaleur

n  En déduire la solution générale donnée par :

I(x, y, t) = 12 !.t

e!(x!X )2+(y!Y )2

4t .I0 (X,Y )dX dY!"

+"

#

11

Aymeric Histace

EDP de la chaleur

n  Propriété importante : q  Piste pour la preuve :

n  Ceci est par définition la convolution de I0 par une gaussienne d’écart-type

n  Pour plus de détails, me demander le pdf.

I(x, y, t) = 12 !.t

e!(x!X )2+(y!Y )2

4t .I0 (X,Y )dX dY!"

+"

#

t2=σ

12

Aymeric Histace

EDP de la chaleur

n  L’équation de la chaleur est donc une autre façon de concevoir le filtrage gaussien.

n  Cependant, un tel filtrage comme nous l’avons vu est isotrope et ne permet donc pas de préserver les zones sensibles de l’image (les contours ou transitions).

13

5 itérations 10 itérations 50 itérations

Aymeric Histace

EDP de la chaleur

n  Question ?

q  Comment améliorer ce processus isotrope, en particulier en ne diffusant pas les zones de fort gradient (les contours) de l’image ?.

14

Aymeric Histace

EDP de Perona-Mailk

n  L’EDP proposée par Perona-Malik (1990) s’inspire de l’EDP de la chaleur, mais les auteurs y intégre une non-linéarité sous forme d’une fonction g à valeur positive, monotone et décroissante :

!I(x, y, t)!t

= div g "I(x, y)( )"I(x, y)( )

15

Aymeric Histace

EDP de Perona-Malik

n  La fonction g la plus couramment utilisée est du type :

2

2

)( ku

eug−

=

16

Aymeric Histace

EDP de Perona-Malik

Les gradients élevés ne sont pas diffusés

Les gradients faibles sont diffusés

La valeur de k permet de régler la sélectivité de g(.)

k=10

k=5

17

n  Fonction g :

Aymeric Histace

EDP de Perona-Malik

n  La fonction g permet de pondérer la diffusion en fonction de l’appartenance ou non du pixel courant à un contour :

q  Si le pixel appartient à un contour (gradient local élevé) alors g(.) renvoie une valeur proche de 0 : il n’y a pas diffusion

q  Si le pixel n’appartient pas à un contour (gradient local faible) alors g(.) renvoie cette fois ci une valeur importante non nulle : il y a diffusion

18

Aymeric Histace

EDP de Perona-Malik

19

Aymeric Histace

EDP généralisée

n  Afin de généraliser l’approche de Perona-Malik et de l’enrichir, il est proposé (Deriche 96), une EDP générale du type :

!I!t= ct.Itt + cg.Igg

20

Aymeric Histace

EDP généralisée

n  Une telle écriture permet de pondérer différemment les directions de diffusion (isophote et gradient) !!!

n  On parle d’anisotropie

!I!t= ct.Itt + cg.Igg

Pondération du gradient

Pondération de l’isophote

21

Aymeric Histace

EDP généralisée n  Dans le cas où les deux coefficients de

pondération sont égaux à 1, on retrouve l’équation de la chaleur

!I!t= Itt + Igg = "I

22

Aymeric Histace

EDP généralisée n  L’équation de Perona-Malik peut s’écrire sous

la forme généralisée décrite précédemment en prenant :

n  Remarque : cg peut être négatif. La méthode est alors instable (on réhausse le bruit)

ct = g !I( )cg = g ' !I( ). !I + g !I( )

"#$

%$

23

Aymeric Histace

Généralisation

n  Plusieurs améliorations ont été apportées par la suite. Les deux principales étant :

q  Lissage du gradient par convolution avec une gaussienne avant le calcul de la fonction g : approche de Catté et al

q  Remplacement de la fonction g par une matrice D, le tenseur de structure associée à l’image (emprunt à la mécanique) : approche matricielle de Weickert (voir partie dédiée)

24

Aymeric Histace

ϕ - fonctionnelle

n  Si l’écriture précédente permet d’intégrer l’anisotropie, elle ne s’inscrit pas pour le moment dans une formulation variationnelle…

n  C’est à la mise en place de cette formulation que nous allons nous intéresser maintenant.

n  L’idée est de s’inscrire dans un formalisme commun à la plupart des EDP de ce type

25

Aymeric Histace

ϕ - fonctionnelle

n  Soit ϕ une fonction croissante à valeurs réelles permettant de guider la diffusion et en particulier de pénaliser les forts gradients.

n  La problématique de régularisation peut alors s’écrire sous la forme variationnelle générale suivante :

26

E(I ) = ! !I( )dxdy"

#

Aymeric Histace

ϕ - fonctionnelle

n  La minimisation de cette fonctionnelle au moyen de l’approche d’Euler-Lagrange amène alors à considérer l’équation de diffusion générale suivante :

27

I(x, y, t = 0) = I0

!I!t= div

! ' "I( )"I

"I#

$%%

&

'((

)

*++

,++

Aymeric Histace

ϕ - fonctionnelle

n  Cette écriture n’est pas incompatible avec l’écriture locale proposée par Deriche et al.

n  Avec :

28

!I!t= ct.Itt + cg.Igg "

!I!t= div

! ' #I( )#I

#I$

%&&

'

())

ct =! ' !I( )!I

cg = ! '' !I( )

"

#$

%$

Aymeric Histace

ϕ - fonctionnelle

n  Quelques exemples issus de la littérature :

29

Aymeric Histace

ϕ - fonctionnelle

n  Quelques exemples issus de la littérature :

30

Aymeric Histace

Approche matricielle

n  Une généralisation des approches précédentes sous forme matricielle est proposé par Weickert (1996)

n  EDP proposée :

31

I(x, y, t = 0) = I0!I!t= div D"I( )

#

$%

&%

D est appelé le tenseur de diffusion : il s’agit d’une matrice permettant de prendre en compte la structure « physique » de l’image à restaurer

Aymeric Histace

Approche matricielle

n  Cas particulier :

32

Impossible d'afficher l'image. Votre ordinateur manque peut-être de mémoire pour ouvrir l'image ou l'image est endommagée. Redémarrez l'ordinateur, puis ouvrez à nouveau le fichier. Si le x rouge est toujours affiché, vous devrez peut-être supprimer l'image avant de la réinsérer.

avec

Impossible d'afficher l'image. Votre ordinateur manque peut-être de mémoire pour ouvrir l'image ou l'image est endommagée. Redémarrez l'ordinateur, puis ouvrez à nouveau le fichier. Si le x rouge est toujours affiché, vous devrez peut-être supprimer l'image avant de la réinsérer.

Diffusion dans le cadre des Φ-fonctions

Aymeric Histace

Approche matricielle

n  Calcul de D : q  Afin d’éviter une trop grande sensibilité au bruit de

l’image, le tenseur est généralement calculée sur une version lissée isotropiquement de l’image de départ :

q  Avec Gσ une gaussienne 2D d’écart-type σ

33

I! = I *G!

Aymeric Histace

Approche matricielle

n  Calcul de D : q  On définit alors les directions de diffusions locales η

et ξ de la manière suivante

34

! =!I"!I"

et ! =!I"

"

!I"

Aymeric Histace

Approche matricielle

n  Calcul de D : q  η et ξ sont les 2 vecteurs propres de la matrice D

auxquels ont peut associer deux valeurs propres µ1 et µ2

q  On définit alors λ1 et λ2 telles que :

35

!1 ="

!2 =" si µ1 = µ2

" + (1!")e!

C(µ1!µ2 )2

"

#$$

%

&''

sinon

(

)*

+*

(

)

**

+

**

! ! 0,1[ ]C > 0

"#$

%$avec

Aymeric Histace

Approche matricielle

n  Calcul de D : q  En chaque point de l’image, on calcule alors :

q  Interprétation : n  Sur les régions d’intensité constante :

et Conséquence :

36

D = !1""! +!2##

!

µ1 ! µ2 = 0!1 ! !2 ="

D !!Id Diffusion isotrope

Aymeric Histace

Approche matricielle

n  Calcul de D : q  Interprétation :

n  Le long des contours : et donc

n  La diffusion est donc anisotrope préférentiellement

dans la direction ξ

37

µ1 >> µ2 >> 0!1 > !2 > 0

Aymeric Histace

Approche matricielle

n  Calcul de D : q  Illustration

38

Originale Diffusion tensiorelle

Aymeric Histace

Approche matricielle

n  Représentation graphique de D: q  Sur les zones homogènes, le tenseur est

représenté par un disque de rayon α

q  Le long des contours, le tenseur est représenté par une ellipse d’axes µ1 et µ2 avec µ1 > µ2

39

ξ

η

ξ

η

Aymeric Histace

Approche matricielle

n  Représentation graphique de D:

40

Aymeric Histace

Approche matricielle

n  Utilisation « détournée » du tenseur :

41

Noyaux de cellules en bleu Protéine marquée en rouge

Structure et organisation directionnelle de la protéine

Aymeric Histace

Approche matricielle

42

Aymeric Histace

Approche matricielle

n  Utilisation « détournée » du tenseur :

43

Tractographie du réseau cérébral

nerveux

IRM de diffusion