1

Mesures Objectives de comparaison d'images: Application à la comparaison d'images couleurs

D. COQUIN

Laboratoire d’Informatique, Systèmes, Traitement de l’Information et de la ConnaissanceLISTIC - Domaine Universitaire, BP 80439, F. 74944 Annecy le Vieux Cedex.

(CNRS - GdR - ISIS)Email: Didier.Coquin@univ-savoie.fr

D. Coquin ETASM

2

Plan de l'exposé

1) Introduction- intérêt des mesures objectives

2) Mesures de dissimilarité entre images à niveau de gris- description de 5 mesures de dissimilarité

3) Résultats expérimentaux - comparaisons entre ces mesures de dissimilarité- reconnaissance de gestes dynamiques

4) Extension au domaine de la Couleur- dissimilarité entre 2 images couleurs

5) Conclusion

D. Coquin ETASM

3

Une mesure quantitative de la dissimilarité D(A,B) entre 2 images, Aand B, est nécessaire pour un grand nombre d'applications pratiques,comme par exemple:

- pour l'évaluation des méthodes de restauration d'images- pour l'évaluation des méthodes de segmentation d'images- pour comparer le résultat de 2 détecteurs de contours à partir

des images de contours.- pour comparer les distorsions d'une image par rapport à une

référence.- .......

Question: Dans quelle mesure une image B est-elle similaire à une image A?

1. Introduction

D. Coquin ETASM

4

Question: L’image1 est-elle meilleure que l’image2 en terme de per-formance de filtrage?

adaptatif directionel 5x5 médian 7x7

1 2

référence

D. Coquin ETASM

5

Des choix basés sur un critère quantitatif ne doit pas être trop sensi-ble aux petites variations de forme

Il est nécessaire de trouver un critère quantitatif performant et d'étu-dier son comportement par rapport aux configurations que l'on peut ren-contrer dans les images, à savoir:

- son comportement vis à vis du bruit- son comportement vis à vis de la forme

savoise.gdr (CNRS - GDR- ISIS)

forme simple

forme complexe: objet fractal

D. Coquin ETASM

6

Les mesures de dissimilarité sont basées sur 2 approches classiques quitiennent compte de la modélisation des images:

- image considérée comme une Fonction

- image considérée comme un Ensemble de points

2. Mesures de dissimilarité pour des images en niveaux de gris

D. Coquin ETASM

7

2.1 Image en tant que fonction

fB

G(niveau de gris)

fA

S(support)

gB

gA

s(x,y)

image A

image B

fA: S ------> G(x,y)------> gA

avec gA = fA(x,y)

fA(x,y)

D. Coquin ETASM

8

Les opérateurs de comparaison peuvent être définis par:

avec: ϕ: fonction positive, de préférence paireΨ: fonction croissante, avec Ψ(0) = 0

la dissimilarité entre 2 images A and B s’obtient par accumulation d’in-formations locales.

exemple: * RMS:

ϕ: la fonction: élévation au carréΨ: la racine carrée de la moyenne

D A B,( ) Ψ ϕ fA s( ) fB s( )–( )s S∈∑⎝ ⎠

⎛ ⎞=

D A B,( ) 1card S( )-------------------- fA s( ) fB s( )–( )2

s S∈∑⎝ ⎠

⎛ ⎞=

D. Coquin ETASM

9

2.2 Image en tant qu'ensemble

Soit avec XA S G×⊂ XA s g,( ) SxG∈ g, fA s( )={ }=

G(niveau de gris)

XA

s

g

Mesure de dissimilarité entre 2 ensemblesXA and XB.

D(A,B) = d(XA,XB)

( S: support)

D. Coquin ETASM

10

- distance de Hausdorff

H XA XB,( ) maxsup d a XB,( ){ }a XA∈

sup d b XA,( ){ }b XB∈,

⎩ ⎭⎨ ⎬⎧ ⎫

=

XBXA

sup{d(b,XA)}H(XA,XB)

d a XB,( ) minb XB∈ d a b,( )[ ]=b

a

sup{d(a,XB)}

D. Coquin ETASM

11

- distance de Baddeley:

est définie pour 2 ensembles binaires XA et XB (==> images binaires)

Nous proposons d’adapter cette définition aux images à niveau de gris: Image A est associée à l’ensemble:

,

B XA XB,( ) 1card S( )-------------------- d s XA,( ) d s XB,( )– E

s S∈∑

1E---

=

XA S G×⊂ XA s g,( ) SxG∈ g, fA s( )={ }=

D XA XB,( ) 1G card S( )⋅----------------------------- d v XA,( ) d v XB,( )– E

v G S×∈∑

1E---

=

D. Coquin ETASM

12

Wilson-Baddeley-Owen ont proposé de caractériser la dissimilaritéentre les images A et B par:

G

Image A: ensemble XA dA(v)

v

XB

G

(x,y)

XAdA(v)

dB(v)

v(x,y,g)

SS

Δg A B,( ) 1G card S( )⋅----------------------------- d∗ s g,( ) ΓA,( ) d∗ s g,( ) ΓB,( )– E

g G∈∑

s S∈∑

1E---

=

D. Coquin ETASM

13

Image A est représentée par le volume défini par l'ensemble ΓA tel que:le sous-graphe de fA ,

et d*: la distance tronquée définie par:

ΓA s g,( ) S G g,×∈ fA s( )≤{ }=

d∗ s g,( ) ΓA,( ) infg′ g g′– c≤( ), max d s Xg′ A( ),( ) g g′–,[ ]{ } c,( )=

sous-graphe ΓB

GΓA

S

d[(s,Xg'(A)]

g

v(s,g')

ΓB

s

g'

Image BImage A

D. Coquin ETASM

14

2.3 Combinaison de l’information locale et globale

- Distance de Hausdorff Modifiée (MHD) proposée par Dubuisson et Jain [1994]

avec

et

MHD A B,( ) max d XA XB,( ) d XB XA,( ),[ ]=

d XA XB,( ) 1card XA( )------------------------ d a XB,( )

a XA∈∑=

d a XB,( ) minb XB∈ d a b,( )=

D. Coquin ETASM

15

- Zamperoni and Starovoitov: Dz

dcity : city block distance, WA= WB = 21x21 pixels

DZ A B,( ) 12G card S( )⋅-------------------------------- minb′ WB∈ dcity a b′,( ){ } mina′ WA∈ dcity a′ b,( ){ }+

E

s S∈∑⎩ ⎭

⎨ ⎬⎧ ⎫

1E---

=

fA

G

s

fB

S

Inte

nsité

W

WB

WA

b

ab' a'

Dissimilarité calculée à l’intérieur de la fenêtre W

D. Coquin ETASM

16

Comparaison de ces différentes dissimilarités:

- vis à vis d'une variation d'intensité - vis à vis du bruit - d'une variation de forme

3.1 ImplémentationLes distances Euclidiennes dA(v) et dB(v) sont approximées au moyend'un opérateur local de distance 3D.

3. Résultats expérimentaux

D. Coquin ETASM

17

Les distances globales sont calculées par propagation d'informations loca-les.

image originale image de distance 2D

G

S2D

coupe d'une image de distance 3D

Volume image Bimage A

dA(v)

D. Coquin ETASM

18

3.2 Effet d'une augmentation d'intensité

image originale +10 +30 +50

0

2

4

6

8

10

12

14

0/1 1/2 2/3 3/4 4/5

DMHDRMS

DzΔg

0

5

10

15

20

25

30

35

40

45

50

10 20 30 40 50

DMHDRMS

DzΔg

niveau de gris

RMS

DΔg Dz

MHD

D. Coquin ETASM

19

3.2 Sensibilité à une variation de la forme

séquence de 78 images d'un même objet. La caméra tourne autour decet objet et fait l'acquisition d'une image à intervalle régulier.

im47

im1 im12 im33 im47 im68

D. Coquin ETASM

20

0

20

40

60

80

100

0 10 20 30 40 50 60 70 80

DMHDRMS

DzΔg

12 47

D. Coquin ETASM

21

3.3 Application à la reconnaissance de gestes dynamiques

On souhaite reconnaître 10 gestes de la main.

le principe de reconnaissance est basé sur:- signature statique (histogramme des orientations du gradient)- signature dynamique (superposition des squelettes)

début du geste milieu du geste fin du geste

D. Coquin ETASM

22

- signature statique (histogramme des orientations du gradient)

la signature statique sert à repérer le début et la fin de la séquence.

D. Coquin ETASM

23

- signature dynamique (superposition des squelettes)

On applique la distance de Baddeley entre les signatures dynamiques. Ladistance la plus petite est associée au geste.

D. Coquin ETASM

24

Première conclusion:

- le nouveau critère D (extension de la distance de Baddeley) est - stable vis à vis d'une variation moyenne de l'intensité- discriminant vis à vis de la forme- robuste vis à vis du bruit (acivs´99)

- les meilleurs opérateurs sont ceux basés sur une modélisationensembliste de l'image.

- de tels opérateurs peuvent être utilisés pour faire du contrôleautomatique en minimisant un critère basé sur le calcul d'une dis-similarité.

D. Coquin ETASM

25

L'opérateur de dissimilarité choisi est l'extension de la distance deBaddeley, noté D, que nous avons adapté aux images couleurs.- première approche:

utiliser un opérateur local de distance 5D.==> (difficultés: temps de traitement, et taille de mémoire gi-gantesque)

- deuxième approche:passer du domaine (x,y,R,V,B) à un domaine 3D (x,y,g)==> faire une indexation des couleurs:

4. Mesure de dissimilarité pour des images Couleurs

D. Coquin ETASM

26

4.1 indexation des couleursOn utilise un réseau de neurones de Kohonen qui a la particularitéde conserver les propriétés de voisinage. l'algorithme SOM (SelfOrganizing Map).

==> difficulté: l'indexation nous donne des couches successives detaille différentes.

SOM

Un ensemble d'images indexéessur 256 niveaux de couleurs{imd1, imd2, ....., imdk}

OutputInput

Un ensemble d'images couleurreprésenté dans l'espace LAB{im1, im2 ,...., imk}

réseau unidimensionnel circulaire

D. Coquin ETASM

27

images originales images indexées

D. Coquin ETASM

28

Nous avons développé un opérateur local de distance 3D non sta-tionnaire dont les coefficients s'adaptent à la hauteur de chaquecouche.

Z

XxY

Pr+1

Pr

Pr-1Cr

Cr+1

Pr-2

masque avant

(D001)r

(D101)r(D111)r

(D111)r (D111)r

(D111)r

(D011)r

(D101)r

(D011)r

Z = Pr-1 Z = Pr

(D010)r

(D100)r(D110)r (D110)r

0

(D001)r

(D101)r(D111)r

(D111)r (D111)r

(D111)r

(D011)r

(D101)r

(D011)r

(D100)r(D110)r (D110)r

0 ( D010)r

Z = Pr+1Z = Prmasque arrière

D. Coquin ETASM

29

Résultats expérimentaux:a) influence de la Luminance

D. Coquin ETASM

30

Dechant

D

D. Coquin ETASM

31

b) Influence de la saturation

Dechant

D

D. Coquin ETASM

32

c) Influence du déplacement géométrique

0

20

40

60

80

0 5 10 15 20 25

D

RMS

Dechant

Translation

déplacement horizontal de 20 pixels

originale

D. Coquin ETASM

33

- comparaison de 5 opérateurs de dissimilarité- extension de la distance de Baddeley appliquée aux images

en niveaux de gris. ==> nouveau critère D- proposé une méthode qui permet d'appliquer cette dissimi-

larité aux images de couleur.- étudié les propriétés de cette dissimilarité pour quelques dé-

formations connues.- ce critère peut être utilisé comme critère de qualité entre 2

images.

5. CONCLUSION

D. Coquin ETASM