accès aux base d’images par navigation visuelle guillaume lavoue liris, fre 2672 cnrs

Accès aux base d’images par Accès aux base d’images par navigation visuelle navigation visuelle

Guillaume LAVOUE

LIRIS, FRE 2672 CNRS

Problématiques

Accès aux bases d’images. Recherche d’images par le contenu. Les systèmes RIPC traditionnels :

• Indexation.• Recherche par image-clef.

Inconvénients:• Représentation linéaire des résultats.• Pas de vue globale du contenu de la base.

Intérêt d’un système de navigation.

PLAN

Les méthodes de segmentation et d’indexation. Mise en place de la structure de navigation. Extension à l’approche locale.

La segmentation

Segmentation nécessaire:• Extractions des descripteurs.• Extractions des régions clefs.

Deux étapes:• Partitionnement de l’espace couleur (quantification).• Régularisation spatiale.

L’espace CIE Lab.• Transformation non-linéaire depuis l’espace RVB.• Perceptuellement uniforme.

Niveau 3(4 classes)

333231 CCC 33C32C31C

Histogramme Couleur (ab)

Image couleur

11C 11C

Niveau 1(2 classes)

2221 CC 22C21C

niveau 2(3 classes)

Partitionnement de l’espace couleur

Pourquoi?

• Image quantifiée = Image sur-segmentée

Réduction de cette sur-segmentation.

Principe:

• Fusion des régions

Obtention des régions significatives correspondant aux objets de la scène.

Régularisation spatiale

= 1243 régions

1. Filtrage des pixels isolés.

2. Extraction et étiquetage des régions connexes.

3. Construction du graphe d’adjacence.

4. Réduction du graphe Fusion des régions.

5. Construction de l’image finale à partir des régions restantes.

Algorithme général

Espace Lab uniforme

distance euclidienne .

Facteur de pondération• : Mesure de l’imbrication entre deux régions.

• : Filtrage des régions jugées trop petites.

Distance finale entre deux régions i et j:

ijED

ijC

ijA

ijD

ijijijij ACEDD

Mesure des différences couleur

: Prise en compte de la disposition spatiale [ Schettini ].

: Facteur de filtrage des petites régions.

ijC

ij

jiij P

PPC

4

),min(

: Périmètre de la ième région. : Longueur du périmètre entre la ième et la jème région.

iP

ijP

ijA

)( NbPixMinNouNbPixMinNsi ji 1 sinon

ijA

: Nombre de pixels de la ième région. : Nombre minimal fixé. : Réel positif .

iN

NbPixMin

1,0

Mesure des différences couleur

Image originaleImage

quantifiée 16 classes

1243 régions

Image

Segmentée5 classes6 régions

Résultats de la segmentation

Images originales Images

quantifiées 16 classes

Images Segmentées(Respectivement 2 et 6 régions)

Résultats de la segmentation

Deux approches:• Globale: Orientée Image.• Locale. Orientée Région.

Descripteurs colorimétriques:• Couleurs dominantes .• Pourcentages des classes .• Variances des classes: .

Descripteur spatio-colorimétriques• Cohérence spatiale .

iCDip

iV

SCR

Description des Images Couleur

PLAN

Les méthodes de segmentation et d’indexation. Mise en place de la structure de navigation. Extension à l’approche locale.

3 étapes de traitement hors ligne:

Quantification de l’histogramme couleurQuantification de l’histogramme couleurStructuration de la base

•Quantification par Nuées Dynamiques•Quantification floue

Élaboration d ’un mécanisme de visualisation•ACP

Les étapes de traitement

Quantification uniforme de l ’histogramme

Discrétisation des histogrammes L,a,b en k intervalles :

valeurs normalisées .

Création d ’un vecteur représentatif par image avec .

iC

13 kn

k3

k

wCD i

i

3

)1(ki 30

SCEwDi . 13 ki

10w

nDD 0

Quantification de l’histogramme Quantification de l’histogramme couleurcouleur

A

B3B1 B4B2

Niveau N-2

Niveau N-1

Niveau N

Structuration de la base

Structure d’arbre hiérarchique

Algorithme des nuées dynamiques– Données:

• N points dans l’espace de dimension n.• k groupes caractérisés par leur centre de classe .

– Initialisation:• Choix de k images qui formerons les initiaux.

– Algorithme:• On assigne à chaque classe , les points Les plus

proche de .

• Calcul, pour chaque ,des centres de gravité .

iP

kG kG 0

kG 0

kG iPkG 0

'00' kikiki GPGPkksiGP

kG kG 0

Structuration de la base

La quantification floue (Fuzzy k-mean) [ Bezdek ]:• Initialisation des .

• Algorithme- Calcul des centres de classes floues .kGF

mik

N

i

im

ik

N

ik

PGF

)(

)(

1

10

ik

Kk 1

kiik

kiik

GPsi

GPsi

0

1

Avec facteur de poids. Plus m est grand plus la quantification est floue.

1m

Structuration de la base

- Mis à jour des pourcentages d’appartenance .

- Comparaison des matrices d’appartenance avant et après l’itération.

1

2

1

)(

1

m

ij

ikK

j

ik

d

d

Ni

Kk

1

1

1pp UU

P le numéro de l’itération actuelle. le seuil d’arrêt.U telle que : .

Structuration de la base

ijjiU ]][[

Projection de l’ espace de dimension n à un

espace de dimension 2. Méthode choisie: L’Analyse en Composantes

Principales (ACP).• ACP appliquée sur les images

représentatives des sous groupes.• Quantité d’information moyenne portée

par les deux axes 80%.

Mécanisme de visualisation

Fonctionnement

A

B3B1 B4B2

Niveau N-2

Niveau N-1

Niveau N

Interface du système

a b

c fed

a : Fenêtre de navigation.

b : Résultats affichage paramétrique.

c : Images présentes dans le nœud.

d : Image sélectionnée.

e : Image requête.

f : Résultats affichage linéaire.

PLAN

Les méthodes de segmentation et d’indexation. mise en place de la structure de navigation. Extension à l’approche locale.

Principe:• Vecteurs représentatifs associés aux régions.• Base = nuage de points-régions.• Région représentée par l’image qui la contient.

Intégration de la recherche• Sur une région de la base.• Sur une région choisie d’une image de la base.

Intégration de l ’approche locale

Image

Région

Sélection zone Extraction zone

Segmentation Région finale

Intégration de l ’approche locale

Intégration Navigation / Recherche

Efficacité, flexibilité. Travail sur la couleur

Extension à la forme, la texture. Ouvertures:

– Pré-classification sémantique.– Terminal intelligent, intégration du profil utilisateur.– Généralisation à d’autre bases (ex: objets 3D).

Conclusion