État de l'art dans la segmentation d'images

État de l'art dans la segmentation d'images

couleur

(en 1999)

P lan

I - Introduction

II - Approche Globale

III - Approche Région et Frontière

IV - Approche Lumière et Couleur

V - Bilan

I n t roduct ion

● Déf : opération de traitement d'images qui a pour but de rassembler des pixels entre eux suivant des critères pré-définis

I- Introduction

II- Approche Globale

III – Approche Région / Frontière

IV – Approche Lumière / Couleur

V - B ilan

Approche G loba le

● Hypothèse : un objet se distingue par sa couleur

● Méthodes déduites : – Regrouper les pixels en clusters de

couleur– Construire des histogrammes selon

les caractéristiques couleur des pixels.

I- Introduction




V - B ilan

Approche G loba le

● Classification non-supervisée :– Fluzzy C-means.– K-means.

I- Introduction


1- Clus tering2- His togram



V - B ilan

Approche G loba le

● Fluzzy c-means :– Classification non supervisée floue– 1 point appartient à 1 cluster avec

un certain degrés– Min (dist intra classe) & Max(dist

inter classes)– Algo :

● Fixation arbitraire d'une matrice d'appartenance

● Calcul des centres des classes● Réajustement de la matrice● Calcul du critère de minimisation

I- Introduction





V - B ilan

Approche G loba le

● k-means :– Connu et utilisé car simple– Min (dist intra classe) & Max(dist

inter classes)– Position init. des centres influe le

résultat final.– Choisir le bon nombre de clusters.

I- Introduction





V - B ilan

Approche G loba le

● k-means :– Algo (PhL) :Initialiser 1; K

● Répeter– affectation de chaque point à son cluster le

plus proche

– C(xi) = min_g d(xi; g)– recalculer le centre mu de chaque cluster

– mug = (1/Ng )* Sum_i2Cg (xi)● Tant que abs(mu_k)>epsilon

– Complexité : O(KnI) (I : itérations)

I- Introduction





V - B ilan

Approche G loba le

● Comparaison des 2 méthodes:

–

–

–

–

–

–

–

– FCM : tâche sous le « d »

– K-means : reconnu comme « studv »

I- Introduction





V - B ilan

Approche G loba le


– K-means à k clusters :

I- Introduction





V - B ilan

Approche G loba le


–

–

–

–

–

–

–

– FCM : moins pertinent

– K-means : mieux mais pas reconnu non plus

I- Introduction





V - B ilan

Approche G loba le


–

–

–

–

–

–

–

–

– Bons résultats

– FCM + rapide

I- Introduction





V - B ilan

Approche G loba le

● Problématique :– N&B: très utilisé et fiable.– En couleur : combiner pics et

vallées de 3 histo– Bruit => ambiguités

I- Introduction





V - B ilan

Approche G loba le

I- Introduction





V - B ilan

Histogramme en Rouge Histogramme en Vert Histogramme en Bleu

Approche G loba le

● Un exemple de méthode :– Segmentation de chaque plan de

couleur indépendamment à partir des histogrammes.

– Les palettes de segmentation obtenues sont fusionnées.

– Résultat : une palette de pixels avec labels.

I- Introduction





V - B ilan

Approche G loba le

● Un exemple de méthode :I- Introduction





V - B ilan

Approche G loba le

● Un exemple de résultats :I- Introduction





V - B ilan

Approche Rég ion /F ront iè re

● Compacité spatial et homogénéité : 2 critères importants

● Impossibilité de connaître la localisation des pixels par les techniques précédentes

● Deux familles de techniques:– Split & merge

– Region growing

I- Introduction



1)S plit & Merge2)Region growing3)Detection de contours


V - B ilan


● Split & Merge

– Split : On divise jusqu’à ce que la propriété soit vraie dans la sous image

– Merge : On regroupe les régions adjacente dont l’union vérifie la propriété

I- Introduction



1)S plit & Merge2)Region growing3)Détection de contour


V - B ilan


● Split & Merge– Split

● L’image est stockée dans un arbre.

● Initialement, arbre racine = image complète

● Récursivement, chaque feuille F est subdivisée en quatre si elle n’est pas assez homogène, et les quatre sous images sont ajoutée en tant que feuilles de F.

● L’algorithme poursuit tant qu’il reste des feuilles non homogènes à diviser.

I- Introduction



1)S plit & Merge2)Region growing3)Détection de contour


V - B ilan


I- Introduction



1)S plit & Merge2)Region growing3)Détection de contours


V - B ilan


● Construction du RAG (Region Adjacancy Graph)

I- Introduction





V - B ilan

RAG

• Connecte les régions adjacentes

• Arrêtes = mesures de différence d’homogénéité


● Split & Merge– Merge

● Chaque nœud du Region Adjacency Graph est examiné.● Si un des voisins de ce nœud est à une distance inférieure

à un seuil de regroupement, les deux nœuds fusionnent dans le RAG.

● Lorsque plus aucun nœud ne peut fusionner avec l’un de ses voisins, STOP.

I- Introduction





V - B ilan


I- Introduction





V - B ilan

Image originale Image après traitement

Avantage :

-Méthode qui contourne le problème du gradiant posé dans l'algorithme du « region growing »

Inconvénient :

-Méthode assez complexe un peu « carré », dû à la topologie des quadtreeses quadtrees


● Region growing– On part d’un point amorce (seed) et l’on

l’étend en ajoutant les points de la frontières qui satisfont le critère d’homogénéité

I- Introduction





V - B ilan

Image originale

Amorce Croissance Région finale


● Region growing– Deux méthodes:

● Le point amorce peut être choisi soit par un humain, soit de manière automatique en évitant les zones de fort contraste (gradient important) => méthode par amorce.

● Si le critère d’homogénéité est local (comparaison de la valeur du pixel candidat et du pixel de la frontière) => méthode linéaire.

I- Introduction





V - B ilan


– Méthode par amorce● On définit une zone R qui contient la

région à extraire.● Initialement, R contient l’amorce.● On utilise une file FIFO (First In, First Out)

S qui contient les points frontière● Initialement, S contient le

voisinage de l’amorce.

On retire p dans Ssi p est homogènehomogène avec R,

on ajoute p à R et on ajoute à S les points du voisinage de p qui ne sont pas dans R et qui ne sont pas incompatibles.

sinon, on marque p comme incompatible.

On recommence tant que S n’est pas vide.

I- Introduction





V - B ilan


– Méthode linéaire

● Pour chaque pixel on regarde si sa valeur est égale à la valeur de la région

● Si c'est le cas le pixel est intégré à la région

● Sinon il fait parti de la frontière

I- Introduction





V - B ilan


● Region growing– Avantages

● Méthode rapide● Conceptuellement très simple

– Inconvénients● Méthode locale: aucune vision globale du problème. En pratique, il y a presque toujours un chemin continu de points connexes de couleur proche qui relie deux points d’une image…Problème du gradient

● Tenir compte de l’homogénéité globale donne un algorithme sensible à l’ordre de parcours des points (méthode par amorce)

● Algorithme très sensible au bruit, peu stable.

I- Introduction





V - B ilan


● Détection de contours

– Plusieurs techniques sont utilisées.– Les plus connues :

● Détection de contours grâce au laplacien

● Détection par contour actifs ou snakes

I- Introduction





V - B ilan


● Détection de contour– Grâce au laplacien

– On trouve les contours lorsque le laplacien est nulle.

I- Introduction





V - B ilan

2

2

2

22

yf

xff

∂∂+

∂∂=∇


● Détection de contours– Les contours actifs ou snakes

● Utiliser des courbes déformables qui sont « attirées » par les formes recherchées dans l’image.

● Analogie avec la physique: fonction d’énergie à minimiser.

I- Introduction





V - B ilan


● Détection de contours– Détection de contours actif

● consiste à placer aux alentours de la forme à détecter une ligne initiale de contour. Cette ligne va se déformer progressivement selon l'action de plusieurs forces qui vont la tirer ou la pousser vers la forme.

● Les forces impliquées vont dériver de trois énergies associées au snake:

– L'énergie interne● E int = (a(s)).||(Vs(s)|| + b(s)).||(Vss(s)||)

– L'énergie potentielle liée a l'image● E image= -gradient(i).

– L'énergie de "contrainte"● E cont=E cont(s)

I- Introduction





V - B ilan


● Détection de contours– Détection par contour actifs

● On somme toutes les énergiesE totale(Vi-1, Vi, Vi+1) = somme (Ei int(Vi-1, Vi, Vi+1) +

Ei image(Vi) + Ei cont(Vi))

● Il faut ensuite trouver la position du contour qui va minimiser cette énergie. On se ramène donc à un problème d'optimisation d'une fonction numérique de plusieurs variables

I- Introduction





V - B ilan

Approche Lumière /Cou leur

● Méthodes abordées : erreurs à cause de saturation et ombres.

● => analyser l 'interaction entre la lumière et les matières colorées :– Non homogène– Homogène– Métallique

I- Introduction




V - B ilan

B i lan

● Existe-t-il une technique de segmentation meilleure qu'une autre?

– Non tout dépend du contexte et de l'application

● Existe-t-il une « super » technique encore inconnu qui aurait de meilleur résultat que les autres?

– Non cela semble peut probable● Pourquoi le cerveau obtient-il de

meilleurs résultat alors?

– Réponse difficile... (50 ans de recherche)

I- Introduction




V - B ilan

État de l'art dans la segmentation d'images

Documents