1 introduction à la reconnaissance: références: sonka et al: sections 9.2 jusqu’à 9.2.3 autres...

1

Introduction à la reconnaissance:

Références:Sonka et al: sections 9.2 jusqu’à 9.2.3

Autres références: chap. 22 de ForsythDuda, Hart et Stork

Dernière révision P. Hébert 2008

2

Deux problèmes distincts Classification: action de former des

classes (catégories) d'objets (en anglais «clustering»).---> apprentissage non supervisé

Classement: action de décider à quelle classe (catégorie) appartient un objet (en anglais «classification»).---> apprentissage supervisé

3

Forme? Définition: concept abstrait

représentant une catégorie (classe) d'objets que l'on veut reconnaître.---> reconnaissance de formes

Représentation: implique plus souvent qu'autrement un espace vectoriel.---> espace de représentation

4

Poisson??

5

Segmentation/reconnaissance

Il faut segmenter pour pouvoir reconnaître;

Mais il faut reconnaître pour pouvoir segmenter!

6

Représentation Mesurer des propriétés:

couleur, texture; géométrie: longueur, hauteur, ratios, etc.; Construire un vecteur.

---> approches statistiques

Primitives élémentaires segments de droite, arcs de cercle; regroupements perceptuels; construire un graphe.

---> approches structurelles

On peut reconnaître les objets par un patron de caractérisitiques.

7

Exemple Quels sont les

objets présents dans cette image?

Y a-t-il une balle? Qu'est-ce qu'une

balle?---> rond?

8

--Périmètre2 / surface Cercle: (2πr)2 / πr

2 = 4π = 12.6 Carré: (4c)2 / c2 = 16 Rectangle:

(2l+2h)2 / lh = 4(l/h + h/l + 2)l = 2h ---> 4 x 4.5 = 18

9

--Autre exemple Les caractères que vous lisez sur cette

page: Exemples de propriétés:

Nombre de pixels noirs Nombre de traits Nombre de trous Axes d’inertie Longueur et largeur de la boîte englobante

10

--Exemple (suite) Reconnaissance de

visages Une image peut

être vue comme un vecteur de pixels!

*tirée de Forsyth

11

Comment traiter le problème?

Il faut choisir une représentation du vecteur de propriétés qui décrira les modèles et qui pourra être extraite d’une ou de plusieurs images.

Il faut définir un mode d’apprentissage des modèles.

Il faut formaliser une stratégie de reconnaissance à partir d’une image.

12

Définitions Classe (Ci): ensemble d’appartenance pour des objets

ayant des propriétés communes. Une classe possède une étiquette d’identification. Pour chacune des classes, on connaît une description ou une suite d’exemples.

Classe de rejet (Cr): classe pour les objets non classables.

Classifieur: Un algorithme ou système qui prend en entrée un vecteur de propriétés d’un objet et qui sort l’étiquette de la classe d’appartenance.

Capteur: Un système physique et logiciel qui permet de saisir un objet physique et d’en extraire un vecteur de propriétés.

Structure d’un classifieur

*tirée de Shapiro

14

Performance d’un classifieur Erreur de classement: un objet appartient à la

classe Ci alors que la sortie est Cj avec i ≠ j. Taux d’erreur empirique: ratio du nombre

d’erreurs dans un ensemble indépendant de test sur le nombre d’essais.

Taux de rejet: ratio du nombre de rejets dans un ensemble indépendant de test sur le nombre d’essais.

Ensemble indépendant de test: ensemble d’objets dont les classes d’appartenance sont connues (incluant des objets de Cr) et qui n’ont pas servis à la construction des modèles de classe.

15

Performance (suite …) Décision binaire: un objet est présent

ou absent Fausse alarme: un objet est signalé

présent alors qu’il ne l’est pas Manque: un objet n’est pas signalé

présent alors qu’il l’est. Coût associé à une mauvaise décision:

L(i->j), un objet de la classe Ci classé comme un objet de la classe Cj; L(i->i)=0 Exemple: diagnostic en médecine!

ROC: Receiver Operating Curve

*tirée de Forsyth

17

Performance (suite …) Le compromis précision vs rappel Définition pour deux classes

(généralisable) Précision: ratio du nombre d’objets bien

classés sur le nombre total d’objets classés dans cette classe.

Rappel: ratio du nombre d’objets bien classés sur le nombre total d’objets qui auraient dû être classifiés dans cette classe.

Exemple précision vs rappel

Rappel:

Precision:

précision vs rappel

La matrice de confusion

*tirée de Shapiro

Cumulative Match Scores

210 1 2 3 4 5 6 7 8 9 10

0

10

20

30

40

50

60

70

80

90

100Cumulative Match Scores

Rang

Tau

x d

e re

conn

aiss

ance

(%

)

--Représentation vectorielle

*tirée de Shapiro

23

-- Métriques de distance

Distance euclidienne:ne considère pas la distribution

Variation avec échelle: Distance de Mahalanobis:

2

1 )( BA XiXD

22

2 /)( BBA XiXD

))(())(( 13 BAB

tBA XiXXiXD

matrice decovariance

24

Lien entre les distances et les probabilités

Hypothèse d’une distribution gaussienne multidimensionnelle:

En 2D, l’intersection de la distribution avec un plan horizontal (de probabilité constante) est une ellipse.

)()(

2

1-exp

)2(

1)( 1

2/12/

XXXp t

d

Distance de Mahalanobis en 2D: illustration

*tirée de Duda

La distance estla même sur lescontourselliptiques

26

Classifieur bayesien

On dispose d’un modèle paramétrique On veut fixer un seuil:

manquesFaussesalarmes

tRéférence: classe I->

I

II

P(x|Ci)P(Ci)

27

Définitions

P(x): probabilité P(x|Ci): probabilité conditionnelle

P(Ci): probabilité a priori

P(Ci|x): probabilité a posteriori Règle de Bayes:

P(Ci x)P(x Ci)P(Ci)

P(x)

P(x Ci)P(Ci)

P(x C j )P(C j )j

28

Règle de Bayes

P(Ci x)P(x Ci)P(Ci)

P(x)

P(x Ci)P(Ci)

P(x C j )P(C j )j

x

29

Minimisation du risque

Il y a un coût associé à un mauvais classement : L(i ->j)

On veut minimiser le risque associé à une stratégie, i.e. l’espérance du coût

30

Suite … Le seuil de décision: seuil pour lequel les

deux classes représentent le même coût moyen )12()2()21()1( LxPLxP

)12()(

)2()2()21(

)(

)1()1( L

xP

PxPL

xP

PxPBayes:

x

Classifieur bayesien avec rejet

*tirée de Forsyth

32

Construire un classifieur Deux approches:

I. Développer un modèle explicite (paramétrique) des probabilités

II. Trouver directement les frontières de décision à partir de l’ensemble d’entraînement sans passer par les probabilités

33

Approche 1 À l’entraînement, on estime les

paramètres des distributions “supposées” et les a priori à partir des ensembles d’entraînement

Remarques: La meilleure estimation d’un paramètre ne

donne pas nécessairement le meilleur classifieur car le modèle supposé n’est pas forcément correct

Un bon classifieur peut être obtenu même si le modèle ne décrit pas bien les distributions

Exemple

*tirée de Forsyth

Cas de N classes

*tirée de Forsyth

volumedistribution

probabilitéa priori

Mahalanobis

36

Approche 2 Classifieur basé sur les plus proches voisins On ne connaît pas

la distribution pourchaque classe

On exploite directementl’ensemble d’entraînement

Idée: classer un objet à partir d’un vote par les K objets d’entraînement les plus près de lui

Plus coûteux en calcul

xxx x

xx

xxxx xxx xx

-- --- ---- --

--

-

K plus proches voisins

*tirée de Forsyth

38

Comment améliorer la performance des classifieurs?

Tester avec des données indépendantes. Attention au sur-apprentissage, i.e. des

décisions trop près du jeu d’entraînement (cas limite: 100% si les propriétés sont les mêmes et complètement aléatoires autrement).

Il faut une capacité de généralisation.

Complément:Deux méthodes d’amélioration La cross-validation: on peut diviser l’ensemble

d’entraînement en 2. On entraîne alors avec le premier sous-ensemble et on teste avec le second.

*tirée de Forsyth

40

Complément: Suite … Le “bootstrap” Idée: inclure le sous-ensemble, parmi

l’ensemble d’entraînement, qui soit le plus significatif au lieu de tout prendre

Comment? On divise en deux sous-ensembles On classifie avec un des sous-ensembles On ré-entraîne en insérant les manques et les

fausses alarmes dans le sous-ensemble d’entraînement.

41

Complément: Apprentissage-choix des caractéristiques

Analyse en composantes principales On calcule la matrice de covariance des

vecteurs caractéristiques

42

Complément: ACP (suite)

On extrait les vecteurs et valeurs propres de la matrice de covariance.

Les vecteurs propres représentent une base.

Les vecteurs propres associés aux plus grandes valeurs propres sont plus importants (compression).

Complément:Exemple: les eigenfaces

*tirée de Forsyth

44

Complément:Exemple

45

Complément Autres types d’apprentissage

Réseaux de neurones Clustering (apprentissage non

supervisé) Construction automatique d’arbres de

décision Méthodes structurelles

vs