1 introduction à la reconnaissance: références: sonka et al: sections 9.2 jusqu’à 9.2.3 autres...
TRANSCRIPT
1
Introduction à la reconnaissance:
Références:Sonka et al: sections 9.2 jusqu’à 9.2.3
Autres références: chap. 22 de ForsythDuda, Hart et Stork
Dernière révision P. Hébert 2008
2
Deux problèmes distincts Classification: action de former des
classes (catégories) d'objets (en anglais «clustering»).---> apprentissage non supervisé
Classement: action de décider à quelle classe (catégorie) appartient un objet (en anglais «classification»).---> apprentissage supervisé
3
Forme? Définition: concept abstrait
représentant une catégorie (classe) d'objets que l'on veut reconnaître.---> reconnaissance de formes
Représentation: implique plus souvent qu'autrement un espace vectoriel.---> espace de représentation
4
Poisson??
5
Segmentation/reconnaissance
Il faut segmenter pour pouvoir reconnaître;
Mais il faut reconnaître pour pouvoir segmenter!
6
Représentation Mesurer des propriétés:
couleur, texture; géométrie: longueur, hauteur, ratios, etc.; Construire un vecteur.
---> approches statistiques
Primitives élémentaires segments de droite, arcs de cercle; regroupements perceptuels; construire un graphe.
---> approches structurelles
On peut reconnaître les objets par un patron de caractérisitiques.
7
Exemple Quels sont les
objets présents dans cette image?
Y a-t-il une balle? Qu'est-ce qu'une
balle?---> rond?
8
--Périmètre2 / surface Cercle: (2πr)2 / πr
2 = 4π = 12.6 Carré: (4c)2 / c2 = 16 Rectangle:
(2l+2h)2 / lh = 4(l/h + h/l + 2)l = 2h ---> 4 x 4.5 = 18
9
--Autre exemple Les caractères que vous lisez sur cette
page: Exemples de propriétés:
Nombre de pixels noirs Nombre de traits Nombre de trous Axes d’inertie Longueur et largeur de la boîte englobante
10
--Exemple (suite) Reconnaissance de
visages Une image peut
être vue comme un vecteur de pixels!
*tirée de Forsyth
11
Comment traiter le problème?
Il faut choisir une représentation du vecteur de propriétés qui décrira les modèles et qui pourra être extraite d’une ou de plusieurs images.
Il faut définir un mode d’apprentissage des modèles.
Il faut formaliser une stratégie de reconnaissance à partir d’une image.
12
Définitions Classe (Ci): ensemble d’appartenance pour des objets
ayant des propriétés communes. Une classe possède une étiquette d’identification. Pour chacune des classes, on connaît une description ou une suite d’exemples.
Classe de rejet (Cr): classe pour les objets non classables.
Classifieur: Un algorithme ou système qui prend en entrée un vecteur de propriétés d’un objet et qui sort l’étiquette de la classe d’appartenance.
Capteur: Un système physique et logiciel qui permet de saisir un objet physique et d’en extraire un vecteur de propriétés.
Structure d’un classifieur
*tirée de Shapiro
14
Performance d’un classifieur Erreur de classement: un objet appartient à la
classe Ci alors que la sortie est Cj avec i ≠ j. Taux d’erreur empirique: ratio du nombre
d’erreurs dans un ensemble indépendant de test sur le nombre d’essais.
Taux de rejet: ratio du nombre de rejets dans un ensemble indépendant de test sur le nombre d’essais.
Ensemble indépendant de test: ensemble d’objets dont les classes d’appartenance sont connues (incluant des objets de Cr) et qui n’ont pas servis à la construction des modèles de classe.
15
Performance (suite …) Décision binaire: un objet est présent
ou absent Fausse alarme: un objet est signalé
présent alors qu’il ne l’est pas Manque: un objet n’est pas signalé
présent alors qu’il l’est. Coût associé à une mauvaise décision:
L(i->j), un objet de la classe Ci classé comme un objet de la classe Cj; L(i->i)=0 Exemple: diagnostic en médecine!
ROC: Receiver Operating Curve
*tirée de Forsyth
17
Performance (suite …) Le compromis précision vs rappel Définition pour deux classes
(généralisable) Précision: ratio du nombre d’objets bien
classés sur le nombre total d’objets classés dans cette classe.
Rappel: ratio du nombre d’objets bien classés sur le nombre total d’objets qui auraient dû être classifiés dans cette classe.
Exemple précision vs rappel
Rappel:
Precision:
précision vs rappel
La matrice de confusion
*tirée de Shapiro
Cumulative Match Scores
210 1 2 3 4 5 6 7 8 9 10
0
10
20
30
40
50
60
70
80
90
100Cumulative Match Scores
Rang
Tau
x d
e re
conn
aiss
ance
(%
)
--Représentation vectorielle
*tirée de Shapiro
23
-- Métriques de distance
Distance euclidienne:ne considère pas la distribution
Variation avec échelle: Distance de Mahalanobis:
2
1 )( BA XiXD
22
2 /)( BBA XiXD
))(())(( 13 BAB
tBA XiXXiXD
matrice decovariance
24
Lien entre les distances et les probabilités
Hypothèse d’une distribution gaussienne multidimensionnelle:
En 2D, l’intersection de la distribution avec un plan horizontal (de probabilité constante) est une ellipse.
)()(
2
1-exp
)2(
1)( 1
2/12/
XXXp t
d
Distance de Mahalanobis en 2D: illustration
*tirée de Duda
La distance estla même sur lescontourselliptiques
26
Classifieur bayesien
On dispose d’un modèle paramétrique On veut fixer un seuil:
manquesFaussesalarmes
tRéférence: classe I->
I
II
P(x|Ci)P(Ci)
27
Définitions
P(x): probabilité P(x|Ci): probabilité conditionnelle
P(Ci): probabilité a priori
P(Ci|x): probabilité a posteriori Règle de Bayes:
P(Ci x)P(x Ci)P(Ci)
P(x)
P(x Ci)P(Ci)
P(x C j )P(C j )j
28
Règle de Bayes
P(Ci x)P(x Ci)P(Ci)
P(x)
P(x Ci)P(Ci)
P(x C j )P(C j )j
x
29
Minimisation du risque
Il y a un coût associé à un mauvais classement : L(i ->j)
On veut minimiser le risque associé à une stratégie, i.e. l’espérance du coût
30
Suite … Le seuil de décision: seuil pour lequel les
deux classes représentent le même coût moyen )12()2()21()1( LxPLxP
)12()(
)2()2()21(
)(
)1()1( L
xP
PxPL
xP
PxPBayes:
x
Classifieur bayesien avec rejet
*tirée de Forsyth
32
Construire un classifieur Deux approches:
I. Développer un modèle explicite (paramétrique) des probabilités
II. Trouver directement les frontières de décision à partir de l’ensemble d’entraînement sans passer par les probabilités
33
Approche 1 À l’entraînement, on estime les
paramètres des distributions “supposées” et les a priori à partir des ensembles d’entraînement
Remarques: La meilleure estimation d’un paramètre ne
donne pas nécessairement le meilleur classifieur car le modèle supposé n’est pas forcément correct
Un bon classifieur peut être obtenu même si le modèle ne décrit pas bien les distributions
Exemple
*tirée de Forsyth
Cas de N classes
*tirée de Forsyth
volumedistribution
probabilitéa priori
Mahalanobis
36
Approche 2 Classifieur basé sur les plus proches voisins On ne connaît pas
la distribution pourchaque classe
On exploite directementl’ensemble d’entraînement
Idée: classer un objet à partir d’un vote par les K objets d’entraînement les plus près de lui
Plus coûteux en calcul
xxx x
xx
xxxx xxx xx
-- --- ---- --
--
-
K plus proches voisins
*tirée de Forsyth
38
Comment améliorer la performance des classifieurs?
Tester avec des données indépendantes. Attention au sur-apprentissage, i.e. des
décisions trop près du jeu d’entraînement (cas limite: 100% si les propriétés sont les mêmes et complètement aléatoires autrement).
Il faut une capacité de généralisation.
Complément:Deux méthodes d’amélioration La cross-validation: on peut diviser l’ensemble
d’entraînement en 2. On entraîne alors avec le premier sous-ensemble et on teste avec le second.
*tirée de Forsyth
40
Complément: Suite … Le “bootstrap” Idée: inclure le sous-ensemble, parmi
l’ensemble d’entraînement, qui soit le plus significatif au lieu de tout prendre
Comment? On divise en deux sous-ensembles On classifie avec un des sous-ensembles On ré-entraîne en insérant les manques et les
fausses alarmes dans le sous-ensemble d’entraînement.
41
Complément: Apprentissage-choix des caractéristiques
Analyse en composantes principales On calcule la matrice de covariance des
vecteurs caractéristiques
42
Complément: ACP (suite)
On extrait les vecteurs et valeurs propres de la matrice de covariance.
Les vecteurs propres représentent une base.
Les vecteurs propres associés aux plus grandes valeurs propres sont plus importants (compression).
Complément:Exemple: les eigenfaces
*tirée de Forsyth
44
Complément:Exemple
45
Complément Autres types d’apprentissage
Réseaux de neurones Clustering (apprentissage non
supervisé) Construction automatique d’arbres de
décision Méthodes structurelles
vs