Recherche d’un même objet / scène
• Approches basées sur des descripteurs locaux
• Approches basées sur des descripteurs globaux
Approche locale
• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points
( )Descripteur local
Approche locale
• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base
( )Descripteur local 1I 1I nI2I2I
Approche locale
• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base• Sélection des images les plus similaires
– algorithme de vote– vérification avec des relations de voisinage et globales
Contraintes de voisinage
sans contraintes avec contraintes
Recherche d’images
• Recherche d’un même objet ou d’une même scène
…– rotation image
– facteur d’échelle de 4
– visibilité partielle
Results for recognition
…> 5000images
• image rotation• scale factor of 4
Detected interest points
213 / 190 interest points
Initial matches
58 points are matched
Matches after verification
32 points matches - correct
Image retrieval - results
…> 5000images
• image rotation• scale factor of 4.5• illumination change
Matches
• Iterative estimation of localization, scale, neighborhood
Initial points
Affine invariant Harris points
• Iterative estimation of localization, scale, neighborhood
Iteration #1
Affine invariant Harris points
• Iterative estimation of localization, scale, neighborhood
Iteration #2
Affine invariant Harris points
• Iterative estimation of localization, scale, neighborhood
Iteration #3, #4, ...
Affine invariant Harris points
Affine invariant Harris points
• Initialization with multi-scale interest points
• Iterative modification of location, scale and neighborhood
Image retrieval
…> 5000images
change in viewing angle
Matches
22 correct matches
Recognizing specific objects / scenes
Lola shot 1 Lola shot 2
matched points
Recherche d’un même objet / scène
• Approches basées sur des descripteurs locaux– descripteurs photométriques – descripteurs géométriques (invariants géométriques)
• Approches basées sur des descripteurs globaux– histogramme de couleur– eigenimages
Histogramme de couleur
Eigenimages
…
Reconnaissance d’objets 3D
– point de vue complètement différent
– pas d’invariant 3DDifficultés :
Reconnaissance 3D avec un ensemble d’images
– chaque objet est représenté par un ensemble de vues (36) – l’approche est basé sur les images propres (eigenimages)– chaque objet forme une courbe / surface– sélection du point le plus proche sur la courbe / surface (on obtient la pose)
Columbia database20 objets - 72 vues
Mesure de proximité entre points de vue
Exemple pour la reconnaissance 3D
Exemple pour la reconnaisance 3D
Appariements
Vérification des appariements
calcul du tenseur trifocal :• à partir des appariements entre trois images
• vérification supplémentaire
• calcul robuste permet de rejeter les outliers
image recherchée
images de la base
Ajout de données symboliques
Calcul du tenseur trifocale T
Projection de données stockées avec
les images de la base avec T
Localisation de endroits spécifiques
Ajout de données symboliques
Ajout de données symboliques
Recherche d’images
• Recherche d’images avec un contenu similaire
• Difficultés– définir le contenu sémantique– définir des critères significatifs de similarité visuelle
Recherche d’images
• Recherche d’images similaires– similarité globale– similarité partielle
• Interaction avec l’utilisateur
• Recherche d’objets semblables
Blobworld - exemple de recherche
Similarité partielle de distributions
sélection de la partie utilisée pour la requête
images similaires
Résultats pour la détection de visages
Résultats pour la détection de voitures
Recognizing object classes / categories
Recognizing object classes / categories
positive and negative exemples
retrieved images (database of 600
images)
visual model (descriptors)
Recognizing object classes / categories