recherche dun même objet / scène approches basées sur des descripteurs locaux approches basées...
TRANSCRIPT
![Page 1: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/1.jpg)
Recherche d’un même objet / scène
• Approches basées sur des descripteurs locaux
• Approches basées sur des descripteurs globaux
![Page 2: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/2.jpg)
Approche locale
• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points
( )Descripteur local
![Page 3: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/3.jpg)
Approche locale
• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base
( )Descripteur local 1I 1I nI2I2I
![Page 4: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/4.jpg)
Approche locale
• Extraction de points d’intérêt• Calcul de descripteurs locaux en ces points• Sélection des descripteurs correspondants dans la base• Sélection des images les plus similaires
– algorithme de vote– vérification avec des relations de voisinage et globales
![Page 5: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/5.jpg)
Contraintes de voisinage
sans contraintes avec contraintes
![Page 6: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/6.jpg)
Recherche d’images
• Recherche d’un même objet ou d’une même scène
…– rotation image
– facteur d’échelle de 4
– visibilité partielle
![Page 7: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/7.jpg)
Results for recognition
…> 5000images
• image rotation• scale factor of 4
![Page 8: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/8.jpg)
Detected interest points
213 / 190 interest points
![Page 9: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/9.jpg)
Initial matches
58 points are matched
![Page 10: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/10.jpg)
Matches after verification
32 points matches - correct
![Page 11: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/11.jpg)
Image retrieval - results
…> 5000images
• image rotation• scale factor of 4.5• illumination change
![Page 12: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/12.jpg)
Matches
![Page 13: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/13.jpg)
• Iterative estimation of localization, scale, neighborhood
Initial points
Affine invariant Harris points
![Page 14: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/14.jpg)
• Iterative estimation of localization, scale, neighborhood
Iteration #1
Affine invariant Harris points
![Page 15: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/15.jpg)
• Iterative estimation of localization, scale, neighborhood
Iteration #2
Affine invariant Harris points
![Page 16: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/16.jpg)
• Iterative estimation of localization, scale, neighborhood
Iteration #3, #4, ...
Affine invariant Harris points
![Page 17: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/17.jpg)
Affine invariant Harris points
• Initialization with multi-scale interest points
• Iterative modification of location, scale and neighborhood
![Page 18: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/18.jpg)
Image retrieval
…> 5000images
change in viewing angle
![Page 19: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/19.jpg)
Matches
22 correct matches
![Page 20: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/20.jpg)
Recognizing specific objects / scenes
Lola shot 1 Lola shot 2
matched points
![Page 21: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/21.jpg)
Recherche d’un même objet / scène
• Approches basées sur des descripteurs locaux– descripteurs photométriques – descripteurs géométriques (invariants géométriques)
• Approches basées sur des descripteurs globaux– histogramme de couleur– eigenimages
![Page 22: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/22.jpg)
Histogramme de couleur
![Page 23: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/23.jpg)
Eigenimages
…
![Page 24: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/24.jpg)
Reconnaissance d’objets 3D
– point de vue complètement différent
– pas d’invariant 3DDifficultés :
![Page 25: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/25.jpg)
Reconnaissance 3D avec un ensemble d’images
– chaque objet est représenté par un ensemble de vues (36) – l’approche est basé sur les images propres (eigenimages)– chaque objet forme une courbe / surface– sélection du point le plus proche sur la courbe / surface (on obtient la pose)
Columbia database20 objets - 72 vues
![Page 26: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/26.jpg)
Mesure de proximité entre points de vue
![Page 27: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/27.jpg)
Exemple pour la reconnaissance 3D
![Page 28: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/28.jpg)
Exemple pour la reconnaisance 3D
![Page 29: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/29.jpg)
Appariements
![Page 30: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/30.jpg)
Vérification des appariements
calcul du tenseur trifocal :• à partir des appariements entre trois images
• vérification supplémentaire
• calcul robuste permet de rejeter les outliers
image recherchée
images de la base
![Page 31: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/31.jpg)
Ajout de données symboliques
Calcul du tenseur trifocale T
Projection de données stockées avec
les images de la base avec T
Localisation de endroits spécifiques
![Page 32: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/32.jpg)
Ajout de données symboliques
![Page 33: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/33.jpg)
Ajout de données symboliques
![Page 34: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/34.jpg)
Recherche d’images
• Recherche d’images avec un contenu similaire
• Difficultés– définir le contenu sémantique– définir des critères significatifs de similarité visuelle
![Page 35: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/35.jpg)
Recherche d’images
• Recherche d’images similaires– similarité globale– similarité partielle
• Interaction avec l’utilisateur
• Recherche d’objets semblables
![Page 36: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/36.jpg)
Blobworld - exemple de recherche
![Page 37: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/37.jpg)
Similarité partielle de distributions
sélection de la partie utilisée pour la requête
images similaires
![Page 38: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/38.jpg)
Résultats pour la détection de visages
![Page 39: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/39.jpg)
Résultats pour la détection de voitures
![Page 40: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/40.jpg)
Recognizing object classes / categories
![Page 41: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/41.jpg)
Recognizing object classes / categories
positive and negative exemples
retrieved images (database of 600
images)
visual model (descriptors)
![Page 42: Recherche dun même objet / scène Approches basées sur des descripteurs locaux Approches basées sur des descripteurs globaux](https://reader035.vdocuments.fr/reader035/viewer/2022062404/551d9da2497959293b8d20c0/html5/thumbnails/42.jpg)
Recognizing object classes / categories