la stéréovision: principes, mise en œuvre et applications
Post on 23-Jun-2022
5 Views
Preview:
TRANSCRIPT
Master RV&A 2010 - JM. Vézien 1
La stéréovision:
principes, mise en œuvre et
applications
Jean-Marc Vezien
vezien@limsi.fr
Master Recherche RV&A
Janvier 2010
Master RV&A 2010 - JM. Vézien 2
Plan de la partie
• Introduction: la stéréo, pourquoi/comment?
• Principes de base, hypothèses, contraintes
• La géométrie épipolaire
• La calibration
• Mise en œuvre: les principales méthodes
• Etude détaillée d’une extension à une séquence
d’images.
Master RV&A 2010 - JM. Vézien 3
Introduction
• Principe: reconstruire la structure 3D des
objets avec plusieurs images (parallaxe).
• Exemple: le système humain! Très
performant mais ne fournit pas d’indices
objectifs sur la perception stéréoscopique
(mélange de méthodes).
• Etudes depuis le siècle dernier. Vision par
ordinateur: début 80 (Marr, «Vision»).
Master RV&A 2010 - JM. Vézien 4
Principes de base
Image
gaucheImage
droite
Master RV&A 2010 - JM. Vézien 5
Introduction (suite)
• Trois étapes:
– calibration : détermination de la configuration
géométrique entre les capteurs: Rotation +
translation.
– Trouver les zones semblables entre les deux
images: processus d’appariement couples de
primitives.
– Reconstruction stéréo: à partir des coordonnées
images des primitives, calculer (X,Y,Z).
Master RV&A 2010 - JM. Vézien 6
Introduction (suite)
• Calibration: domaine d’étude en soi (voir plus
loin)
• Mise en correspondance de primitives:
– points: corrélation des intensités I(x,y),
– segments: détection de contours,
– régions: segmentation de l’image en zone
d’intensité similaire.
Master RV&A 2010 - JM. Vézien 7
Principes de base
Dans le cas le plus simple,
(xg-xd) . ZM = F.Tx
(xg, xd) ZM !
Autre cas:
On revient au cas précédent par
le processus de rectification.
Master RV&A 2010 - JM. Vézien 8
Les hypothèses
• La cohérence géométrique:
• On postule l’existence de points = singularités
spatiales, ou
• de segments qui sont des arêtes, donc des
discontinuités sans existence physique en tant que
telles, ou
• de surfaces, qui sont elles bien réelles mais doivent
être approximées par des fonctions (ex: plan).
Master RV&A 2010 - JM. Vézien 9
Les contraintes
• La contrainte de visibilité caméra:
Master RV&A 2010 - JM. Vézien 10
Les contraintes
• La contrainte d’opacité: les objets observés ne
doivent pas posséder de surfaces semi-transparentes: à
chaque (x,y) correspond un seul point (X,Y,Z).
• La cohérence photométrique:
Idéalement, les objets doivent renvoyer la même
intensité lumineuse dans toutes les directions:
hypothèse Lambertienne
M X Y Z I x y I x yG G G D D D( , , ) ( , ) ( , )
Master RV&A 2010 - JM. Vézien 11
Les contraintes
• La contrainte d’unicité:P1
P2
pg
Image gauche Image droite
pd
p’d
Contrainte sur l’orientation
de P P1 2
Master RV&A 2010 - JM. Vézien 12
Les contraintes
• La contrainte de visibilité objet:
P1
P2
p1
p2
Caméra gauche Caméra droite
p’2
p’1
P1 ne peut pas être
reconstruit!
Master RV&A 2010 - JM. Vézien 13
Les contraintes
• La contrainte
d’ordre:
Master RV&A 2010 - JM. Vézien 14
Les contraintes
• Il y en a d’autres plus complexes, qui donnent
des relations analytiques sur les tangentes, les
orientations, etc.
• La principale est la contrainte épipolaire,
qui ramène le problème de l’appariement
d’une recherche 2D à une recherche 1D.
Master RV&A 2010 - JM. Vézien 15
La contrainte épipolaire
Avec la contrainte d’ordre, la contrainte épipolaire est la seule
véritablement utile.
Le correspondant de
mg se trouve sur la
droite Em
M
mgmd
Og Od
Em
Master RV&A 2010 - JM. Vézien 16
La contrainte épipolaire
Expression analytique:
m F m m
x
yd
T
g i
i
i. .
0
1
avec et F =. . .. . .. . .
F est de rang 2 (non inversible !), connue à un
facteur d’échelle près.
Détermination: au moins 8 couples (mg,md) =
8 contraintes sur les Fij.
mT = transposée de m
Master RV&A 2010 - JM. Vézien 17
• But: trouver le déplacement entre les deux
caméras gauche et droite par des moyens optiques
uniquement.
• Moyen: Trouver la position caméra par rapport à
un repère visible par les n caméras (n=2).
Utilisation d’une mire de calibration.
La calibration
Mire
Cam.2Cam.1
(R1,T1) (R2,T2)-1
(R12,T12)
Master RV&A 2010 - JM. Vézien 18
Mire de calibration
Master RV&A 2010 - JM. Vézien 19
Utilisation de la mire
• Détection des points
d’intérêts dans chaque
image (ici centre de
gravité des ellipses)
• Précision: de l’ordre de
0.1 pixel !!
• Autres mires: détection
de lignes, coins, cercles...
Master RV&A 2010 - JM. Vézien 20
Utilisation d’une mire (suite)
• Appariement entre les points 3D de la mire et leur
projection dans l’image grâce à la géométrie de la
mire.
• Points 3D connus avec une grande précision
(0.1mm)
• Calibration: trouver l’équation de projection:
miuivi F Mi F Xi Yi Zi
( ) ( , , ) ,concrètement:
mi = P.Mi...
. . . .
. . . .
. . . .
.
.
.
.
Master RV&A 2010 - JM. Vézien 21
Les paramètres de projection
Paramètres extrinsèques: capturent la position du capteur
s
x
y
R R R Tx
R R R Ty
R R R Tz
X
Y
Z1
0 0 0 1 1
11 12 13
21 22 23
31 32 33
1 0 0 0
0 1 0 0
0 0 1 0
R T
indétermination
d’échelle Projection
perspective:
x=X/Z y=Y/Z
(R,T): Position
de la caméra Point 3D
(repère monde)
Master RV&A 2010 - JM. Vézien 22
Paramètres de projection (suite)
Paramètres intrinsèques: capturent la géométrie du capteur
u
v
u
v
x
y
u c
v c
1
0
0
0 0 1 1
pixels (image) capteur (CCD)( , ):
( , ):
u v
c cu v
taille pixel
centre de l' image
Autres: distorsions optiques...
Master RV&A 2010 - JM. Vézien 23
Résolution du problème
Minimisation sous contrainte de l’erreur de projection:
2
mire
i
ii PMm
Différentes méthodes: Tsai, Toscani...
Une fois obtenue P, on obtient la décomposition
extrinsèque/intrinsèque par décomposition QR.
A = Q.R
triangulaire supérieure
matrice
orthogonale
Master RV&A 2010 - JM. Vézien 24
Calibration: en pratique
• Fabrication d’une mire adaptée aux besoins
• Attention aux conditions d’illumination !
• Impraticable sur de vastes champs d’observation
• Solutions intégrées: sous OpenCV, par ex.
Master RV&A 2010 - JM. Vézien 25
La stéréo: mise en oeuvre1. Corrélation
• Mesure de similarité (ressemblance) directe entre les intensités
I(x,y). En fait, calcul de corrélation inter-image:
• Recherche simplifiée par la contrainte épipolaire. En pratique,
recherche par ligne d’image.
•Bruit, violation des contraintes, ambiguïtés: densité réduite
(max.: 70%).
p u v I u v p u v I u v
C p p I u x v y I u x v yy N
y N
x M
x M
( , , ( , )) '( ' , ' , ' ( ' , ' ))
( , ' ) ( , ) '( ' , ' )
2
Master RV&A 2010 - JM. Vézien 26
La stéréo: mise en oeuvre1. Corrélation
• Grande combinatoire: recherche multi-résolution.
Master RV&A 2010 - JM. Vézien 27
La stéréo: mise en oeuvre2. Stéréo-segments
• Création des segments par:
– détection de contour: détecteur de Canny.
– approximation polygonale: réduction en segments
de droite significatifs.
• Appariement: critères de position (épipolaire)
+ caractéristiques (gradient, longueur, etc.).
• Problème: grosses ambiguïtés, problème
d’interprétation («forêt» de segments sans liens
entre eux).
Master RV&A 2010 - JM. Vézien 28
La stéréo: mise en oeuvre2. Stéréo-segments
Plus robuste: stéréo
trinoculaire (double
contrainte épipolaire)
Application: conduite de robot autonome
Master RV&A 2010 - JM. Vézien 29
La stéréo: mise en oeuvre3. Stéréo-régions
• Détection par segmentation en zones similaires:
– Croissance de régions
– Division de l’image.
• Mise en correspondance robuste: primitives
riches (couleur, texture, forme, etc.).
• Reconstruction avec test d’hypothèse. Ex:
approximation polyédrique:
AX+BY+CZ=D : on reconstruit (A,B,C,D)
Master RV&A 2010 - JM. Vézien 30
La stéréo: mise en oeuvre3. Stéréo-régions
Master RV&A 2010 - JM. Vézien 31
La stéréo: mise en oeuvre3. Stéréo-régions
• Si la segmentation est réussie, reconstruction très
dense:
Master RV&A 2010 - JM. Vézien 32
La stéréo: mise en oeuvreConclusion
• Chaque méthode a ses forces et faiblesses.
• Si pas d’hypothèses/connaissances sur
l’environnement, l’approche par corrélation est
la plus efficace.
• Dans un environnement d’intérieur et
reconstruction peu dense, choix des segments.
• Si pas de temps réel et monde polyédrique,
régions + facettes 3D.
top related