Download - Reconstruction 3 D
Tébourbi Riadh, SUP'COM 2005 1
IMAGERIE 3D
08/10/2007
Ecole Supérieure des Communications de Tunis
CoursTébourbi Riadh
Quelques références
Tébourbi Riadh, SUP'COM 2005 2
- R. Horaud & O. Monga. Vision par Ordinateur : Outils Fondamentaux, Editions Hermès, 1995.
http://www.inrialpes.fr/movi/people/Horaud/livre-hermes.html
- Olivier Faugeras. Three-Dimensional Computer Vision, MIT Press, 1993.
- Frederic Devernay. Vision par Ordinateur. INRIA (France).http://devernay.free.fr/cours/vision
- Joshua Gluckman. Computer Vision. Polytechnic University (USA).http://cis.poly.edu/cs664/0
Contexte
Tébourbi Riadh, SUP'COM 2005 3
Vision par ordinateur : branche de l’IA dont le but est de permettre à une machine de comprendre ce qu'elle «voit » lorsqu'on la connecte à une ou plusieurs caméras.
ne cherche pas à comprendre ou à reproduire la vision humaine, mais à construire un modèle algorithmique qui, vu de l'extérieur, possède des propriétés semblables.
Tébourbi Riadh, SUP'COM 2005 4
Vision binoculaire
Perception 3D
Objet 3D
1er point de vue
2ème point de vue
Problème difficile de la vision artificielle
Vision 3D
Tébourbi Riadh, SUP'COM 2005 5
Vision 3D :
Méthodes passives : Méthodes actives :
-Acquisition directe de la profondeur
- Analyse de déphasage ou de distorsion du signal
émis
- Stéréoscopie (deux images ou plus)
- Monoscopie (une seule image) : étude des formes
Introduction
Tébourbi Riadh, SUP'COM 2005 6
Méthodes actives : ultra-sons, lumière cohérente, faisceau laser...
L ’information 3-D est directement acquise par analyse de déphasage ou de distorsion du signal.
Techniques coûteuses.Objets étudiés proches et immobiles.
Exemples d’imagerie 3D: Imagerie médicale (Tomographie CT, scanner X, résonance magnétique nucléaire), Holographie,…
Méthodes actives
Tébourbi Riadh, SUP'COM 2005 7
Une seule image : étude des formes à partir de l’ombrage, analyse de texture…
Deux images ou plus : Stéréovision
L ’information 3-D est obtenue par recherche de points homologues entre deux images ou plus : la différence de projection du même point physique appelée disparité est directement liée à l ’élévation.
Invention du premier stéréoscope (1838).
La stéréovision reproduit le processus de la vision binoculaire chez l’homme.
Méthodes passives
Tébourbi Riadh, SUP'COM 2005 8
M
Image gauche
Reconstruction 3D
Mise en correspondance
Image droite
Modèle caméra gauche Modèle caméra droite
m1 m2
Stéréovision: Principe
Tébourbi Riadh, SUP'COM 2005 9
Etapes de la reconstitution 3D par stéréovision
•Acquisition stéréoscopique•Etalonner les deux caméras: Modélisation des capteurs connaissance du modèle de projection relation coordonnées 3D/2D
•Trouver les points correspondants m1/m2 dans les deux images: Mise en correspondance
•Calculer les coordonnées 3D: Reconstruction 3D
Tébourbi Riadh, SUP'COM 2005 10
Acquisition : Photos
•2 appareils photos (numériques).
HB
A
Tébourbi Riadh, SUP'COM 2005 11
- Acquisition instantanée
- Centre optique fixe pour une image
Perspective conique
Axe de vol
Acquisition : Stéréoscopie aérienne
Tébourbi Riadh, SUP'COM 2005 12
orbite
- Acquisition non instantanée
- Centre optique mobile
Perspective subcylindro
conique
Acquisition : Stéréoscopie satellitaire
Tébourbi Riadh, SUP'COM 2005 13
orbite
Jème jour (J+cycle)ème jour
Couverture stéréoscopique
Stéréoscopie verticale Stéréoscopie satellitaire
Tébourbi Riadh, SUP'COM 2005 14
orbite
Instant t
Instant t+90s
Couverture stéréoscopique
Stéréoscopie avant-arrière : cas de HRS Stéréoscopie satellitaire :
Tébourbi Riadh, SUP'COM 2005 15
Stéréoscopie satellitaire
Jour j
Jour j’Orbite descendante
Orbite ascendante
Couverture stéréoscopique
Stéréoscopie latérale : cas de HRG
Tébourbi Riadh, SUP'COM 2005 16
Exemples d’images stéréoscopiques
Photos
Tébourbi Riadh, SUP'COM 2005 17
Aériennes
Tébourbi Riadh, SUP'COM 2005 18
Satellitaires (SPOT5)
Tébourbi Riadh, SUP'COM 2005 19
Satellitaires (IKONOS)
Modélisation du capteur
Tébourbi Riadh, SUP'COM 2005 20
Tébourbi Riadh, SUP'COM 2005 21
Modélisation du capteur
BUT: Déterminer le modèle géométrique associé au processus de saisie d'une image stéréoscopique à l'aide d'une caméra (capteur) déterminer les paramètres liés à ce modèle.
Déterminer relation coordonnées Image/scène
Modéliser
Tébourbi Riadh, SUP'COM 2005 22
- Acquisition instantanée
- Centre optique fixe pour une image
Perspective conique
Axe de vol
Géométrie d’une caméra « sténopé »
Tébourbi Riadh, SUP'COM 2005 23
Barrette CCD
Orbite du satellite
Sens du défilement
balayage push broom
Perspective coniquepar ligne
Géométrie du capteur SPOT
Tébourbi Riadh, SUP'COM 2005 24
Modèle “ à trou d’épingle”
Ou modèle sténopé ou « pinhole model »
Ce modèle considère que la transformation opérée par la caméra est une transformation perspective parfaite, de centre C (le centre optique de la caméra).
CP
p
Modélisation du capteur
Tébourbi Riadh, SUP'COM 2005 25
Modèle “ à trou d’épingle”
b)
a)
Rc
Rw
m2(u,v)
m1(u,v)
P(Xw,Yw,Zw)
C2C1
ZY
X
u
v
b) Projection
a) Transformation R + T
S: facteur d’échelleM: matrice 3 4
1ZYX
M w
w
w
ssvsu
0vmmvZmZmvYmYmvXmXm0ummuZmZmuYmYmuXmXm
3424W33W23W32W22W31W21
3414W33W13W32W12W31W11
I- Géométrie d’une caméra
Tébourbi Riadh, SUP'COM 2005 26
b) Une projection qui transforme un point de l’espace 3D dans le repère de la caméra (X,Y, Z) en un point 2D de coordonnées (u,v) de l’image
vZYKfv ; uZ
XKfu 0v
0u
Ku et Kv facteurs d’échelle de l’image respectivement dans la direction de u et de v(pixels/mm), f : focale exprimée en mm et u0 et v0 :coordonnées en pixels du centre de l'image
1ZYX
000
1vu
0
0
00
ssvsu
0
0
v
u
KfKfAvec vu vu et
u0, v0, u et v représentent les paramètres intrinsèques de la caméra
Tébourbi Riadh, SUP'COM 2005 27
Remarque
; 00 vyvuxu vu
)ZYy,
ZXx( Si on pose
alors
pIm
1000
0
0
0
vu
I v
u
1vu
mavec et
Soit:
Tébourbi Riadh, SUP'COM 2005 28
a) Une transformation qui lie les coordonnées d’un point Pw(Xw,Yw,Zw) de l’espace 3D à ceux dans le repère de la caméra (X,Y,Z).
= transformation rigide qui se compose d’une rotation et d’une translation
TZYX
RZYX
W
W
W
z
y
x
333231
232221
131211
TTT
RRRRRRRRR
R T et
Les termes de R et de T sont appelés les paramètres extrinsèques de la caméra
Tébourbi Riadh, SUP'COM 2005 29
1ZYX
A
1ZYX
W
W
W
TZYX
RZYX
W
W
W
Peut s’écrire:
10TR
1000TRRRTRRRTRRR
Az333231
y232221
x131211
Avec:
Tébourbi Riadh, SUP'COM 2005 30
1ZYX
000
1vu
0
0
00
ssvsu
0
0
v
u
Et
1ZYX
A
1ZYX
W
W
W
Donnent:
1ZYX
Mssvsu
W
W
w
M (34) appelée la matrice de projection de la caméra
Tébourbi Riadh, SUP'COM 2005 31
34333231
24232221
14131211
mmmmmmmmmmmm
M
10TR
01000v00u0
M 0v
0u
1ZYX
Mssvsu
W
W
wRésumé
Tébourbi Riadh, SUP'COM 2005 32
Relation 2D/3D
34W33W32W31
24W23W22W21i
14W13W12W11i
mZmYmXms
mZmYmXmsv
mZmYmXmsu
iii
iii
iii
1ZYX
Mssvsu
W
W
w
Elimination de s
0vmmvZmZmvYmYmvXmXm
0ummuZmZmuYmYmuXmXm
3424W33W23W32W22W31W21
3414W33W13W32W12W31W11
. Relations linéaires entre (u,v) et (Xw,Yw,Zw).
. Si 2 caméras ou plus alors 4 équations ou plus pour 3 inconnues.
Trouver les coefficients de M ?
Tébourbi Riadh, SUP'COM 2005 33
Etalonnage de la caméra
L’étalonnage de la caméra = calcul des coefficients mij de M
•A partir des coordonnées 3D: Pwi=(Xwi,Ywi,Zwi) de N points et de leurs projections dans l’image : (ui,vi)
• N points (N 6 ) 2N (2N 12) équations pour 12 inconnues. Nous avons un système a 2N équations linéaires.
Tébourbi Riadh, SUP'COM 2005 34
Etalonnage (suite)
Utilisation une mire•Contient un ensemble de points dont les coordonnées (3D) sont connues •Les Coordonnées 2D sont repérés dans l’image.
GPS
Exemple:
Tébourbi Riadh, SUP'COM 2005 35
Etalonnage (suite)
Pour chaque point i :
1i N
Résoudre un système linéaire homogène à 2N équations:
Tébourbi Riadh, SUP'COM 2005 36
Etalonnage (suite)
Le système peut être écrit:
)4(3434
3332312423222114131211
10000
00001
12i ligne2
mivmiu
mmmmmmmmmmm
iWZiviWYiv
iWXiviWZ
iWYiWX
iWZiuiWYiu
iWXiuiWZ
iWYiWXiligne
Il faut éviter la solution évidente mij=0 Poser des contraintes.
Tébourbi Riadh, SUP'COM 2005 37
Etalonnage (suite)
Pour pouvoir poser des contraintes sur des mij regardons la matrice M en fonction des paramètres intrinsèques et extrinsèques:
z
zyvvvv
zxuuuu
TRRR
TvTRvRRvRRvRTuTRuRRuRRuR
M
333231
0330233202231021
0330133201231011
Contrainte m34 0 (m34 = Tz)
2 contraintes :
Tébourbi Riadh, SUP'COM 2005 38
Etalonnage (suite)
R31, R32 et R33 sont les éléments d’une matrice de rotation R :
))cos(cos())cos(sin(-)sin(
))cos(sin())sin()sin(cos( )cos()cos()sin()sin()sin( ))sin(cos(-))sin(sin())cos()sin(cos(- )sin()sin()cos()sin()sin( )cos()cos(
R
Nous pouvons écrire: 1233
232
231 RRR
Donc contrainte :
333332323131 met , RRmRm Or
1233
232
231 mmm
Tébourbi Riadh, SUP'COM 2005 39
Etalonnage (suite)Utilisation de la contrainte m34 0 : on divise le système d’équations par m34 on obtient:
CQK
soit
iviu
qqqqqqqqqqq
iWZiviWYiv
iWXiviWZ
iWYiWX
iWZiuiWYiu
iWXiuiWZ
iWYiWXiligne
)6(
3332312423222114131211
10000
00001
12i ligne2
Nous cherchons les qij = mij/m34
Résolution de ce système par la méthode des moindres carrés (pseudo-inverse):
)7( )( 1 CKKKQ tt
Tébourbi Riadh, SUP'COM 2005 40
Etalonnage (suite)
Une fois les qij trouvés nous cherchons les mij sachant que:
1233
232
231 mmm Soit: 2
34233
232
231 /1 mqqq
233
232
231
341
qqqm
D’où
Et 4)j3,(i m34 ijij qm
Tébourbi Riadh, SUP'COM 2005 41
Calcul des paramètres intrinsèques et extrinsèques de la caméra
M =(mij) : fonctions des paramètres intrinsèques et extrinsèques.
En tenant compte de:
- La matrice R est orthogonale
- L’origine du repère de la scène Ow est toujours devant la caméra (Tz>0)
On obtient:
33
3022
3011
34232
24
34231
14
20222
20112
3220
3120
34
33
1
1
1
1
1
1
1
1
mk
r
kmvm
r
kmum
r
mkmm
mk
T
mkmm
mk
T
vmmk
ummk
mmk
v
mmk
u
mk
T
mmk
v
u
t
vy
t
ux
tv
tu
t
t
z
t
Tébourbi Riadh, SUP'COM 2005 42
Précision de l’étalonnage
Pour vérifier la précision du calibrage nous pouvons calculer deux erreurs :
Une erreur commise sur l’orthogonalité de la matrice R : La matrice R est une matrice de rotation et doit vérifier:
1233
232
231 RRR
Une erreur calculée en reconstituant les coordonnées (ui,vi) des points de référence (coordonnées de ces points utilisées pour le calcul des coefficients de M). Après calibration nous pouvons recalculer les coordonnées (uci,vci) de ces points de référence et calculer l’erreur :
22
1
)()(
1
iiiii
Ni
ii
vcvucuaavec
aN
e
qui est la moyenne des erreurs résiduelles et:
Ni
ii ea
N 1
2)(1
qui est la variance de ces erreurs.
Tébourbi Riadh, SUP'COM 2005 43
Géométrie d’un système stéréoscopique
1) Position relative des deux caméras
2) Géométrie épipolaire
3) La matrice essentielle
4) La matrice fondamentale
Tébourbi Riadh, SUP'COM 2005 44
Position relative des deux caméras
wii
c PAP
1ZYX
A
1ZYX
W
W
W
Pour chaque caméra i
Pw=(Xw,Yw,Zw)t tiii
ic ZYXP ),,(
Rappel:
10
1000333231
232221
131211
iii
ziii
iy
iii
ix
iii
i
TRTRRRTRRRTRRR
A
Tébourbi Riadh, SUP'COM 2005 45
Pour les deux caméras, nous pouvons alors écrire
wc
wc
PAP
PAP
22
11
En éliminant Pw entre les deux équations, nous obtenons:
1cs
2c PAP 1
12 AAAsavec
As est une matrice décrivant la transformation rigide « repère caméra gauche/repère caméra droite » et peut être représentée par une matrice de rotation Rs et un vecteur translation Ts
10
TsRs
1000TsRsRsRsTsRsRsRsTsRsRsRs
Asz333231
y232221
x131211
z
y
x
TsZRsYRsXRsZ
TsZRsYRsXRsYTsZRsYRsXRsX
1331321312
1231221212
1131121112
Tébourbi Riadh, SUP'COM 2005 46
En introduisant dans cette dernière équation les coordonnées de la projection de Pw dans l'image rétinienne gauche
)ZY
y,ZX
x(1
11
1
11
et droite
)ZY
y,ZX
x(2
22
2
22
, nous pouvons écrire :
z13311321131
y12311221121
2
22
z13311321131
x11311121111
2
22
TsZRsZyRsZxRsTsZRsZyRsZxRs
ZY
y
etTsZRsZyRsZxRsTsZRsZyRsZxRs
ZX
x
Tébourbi Riadh, SUP'COM 2005 47
En éliminant Z1 0cbyax 22
)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(c)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(b
)RsTsRsTs(y)RsTsRsTs(x)RsTsRsTs(a
13y23x112y22x111y21x
33x13z132x12z131x11z
23z33y122z32y121z31y
Avec:
équation qui décrit l'ensemble des points (x2,y2) de l'image de droite pouvant correspondre à un point (x1,y1) de l'image gauche
= une droite appelée droite épipolaire
Le correspondant d'un point de l'image gauche se trouve forcément sur une ligne épipolaire dans l'image droite
Tébourbi Riadh, SUP'COM 2005 48
Géométrie épipolaire
m1 m2
e1
e2
M
C2
C1
Image 1 Image 2
e1 et e2 sont appelés les épipoles
Le faisceau de lignes qui passent par e1 dans image1 et par e2 dans image2 sont appelées les lignes épipolaires
Pour chaque point m1 de image1, son correspondant m2 dans image2 se trouve sur une ligne épipolaire Im1
Contrainte épipolaire
Tébourbi Riadh, SUP'COM 2005 49
Un point dans l’image gauche se situe sur la droite épipolaire correspondante dans l’image droite
Exemple
Tébourbi Riadh, SUP'COM 2005 50
Tébourbi Riadh, SUP'COM 2005 51
La matrice essentielle
Coefficients de la droite épipolaire:
0cbyax 22 Droite épipolaire
1yx
RsRsRsRsRsRsRsRsRs
0TsTsTs0Ts
TsTs0
cba
1
1
333231
232221
131211
xy
xz
yz
qui peut s'écrire, en introduisant la matrice E, sous la forme:
1yx
Ecba
1
1
Tébourbi Riadh, SUP'COM 2005 52
La matrice essentielle
0cba
)1yx( 22
Equation de la droite épipolaire peut s’écrire:
1yx
Ecba
1
1
et Donne: 0 12 pEp t pi=(xi,yi,1)t avec
E est appelée la matrice essentielle
E: décrit la transformation épipolaire gauche-droite et donne l'équation de la droite épipolaire droite
Transformation épipolaire droite-gauche Et 0pEp 2tt
1
Tébourbi Riadh, SUP'COM 2005 53
La matrice fondamentale
Rappel: pour chaque caméra i:
iii pIm
100v0u0
I 0v
0u
i
1vu
m i
i
iavec et
0 12 pEp tEn remplacant dans
0 )( 112211 mIEIm
ttNous obtenons
1112 )( IEIF
t= matrice fondamentale (3x3)
0 12 mFm t
Exprime la relation qui existe entre les coordonnées images (en pixels) gauche (u1,v1) et
droite (u2,v2), décrivant, ainsi, la géométrie épipolaire
Tébourbi Riadh, SUP'COM 2005 54
Mise en correspondance
(Xw,Yw,Zw) (scène) projections (U1,V1) (image gauche) et (U2,V2) (image droite)
0vmmvZmZmvYmYmvXmXm0ummuZmZmuYmYmuXmXm
i3424iW33W23iW32W22iW31W21
i3414iW33W13iW32W12iW31W11
i=1,2
Pour chaque pixel dans image gauche: recherche de son correspondant dans image droite: un problème de mise en correspondance ou appariement
Tébourbi Riadh, SUP'COM 2005 55
Problème simplifié: a) contrainte épipolaire
m1 m2
e1
e2
M
C2
C1
Image 1 Image 2
Analytiquement:
0111
1
2
2
vu
Fvu
F: matrice fondamentale (3x3)
Mise en correspondance (suite)
Tébourbi Riadh, SUP'COM 2005 56
Contrainte épipolaire
Image de référence Image de recherche
Ligne épipolaire
m
C1
C2
Espace de recherche monodimensionnel (≈ ligne)
Tébourbi Riadh, SUP'COM 2005 57
Mise en correspondance (suite)
Problème encore simplifié: b) Rectification des images
m 1
m2
m’1m’2
u’1 u’2
disparité: d = u’2 – u’1
Tébourbi Riadh, SUP'COM 2005 58
dd’
Exemple
Tébourbi Riadh, SUP'COM 2005 59
Géométrie des images rectifiées
Paramètres:
H
B
m1m2
u1 u2
disparité: d = u’2 – u’1
Tébourbi Riadh, SUP'COM 2005 60
Géométrie des images rectifiées (2)
La géométrie des deux caméras peut être décrite seulement par la distance qui sépare les deux centres optiques B et la hauteur des deux caméras H
Matrices de rotation (égales) :
100010001
R0
Vecteurs de translation:
H0B
T01
H00
T02
100001000010B001
As0Transformation rigide gauche-droite (simple translation)
Tébourbi Riadh, SUP'COM 2005 61
Géométrie des images rectifiées (3)
Matrice essentielle:
0B0B00000
E0
Matrice fondamentale:
010100
000F0
100v0u0
I 0v
0u
i
Si pour les deux caméras αu = αv w
u21 ZH
Buud
Disprité = f(Zw,B,H)
Tébourbi Riadh, SUP'COM 2005 62
Mise en correspondance
Objectif:Trouver, pour un élément géométrique dans une image (résultant d'une projection d'un objet 3D de la scène sur l'image), sont élément homologue ( ou correspondant) dans l'autre image
Mise en correspondance de primitives•points d’intérêt •segments / contours•régions
Mise en correspondance densechaque pixel est apparié
Tébourbi Riadh, SUP'COM 2005 63
Mise en correspondance par corrélation
p
l l
fenêtre de corrélation
fenêtre de recherche
Image gauche Image droite
)var()var(),cov(
21
21
FFFFncorrélatio
dmin dmax
rseuilrvuCMaxArgd ))),,(((
exemple
Tébourbi Riadh, SUP'COM 2005 64
Tébourbi Riadh, SUP'COM 2005 65
Approche hiérarchique]
4,
4[ maxmin dd
]2
,2
[ maxmin dd
],[ maxmin dd
Sous-échantillonnage de facteur 2
Sous-échantillonnage de facteur 2Reconstruction
grossière
Reconstruction fine
Tébourbi Riadh, SUP'COM 2005 66
Approche hiérarchique
Tébourbi Riadh, SUP'COM 2005 67
Approche hiérarchiqueCo
nstr
ucti
on d
‘une
pyr
amid
e
Prop
agat
ion
de la
dis
pari
é
•Rapidité
•Intervalle de disparité large
Approche par régions
Tébourbi Riadh, SUP'COM 2005 68
Extraction de régions
Extraction de régions
Mise en correspondance
Carte de disparité
Besoin de moyens d’extraction de régionsSegmentation par
•Détecteurs de contours•Morphologie mathématique•Contours actifs•Et
Classification
A
B
C
Détection de contours
Tébourbi Riadh, SUP'COM 2005 69
Régions Fermeture de contours
Élimination des contours orphelins
Buit pré-filtrage des images
A
Classification
Tébourbi Riadh, SUP'COM 2005 70
Non connaissance a priori du contenu de la scèneContenu diversifié
tenir compte des zones texturées
Méthodes Non superviséesFCM, Agglomération Compétitive, etc.
Classification spectrale ou spatiale (texture)Texture: ondelettes complexes, Gabor, etc.
A
Mise en correspondance des régions
Tébourbi Riadh, SUP'COM 2005 71
• À base de contraintes géométriques– Contrainte épipolaire– Contrainte de domaine de disparité
• À base du contexte de l’objet– Contrainte de rapport de taille– Contrainte de similarité
Restriction du domaine de recherche
B
Critère de similarité
Tébourbi Riadh, SUP'COM 2005 72
),(),(),( 212121 RRSRRSRRS TA
Attributs spatiaux
Attributs de texture
Ak
k kk
kkA RaRa
RaRaRRS
1 21
2121 ))(),(max(
))(),(min(1),( ak(Ri) attribut géométrique de la région Ri . A = nombre
d’attributs utilisés . Moment spatial, taille, nombre de pixels, etc.
B
Mise en correspondance de régions
Tébourbi Riadh, SUP'COM 2005 73
C
Mise en correspondance de régions
Tébourbi Riadh, SUP'COM 2005 74
C
Carte des disparités
Tébourbi Riadh, SUP'COM 2005 75
Idéale
Difficultés de l’appariement
Tébourbi Riadh, SUP'COM 2005 76
• Correspondance difficile (voire impossible) dans les zones faiblement texturées.
• Ceci quelque soit l’approche utilisée.
Difficultés de l’appariement
Tébourbi Riadh, SUP'COM 2005 77
Les points ne sont pas forcément dans le même ordre dans
les deux images.
Difficultés de l’appariement
Tébourbi Riadh, SUP'COM 2005 78
Les tailles et distances ne sont pas les mêmes d’une image à l’autre.
Difficultés de l’appariement
Tébourbi Riadh, SUP'COM 2005 79
Occlusions : des objets ou parties d’objets sont cachés. La correspondance n’existe pas dans ce cas.
Tébourbi Riadh, SUP'COM 2005 80
Carte des disparités
Tébourbi Riadh, SUP'COM 2005 81
Interpolation de la carte des disparités
Images stéréo
Plane
Polynomiale
Rationnelle
Interpolations
Mise en correspondance
Images des disparités calculées
Nature de la scène
Médiane . . .
Tébourbi Riadh, SUP'COM 2005 82
Image disparités
seuil=0.8
Filtre médian Fenêtre 3*3
Filtre médian Fenêtre 5*5
Filtre médian Fenêtre 7*7 Modèle 3-D
Image gauche
Interpolation médiane
Tébourbi Riadh, SUP'COM 2005 83
Interpolation rationnelle
Image gauche Image des hauteurs: seuil =0.8
Résultat de l’interpolation
rationnelle
Tébourbi Riadh, SUP'COM 2005 84
Densification : interpolation médiane
Densification : interpolation rationnelle
Densification : interpolation plane
Carte des disparités
Tébourbi Riadh, SUP'COM 2005 85
Calcul des coordonnées 3D
0vmmvZmZmvYmYmvXmXm0ummuZmZmuYmYmuXmXm
i3424iW33W23iW32W22iW31W21
i3414iW33W13iW32W12iW31W11
i=1,2
mij connus
(u1,v1), (u2,v2) connus
Système de 4 équations 3 inconnues
Résolution par moindres carrés.
Tébourbi Riadh, SUP'COM 2005 86
Modélisation 3D
Etalonnage
Etalonnage
Tébourbi Riadh, SUP'COM 2005 87
Modélisation 3D
Tébourbi Riadh, SUP'COM 2005 88
Visualisation 3D
Visualisation 3D
Tébourbi Riadh, SUP'COM 2005 89
Tébourbi Riadh, SUP'COM 2005 90
Navigation 3D
Tébourbi Riadh, SUP'COM 2005 91
Influence des paramètres d’acquisition
BH
H, B Résolutions?
Tébourbi Riadh, SUP'COM 2005 92
Influence des paramètres d’acquisition
BH
Compromis
HaRR yx 2
BH)B,H(Rz
B
H 2
A
1
BH
)1(21 HZ
HB
ZHBuud wu
w
u
Tébourbi Riadh, SUP'COM 2005 93
Estimation de la matrice fondamental
Problème appelé Calcul de la « géométrie épipolaire » ou « Etalonnage faible »
1112 )( IEIF
t
0 12 mFm tExprime la relation qui existe entre les
coordonnées images (en pixels) gauche (u1,v1) et droite (u2,v2), décrivant, ainsi, la géométrie
épipolaire
Avec étalonnage:
Sans étalonnage ?
Tébourbi Riadh, SUP'COM 2005 94
Estimation de la matrice fondamental
F peut estimée calculée à partir de l'ensemble des points homologues
0 12 mFm t m1(u1,v1) et m2(u2,v2)
0KFK= [u1u2, v1u2,u2,u1v2,v1v2,v2,u1,v1,1]
et
tFFFFFFFFFF ],,,,,,,,[ 333231232221131211
F définie à un facteur multiplicatif près On peut poser F33 = 1
Avec
Tébourbi Riadh, SUP'COM 2005 95
Estimation de la matrice fondamental
0 12 jtj mFm 0FK j
Pour un couple j de points homologues on peut écrire
Pour n points (n>7) homologues: système linéaire n équations à 8 inconnus.
Résolution
Méthodes linéaires: pseudo inverse, SVD, etc.. (très sensibles au bruit )
Méthodes non linéaires: Least Median of Squares ou LMedS, RANSAC
Tébourbi Riadh, SUP'COM 2005 96
Estimation de la matrice fondamental par LMedS
En entrée: n correspondances extraites des deux images stéréoscopiques
l’utilisation d’une d'optimisation basée sur la distance aux lignes épipolaires de deux points m1(u1,v1,1)t et m2(u2,v2,1)t:
),(),(),,( 212
122
212 mFmdmFmdFmmr
)()(),(
112
2
2
1
1212
mFmFmFm
mFmd
(Fm1)k est le k-ième élément du vecteur Fm1.
Tébourbi Riadh, SUP'COM 2005 97
Détection et appariement de points d'intérêts
Image gauche Image droite
Extraction de points d'intérêt Extraction de points d'intérêt
Mise en correspondance des points d'intérêt
Calcul de la matrice fondamentale
Tébourbi Riadh, SUP'COM 2005 98
Extraction des points d’intérêt
Plusieurs détecteurs « corners detectors »
•Les méthodes fonctionnant en 2 étapes : détermination de contours chaînés puis détermination des points du contour de courbure maximale
•Les méthodes opérant directement sur les intensités de l’image et basée sur la mesure du gradient et de la courbure
Moravec
Susan
Harris
Tébourbi Riadh, SUP'COM 2005 99
Exemple résultat Harris
Tébourbi Riadh, SUP'COM 2005 100
Appariement des points d’intérêts
Corrélation + relaxation
La matrice fondamentale peut être calculée
Tébourbi Riadh, SUP'COM 2005 101
Rectification
Image gauche Image droite
Extraction de points d'intérêt Extraction de points d'intérêt
Mise en correspondance des points d'intérêt
Calcul de la matrice fondamentale
Calcul des matrices de rectification
Rectification
Mise en correspondance
Tébourbi Riadh, SUP'COM 2005 102
Rectification
Objectif: trouver deux matrices H1 et H2 de rectifications
0Fmm 1t
2 Pour deux points correspondants:
Matrice fondamentale des images rectifiées:
010100
000F0
Une première paire de matrices de rectification H01 et H02, il suffit de décomposer F en valeurs singulières : 020
t01 HFHF
Tébourbi Riadh, SUP'COM 2005 103
Famille des matrices de rectification
L'ensemble des paires de matrices de rectification (H1,H2) se déduisent de H01 et H02 par les relations:
0111 HTH 0222 HTH
ih0fe0cba
T1
ih0fe0'c'b'a
T2
Variété de dim. 9
Trouver deux paires de rectification qui distordent le moins possible les images
Tébourbi Riadh, SUP'COM 2005 104
Exemples
Calcul d’une paire de matrices de rectification
Tébourbi Riadh, SUP'COM 2005 105
2
21
2
2121 )()( ),( vvuummdd
Poser des contraintes
1) d'=u'2-u'1 =d
Calcul d’une paire de matrices de rectification
Tébourbi Riadh, SUP'COM 2005 106
2) Conservation des lignes épipolaires calculer les coins de l’image rectifiée
)(* ' ,0 ' CCC CosLigvu
0 ' ),( ' vCosColu AAA ' ' ),( ' LigvCosColu DDD
)(* ,' ' BBB SinColv'Colu
Rectifier l'image revient à transformer les lignes épipolaires en lignes parallèles et horizontales et envoyer l'épipole e1 à l'infini.
Eviter de compresser ou d’allonger les lignes épipolaires lors de la rectification et de déformer ainsi les images, la dimension de l'image rectifiée est d'abord calculée
Tébourbi Riadh, SUP'COM 2005 107
COMPLEMENTS
Tébourbi Riadh, SUP'COM 2005 108
Méthode du pseudo-inverse
Résoudre le système d’équations linéaires suivant
CQK Q = vecteur n (inconnus)
K = Matrice m*n
C = vecteur n
Tébourbi Riadh, SUP'COM 2005 109
Méthode du pseudo-inverse
K.Q-C=e CQK e représente un vecteur erreur
La meilleure solution Q est celle qui minimise le module du vecteur erreur
On cherche Q tel que eee t 2 soit minimum
CCCKQKQK
CCCKQKQCKQK
CKQCKQee
tttt
ttttt
tt
2Q
Q
)()(
t
t
En différenciant par rapport à Q, on obtient : 0CKKQK tt
La matrice (KtK)-1Kt CK)KK(Q t1t
Tébourbi Riadh, SUP'COM 2005 110
Géométrie des images rectifiées
ZHXuu
u
g
0
ZHYvv
v
g
0
ZHYvv
v
d
0
ZHBXuu
u
d
0
0
0
)(
)(
vZH
Yv
uZH
Xu
vg
ug
0
0
)(
)(
vZH
Yv
uZHBX
u
vd
ud
ZHBuudisparité u
dg
Caméra gauche Caméra droite
100010001
R
HTg 0
0
H
BTd 0
HHvvHuu
M v
u
g
1000
0
00
00
HHvv
HuBuM v
uu
d
1000
0
00
00