présenté par julien morat pour obtenir le grade de docteur de l’inpg
Post on 04-Jan-2016
26 Views
Preview:
DESCRIPTION
TRANSCRIPT
Julien Morat 1er Juillet 2008 Renault / INRIA1er Juillet 2008 INRIA / Renault
Vision stéréoscopique par ordinateur pour la détection et le suivi de cibles pour une application automobile
Présenté par Julien Moratpour obtenir le grade de DOCTEUR DE L’INPG
Président du jury : J. CrowleyRapporteurs : D. Aubert
J-M. LavestExaminateurs : F. Devernay
S. Cornou R. Horaud
Julien Morat 1er Juillet 2008 Renault / INRIA
LE CONTEXTE
Centre de recherche et développement Renault : ~12 000 personnes
Direction de la recherche : ~ 120 personnes
Electronique pour l’aide à la conduite : ~ 20 personnes
LE CENTRE DE RECHERCHE ET DÉVELOPPEMENT DE RENAULT
2
Julien Morat 1er Juillet 2008 Renault / INRIA
LA PROBLÉMATIQUELES DIFFÉRENTES PRESTATIONS D’AIDE À LA CONDUITE
3
http
://w
ww
.gav
rila.
net/M
edia
_Cov
erag
e/m
edia
_cov
erag
e.ht
ml
http
://w
ww
.mob
ileye
.com
/upl
oade
d/A
WS
clip
s/2C
ritic
alS
econ
ds.2
2MB
.mpg
[GBS05] Gavrila et al
Des prestations intelligentes pour améliorer la sécurité et le confort Régulateur de distance (ACC)
Détection de franchissement de marquage routier (Lane Keeping Assist)
Détection anticipée de collision (Collision Warning ou Precrash)
Julien Morat 1er Juillet 2008 Renault / INRIA
LA PROBLÉMATIQUE
Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …
Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar
LES BESOINS
4
Julien Morat 1er Juillet 2008 Renault / INRIA
LA PROBLÉMATIQUE
Connaître l’état du véhicule Vitesse des roues, GPS, centrale inertielle …
Percevoir l’environnement du véhicule RADAR, LIDAR, Sonar
Caméra
LES BESOINS
5
Julien Morat 1er Juillet 2008 Renault / INRIA
LA PROBLÉMATIQUE
L’utilisation de caméras pour percevoir le monde est un domaine largement couvert, mais l’emport du système dans un véhicule de série soulève de nouvelles problématiques.
Identifier ces problèmes et les solutions possibles Application exemple : régulateur de distance (ACC)
Trois fonctions primordiales : Le calibrage
La détection d’obstacles
La mesure de vitesse relative
LES OBJECTIFS DE LA THÈSE
6
Julien Morat 1er Juillet 2008 Renault / INRIA
PLAN DE LA PRÉSENTATION
Modèles mathématiques
I. Calibrage
II. Détection d’obstacles
III. Mesure de vitesse 3-D
Conclusions
Julien Morat 1er Juillet 2008 Renault / INRIA
caméra
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
8
Centre optique
Un objet 3-D
Julien Morat 1er Juillet 2008 Renault / INRIA
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
9
Objet projeté
Ligne
de
vue
rayo
n op
tique
Un objet 3-D
Centre optique
Julien Morat 1er Juillet 2008 Renault / INRIA
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
10
Julien Morat 1er Juillet 2008 Renault / INRIA
MODÈLES MATHÉMATIQUESMODÉLISATION D’UNE CAMÉRA
11
connuinconnu
Julien Morat 1er Juillet 2008 Renault / INRIA
inconnuconnu
MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D
12
?
Julien Morat 1er Juillet 2008 Renault / INRIA
MODÈLES MATHÉMATIQUESRECONSTRUCTION 3-D
13
inconnuconnus
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE1. Objectif et principe
2. Définition de la qualité du calibrage
3. Les sources d’imprécision
4. Quantifier la qualité du système embarqué
Julien Morat 1er Juillet 2008 Renault / INRIA
CALIBRAGE
Pour qu’un système stéréoscopique puisse donner une mesure de distance, toutes ses caractéristiques doivent être connues.
OBJECTIF
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE1. OBJECTIF ET PRINCIPE
≠
Julien Morat 1er Juillet 2008 Renault / INRIA
connu
I. CALIBRAGE1. OBJECTIF ET PRINCIPE
17
Connaître la fonction de projection P
• Distance focale• Taille des pixels• Nombre de pixels• Distorsions• …
inconnu
connu
Julien Morat 1er Juillet 2008 Renault / INRIA
connu
I. CALIBRAGE
Points 3-D connus : une mire
1. OBJECTIF ET PRINCIPE
18
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Acquisition d’images de la mire avec le système
1. OBJECTIF ET PRINCIPE
19
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Extraction des marques fiduciaires
1. OBJECTIF ET PRINCIPE
20
connuconnu
Julien Morat 1er Juillet 2008 Renault / INRIA
inconnu
connu
I. CALIBRAGE1. OBJECTIF ET PRINCIPE
21
Estimation par optimisation des paramètres p
connuconnu
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
1. Objectif et principe
2. Définition de la qualité du calibrage
3. Les sources d’imprécision
4. Quantifier la qualité du système embarqué
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
22
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance
(soit 5% de la distance)
Le système doit être conçu pour atteindre ces performances.
La qualité du calibrage a des conséquences directes sur la qualité du système : nous étudions la relation entre les deux.
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
23
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Exemple d’un mauvais calibrage
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
24
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
25
Exemple d’un mauvais calibrage
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Différence entre le point 3-D réel et estimé : Dénommée « erreur de reconstruction »
Se mesure en mètres
Du point du vue du constructeur,c’est le critère essentiel de qualitédu système
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
26
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Différence entre les points 2-D observés et les projections du point reconstruit Dénommée « erreur de reprojection »
Se mesure en pixels
Minimiser cette différence estimportant pour les algorithmes
2. DÉFINITION DE LA QUALITÉ DU CALIBRAGE
27
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
1. Objectif et principe
2. Définition de la qualité du calibrage
3. Les sources d’imprécisionA. Respect du modèle
B. Qualité du calibrage
C. Variation de la géométrie du capteur au cours du temps
4. Quantifier la qualité du système embarqué
3. LES SOURCES D’IMPRÉCISION
28
Julien Morat 1er Juillet 2008 Renault / INRIA
3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE
29
Caméra
Centre optique
Julien Morat 1er Juillet 2008 Renault / INRIA
Caméra
3.A. LES SOURCES D’IMPRÉCISION : LE RESPECT DU MODÈLEI. CALIBRAGE
30
Pare-briseRespect du modèle1
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE
31
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE
32
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE3.B. LES SOURCES D’IMPRÉCISION : QUALITÉ DU CALIBRAGE
33
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS
34
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE3.C. LES SOURCES D’IMPRÉCISION : AU COURS DU TEMPS
35
Variation des paramètres5
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
1. Objectif et principe
2. Définition de la qualité du calibrage
3. Les sources d’imprécision
4. Quantifier la qualité du système embarquéA. Respect du modèle
B. Le calibrage
C. Au cours du temps
4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ
36
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Les applications visées (ex : ACC) requièrent : 15 cm de précision à 3 m de distance 1.5 m à 30 m de distance (soit 5% de la distance)
L’objectif est de savoir si la qualité requise est atteignable par le système stéréoscopique embarqué, et ce, en fonction des 5 sources d’imprécision.
4. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ
37
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Validation du modèle de projection centrale par calibrage avec un modèle générique (en collaboration avec Srikumar Ramalingam et Peter Sturm)
Constat : le modèle à projection centrale est respecté. Les caméras peuvent donc être placées derrière le pare-brise.
4.A. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : RESPECT DU MODÈLE
38
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
1. Objectif et principe
2. Définition de la qualité du calibrage
3. Les sources d’imprécisions
4. Quantifier la qualité du système embarquéA. Respect du modèle
B. Le calibrage
C. Au cours du temps
4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE
39
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
La qualité du système dépend de : La configuration du système
La mire
Les algorithmes de calibrage
Les erreurs de détection de la mire
Les imperfections de construction de la mire
…
Simuler le processus de calibrage pour tester et évaluer l’influence de tous ces facteurs : Système complexe rendant la modélisation analytique difficile,
Permet de tester de nombreuses configurations.
4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE CALIBRAGE
40
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
41
simulation
1. Mire
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
42
simulation
1. Mire
2. Erreurs de fabrication
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
43
simulation
1. Mire
2. Erreurs de fabrication
3. Projection
Paramètresréels
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
44
simulation
1. Mire
2. Erreurs de fabrication
3. Projection
4. Erreurs de détection
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
45
simulation
1. Mire
2. Erreurs de fabrication
3. Projection
4. Erreurs de détection
5. Calibrage
Paramètres calibrés
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
46
simulation
1. Mire
2. Erreurs de fabrication
3. Projection
4. Erreurs de détection
5. Calibrage
6. Echantillonnage de la scène + Projection
Paramètresréels
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
47
simulation
1. Mire
2. Erreurs de fabrication
3. Projection
4. Erreurs de détection
5. Calibrage
6. Echantillonnage de la scène + Projection
7. Reconstruction
Paramètres calibrés
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
48
simulation
1. Mire
2. Erreurs de fabrication
3. Projection
4. Erreurs de détection
5. Calibrage
6. Echantillonnage de la scène + Projection
7. Reconstruction
8. Evaluation des erreurs de : reconstruction
reprojection
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
49
Cette méthode par simulation permet de tester : les différents algorithmes,
les différentes configurations de système et
les différentes mires
Outil d’aide à la conception
simulation
1. Mire
2. Erreurs de fabrication
3. Projection
4. Erreurs de détection
5. Calibrage
6. Echantillonnage de la scène + Projection
7. Reconstruction
8. Evaluation des erreurs de : reconstruction
reprojection
Julien Morat 1er Juillet 2008 Renault / INRIA
6 mm de focale, capteur 1/3’’,ligne de base 40 cm
I. CALIBRAGE4.B. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : LE
CALIBRAGE
50
4.5 m 7 m Erreur* de reconstruction en cm
4.5 m 30 m
9.38 Z 0.38
* Erreur RMS
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
1. Objectif et principe
2. Définition de la qualité du calibrage
3. Les sources d’imprécisions
4. Quantifier la qualité du système embarquéA. Respect du modèle
B. Le calibrage
C. Au cours du temps
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
51
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Validation de la rigidité de la caisse
Même sous conditions extrêmes, le système reste calibré.
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
52
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Extension de l’outil de simulation pour tester les conséquences d’une perte de calibrage
Résultats Sur un échantillonnage de points à 31.5 m
53
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
Tangage +0.5° Lacet +0.5°
Erreur* de reconstruction (cm) 20.8 1480
Erreur* de reprojection (pixel) 3.49 0.02
Estimation des distances faussée
Erreur de reprojection >1 pixel met en échec les algorithmes
* Erreur RMS
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Le calibrage en ligne : permet de corriger un calibrage existant
utilise des images « naturelles » pour calibrer en cours d’utilisation
Méthodes testées : adaptation d’un « ajustement de faisceaux » qui minimise l’erreur de reprojection
Notre contribution : extension de l’outil de simulation de calibrage pour tester les performances du calibrage en ligne
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
54
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Résultats (Même configuration que précédemment) Fonctionne pour les variations de tangage
Ne fonctionne pas pour une variation de l’angle de lacet
4.C. QUANTIFIER LA QUALITÉ DU SYSTÈME EMBARQUÉ : AU COURS DU TEMPS
55
Tangage +0.5° Lacet +0.5°
Avant Après Avant Après
Erreur* de reconstruction (cm) 20.8 10-3 1480 898
* Erreur RMS
Erreur de reprojection >1 pixelErreur de reconstruction ~8 m.
OK
Bien fixer les caméras en lacet
Julien Morat 1er Juillet 2008 Renault / INRIA
I. CALIBRAGE
Contributions : Apporter une réponse ou un élément de réponse aux problèmes de précision de calibrage
Des expérimentations sur bancs Validation du système optique + pare-brise
Validation de la rigidité de la caisse
Un outil d’aide à la conception et au dimensionnement Simulation du processus de calibrage
Simulation de décalibrage
Simulation de calibrage en ligne
Evaluation quantitative des performances au cours de la vie du véhicule.
CONCLUSION
56
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES1. Objectifs et approches
2. Mise en correspondance stéréoscopique
3. Segmentation des obstacles
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Objectifs : Extraire l’information pertinente de la densité
d’information fournie par le capteur.
Approches : Identification du mouvement
Heinrich et al. [Hei02], Franke et al. [FH02],Rabe et al. [RFG07]
Identification de certains typesd’obstacles (piétons, cycles, …)
[BHD97, SMBD02, HKT+98, YC06,BBFL02,BBB05, LWLW06,…]
Identification de la route Maraninchi et al. [MR01], Nedevschi et al. [NDM+07],
Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05], …
1. OBJECTIFS ET APPROCHES
Julien Morat 1er Juillet 2008 Renault / INRIA
obstacle ?
II. DÉTECTION D’OBSTACLES1. OBJECTIFS ET APPROCHES
59
1. Mise en correspondance stéréoscopique
2. Segmentation des obstacles
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
1. Objectifs et approches
2. Mise en correspondance stéréoscopiqueA. La problématique
B. Etape préliminaire de simplification : la rectification
C. Mise en correspondance par corrélation
D. Choix d’une rectification
3. Segmentation des obstacles
PLAN
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE
61
Caméra gauche Caméra droite
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Restriction de l’espace de recherche
2.A. MISE EN CORRESPONDANCE : LA PROBLÉMATIQUE
62
Julien Morat 1er Juillet 2008 Renault / INRIA
Une étape préliminaire simplificatrice : la rectification
II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION
63
Julien Morat 1er Juillet 2008 Renault / INRIA
Une étape préliminaire simplificatrice : la rectification Déformation des images pour une recherche horizontale
Il existe une infinité de rectifications valides [Dev97], [Zhang99]
II. DÉTECTION D’OBSTACLES2.B. MISE EN CORRESPONDANCE : RECTIFICATION
64
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Pour un point de l’image gauche, il faut estimer la position de son correspondant sur l’image droite : disparité.
2.B. MISE EN CORRESPONDANCE : RECTIFICATION
65
0
+-
Disparité : -20Distance : 1 m
Julien Morat 1er Juillet 2008 Renault / INRIA
Approche pour trouver la disparité :P. Fua 1993
II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION
Image gauche Image droite
66
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION
67
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA
disparité
dif
fére
nc
e
Approche pour trouver la disparité :P. Fua 1993
II. DÉTECTION D’OBSTACLES2.C. MISE EN CORRESPONDANCE : CORRÉLATION
Image gauche Image droite Carte de disparité
68
Eloigné ProcheEchec
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
69
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Pour avoir une apparence identique dans les deux images, la surface examinée doit être de disparité constante.
2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
70
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
71
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA
Les 9 paramètres de rectification permettent de choisir le faisceau de plans
Les surfaces de disparité constante forment : Dans le cas général des surfaces de section conique [MMB+98 ,PS04]
Dans le cas d’images rectifiées un faisceau de plans d’équation :
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
72
La disparité dx
sélectionne un plan du faisceau
Julien Morat 1er Juillet 2008 Renault / INRIA
Choix des 9 paramètres de rectification de manière à répartir ces plans face aux caméras
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
73
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
74
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
76
Julien Morat 1er Juillet 2008 Renault / INRIA
Choix des 9 paramètres de rectification de manière à aligner le plan de disparité nulle avec la route
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
77
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
78
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
79
Image de différenceImage gauche Image droite
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES2.D. MISE EN CORRESPONDANCE : CHOIX D’UNE RECTIFICATION
80
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Dans la carte de disparité, il faut différencier les points appartenant à la route et les autres.
Maraninchi et al. [MR01], Nedevschi et al. [NDM+07], Labayrade et al. [LAT02], Soquet et al. [SAH07], Nakai et al. [NTH+07], Lemonde et al. [Lem05],
1. Objectifs et approches
2. Mise en correspondance stéréoscopique
3. Segmentation des obstaclesA. Cumul des rectifications
B. Résultats
C. Agrégation
PLAN
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS
82
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS
83
disparité
différence
85
69
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES3.A. SEGMENTATION DES OBSTACLES : CUMUL DES RECTIFICATIONS
84
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS
85
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES
Qualité de la carte de disparité ~93% des disparités correctement évaluées avec la double
rectification contre ~89% sans.
Qualité de la carte de segmentation 97% des pixels étiquetés (route/obstacle) le sont correctement.
Séquences réelles Ces résultats sont très bons car ce sont des images de synthèse.
Pour évaluer sur des séquences réelles, il reste à gérer les imperfections de calibrage.
3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS
86
Julien Morat 1er Juillet 2008 Renault / INRIA
Etat de l’art
Multi-rectification :
Utilisation de 3 caméras (et rectifications) pour estimer l’orientation locale de la surface et ainsi détecter la présence d’obstacles routiers Williamson [Wil98].
Caractérisation des surfaces d’iso-disparité:
Mandelbaum et al. [MMB+98],Pollefeys et al. [PS04]
Contributions
Estimer la disparité plus finement par fusion des deux cartes de disparité
Lien entre le choix de la rectification et le faisceau de plans d’iso-disparité
II. DÉTECTION D’OBSTACLES3.B. SEGMENTATION DES OBSTACLES : RÉSULTATS
87
Julien Morat 1er Juillet 2008 Renault / INRIA
II. DÉTECTION D’OBSTACLES3.C. L’AGRÉGATION
88
Julien Morat 1er Juillet 2008 Renault / INRIA
III. LA MESURE DE VITESSE 3-D1. La problématique
2. Présentation de l’algorithme de Lucas & Kanade
3. Extension à la stéréoscopie
4. Gestion des variations de taille apparente
5. Résultats
Julien Morat 1er Juillet 2008 Renault / INRIA
III. LA MESURE DE VITESSE 3-D
Certaines applications (comme l’ACC) réclament une mesure de vitesse relative précise.
Alors que le RADAR et LIDAR fournissent directement une mesure de vitesse relative (par effet doppler), un système basé vision requiert un traitement des données
1. LA PROBLÉMATIQUE
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Image d’un point 3-D
1. LA PROBLÉMATIQUE
91
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE
92
Déplacement 3-D :Flux de scène
[VBR+99]
Déplacement 2-D : Flux optique
Déplacement 2-D : Flux optique
Julien Morat 1er Juillet 2008 Renault / INRIA
Recherche d’un mouvement dans une série de reconstructions successives
[BBFN00, SZB99, MSKI06, NDF+04, FH02, RFG07, LCCG07, AKI05].
Recherche de flux optiques puis reconstruction 3-D
[ISK92, DHS02, RFG07, UF02].
III. MESURE DE VITESSE 3-D1. LA PROBLÉMATIQUE
93
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
1. La problématique
2. Présentation de l’algorithme de Lucas & Kanade [BFSB92]
3. Extension à la stéréoscopie
4. Gestion des variations de taille apparente
5. Résultats
PLAN
94
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Algorithme de suivi 2-D[BFSB92]
1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
95
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Algorithme de suivi 2-D[BFSB92]
1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
96
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Algorithme de suivi 2-D[BFSB92]
1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
97
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
98
Algorithme de suivi 2-D Résolution itérative par
méthode de Gauss-Newton
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D1. PRÉSENTATION DE L’ALGORITHME DE LUCAS & KANADE
99
Algorithme de suivi 2-D Résolution itérative par
méthode de Gauss-Newton
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
100
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
101
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
102
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Adaptation au cas stéréoscopique de la formulation du problème de mesure de flux optique proposée par Lucas & Kanade [BFSB92]
2. EXTENSION À LA STÉRÉOSCOPIE
103
n vaut l pour « left » et r pour « right »
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
104
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
105
Le vecteur de paramètres P peut être représenté parUne paire de points 2-D :
4 paramètres pour 3 D.L.
Cela revient à mesurer le flux optique eteffectuer la reconstruction séparément
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Le vecteur de paramètres P peut être représenté parUn point 3-D dans l’espace Euclidien :
3 paramètres pour 3 D.L.
Calculs complexes
2. EXTENSION À LA STÉRÉOSCOPIE
106
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D2. EXTENSION À LA STÉRÉOSCOPIE
107
Le vecteur de paramètres P peut être représenté parUn point 2-D associé à la disparité : p = [x, y, d]T
3 paramètres pour 3 D.L.
Simplifie les calculs
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE
108
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE
109
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D3. GESTION DES VARIATIONS DE TAILLE APPARENTE
110
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Ajout d’un paramètre w pour l’échelle
P = (x, y, d, w)
La taille apparente est liée à la distance Z :
La disparité d est liée à la distance Z :
La variation de taille apparente est égale à la variation de disparité :
Possible de gérer la variation de taille sans ajouter de paramètre supplémentaire
P = (x, y, d)
3. GESTION DES VARIATIONS DE TAILLE APPARENTE
111
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D4. RÉSULTATS
112
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D4. RÉSULTATS
113
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D4. RÉSULTATS
114
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D4. RÉSULTATS
115
d
x
y
0
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
L’erreur pour la méthode utilisant l’espace 3-D basé image et intégrant les variationsde taille
4. RÉSULTATS
116
Mesure parfaite
Mesure erronée
Erreur d’estimation
d
x
y
0
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Quantifier les performances Bruit de mesure % d’échecs
Utilisation d’un modèle de mélange de Gaussiennes 1ère Gaussienne étroite
pour le bruit 2ème Gaussienne large
pour les échecs
4. RÉSULTATS
117
Julien Morat 1er Juillet 2008 Renault / INRIA
III. MESURE DE VITESSE 3-D
Sans contrainte(2 trackers 2-D)
Sigma 5 pixels
50% d’échecs
Avec des points 3-D(espace image)
Sigma 5 pixels
40% d’échecs
Avec des points 3-D et variation de taille Sigma 0.1 pixel
10% d’échecs
4. RÉSULTATS
118
Séquence d’évaluation spécialement conçue pour mettre en avant l’apport de l’algorithme.
Julien Morat 1er Juillet 2008 Renault / INRIA
CONCLUSIONS
Julien Morat 1er Juillet 2008 Renault / INRIA
Extension de l’algorithme Lucas-Kanade
multiples rectifications + agrégation
Conception d’un outil d’évaluation
CONCLUSIONS
Etude de toute la chaine algorithmique
BILAN
120
Caméras
Vitesses relatives aux obstacles
Julien Morat 1er Juillet 2008 Renault / INRIA
CONCLUSIONS
Reste à valider sur des données réelles : Valider les simulations de calibrage.
Gérer finement le calibrage pour appliquer les multiples rectifications sur des séquences réelles.
Comparer la mesure 3-D par flux optique avec une mesure réelle métrée.
PERSPECTIVES
121
Julien Morat 1er Juillet 2008 Renault / INRIA
CONCLUSIONS
L’avenir de la stéréoscopie pour les applications automobiles A court ou moyen terme
Technologie assez mature pour des prestations non critiques (simple information au conducteur) ou en complément d’un autre capteur (ex : Radar).
A plus long terme A performances égales, la polyvalence du capteur le rend plus attractif que ses
concurrents.
Les problèmes de sureté de fonctionnement (fausses détections, ou détections manquées) ne sont pas insolubles. Tout comme pour le RADAR et le LIDAR, la prise en compte d’hypothèses sur la scène permet de réduire les erreurs.
Les limites infranchissables de ce capteur (brouillard, obscurité, obstacles masqués …) ne sont pas un réel problème dans la mesure où le conducteur souffre des mêmes limitations.
PERSPECTIVES
122
Julien Morat 1er Juillet 2008 Renault / INRIA
QUESTIONS
Merci de votre attention
123
top related