1 modélisation 3d de scènes urbaines à partir dimages satellitaires à très haute résolution...
TRANSCRIPT
1
Modélisation 3D de scènes urbaines à partir d’images satellitaires à très haute résolution
Nesrine Chehata
Directeur de thèse: Pr. Georges Stamon
Université Paris 5/ SIP-CRIP5
2
Plan
Introduction
Reconstruction de primitives 3D
Optimisation globale hybride
Résultats et évaluations
Conclusion
3
Contexte
Contexte satellitaire très haute résolution
Projet en collaboration avec le CNES
Le futur satellite PLÉIADE
Applications: Cartographie: aménagement, urbanisme, télécommunications… Risques: hydrologiques (inondations), la géologie dynamique. Défense: applications militaires et de sécurité
Contexte de la thèse:
Reconstruction 3D automatique des bâtiments en milieu urbain
4
Données:
Couple stéréoscopique N&B
Résolution [50 cm – 70 cm]
S1 S2
H
B
m1 m2
M
Faible B/H [0.1 – 0.2] Faibles distorsions entre images
Parties cachées réduites
Faible précision altimétrique
Images géoréférencées
Contexte satellitaire THR
Simulations Pléiades 50 cm
Modèle Numérique d’élévation MNE [Baillard 97]
Toute information extraite des images
Des informations externes Réseau routier Limites cadastrales
5
Objectifs
Reconstruction 3D automatique de bâtiments
Possibilité d’introduire des informations externes
Évaluation de la qualité de reconstruction 3D en fonction du B/H
Système automatique pour la modélisation 3D de scènes urbaines
Description dense de la scène
Système ouvert et extensible
Limitations du contexte satellitaire très haute résolution: La résolution des images La stéréoscopie simple: parties cachées, ombres portées,… Faible rapport B/H
6
Reconstruction 3D: État de l’art
Approches - modèles Grande robustesse aux détecteurs de primitives Manque de généralité
Primitives
Modèles
Top-Down
Approches - primitives Très grande généralité Peu de robustesse:
Échec si manque de primitives Problème si sur-détection Primitives
Modèles
Bottom-Up
Stratégie générale: Bottom-Up puis Top-Down = Hypothesize-and-verify
Généralité Règles locales
7
Segments
Segmentations en régions
Reconnaissance &détection Reconstruction 3D
Primitives 3D fiables
Segments 3D
Facettes 3D
MNE hybride raster/vecteur
Optimisation globale 3D contrainte
Méthodologie
Cadastre
Réseau routier 3D
Données externes
Couple images
MNE
Données source
8
MNE Hybride (Raster/Vecteur)
MNE Hybride Raster / Vecteur
Représentation 3D
Information vectorielle
Plusieurs niveaux de description:
- Segments 3D
- Facettes 3D
Information raster
9
Plan
Reconstruction de primitives 3D
Segments 3D Facettes 3D Évaluations Bilan
Optimisation globale hybride
Évaluation du MNE hybride Couple images
MNE
Données source
Segments
Segmentation régions
Reconnaissance & détection 2D
Reconstruction 3D Primitives 3D fiables Segments 3D
Facettes 3D
MNE hybride raster/vecteur
Optimisation globale 3D contrainte
Cadastre
Réseau routier 3D
Données externes
Évaluation / MNE Référence
10
Reconstruction des segments 3D
Mise en correspondance de segments 2D
Contraintes classiques: Épipolaire, altimétrique, recouvrement, photométrique Bande de tolérance autour du MNE pour la validation
Amiens 50 cm
Segments 3D reconstruits Segments 3D reprojetés dans l’ image
12
Segments 3D: Bilan
Avantages
Met à profit le faible B/H
Bonne précision planimétrique
Inconvénients
Forte imprécision altimétrique
Influence du B/H
Influence de l’orientation du segment
HBxy
z /
C1 C2S
13
Reconstruction des facettes 3D
Image gauche
Mise en correspondance des régions
Couples de régions appariées
Segmentations hiérarchiques
Hypothèse modèle surface plane
Plans 3D Délimitation de la facette par projection des contours
Facettes 3D
Image droite [Guigues03]
14
Segmentation hiérarchique
Pourquoi une segmentation hiérarchique ?
Description multi-échelles de l’image Choix du niveau d’interprétation en fonction de la résolution
Possibilité d’appariements inter-niveaux Résoudre les problèmes de sous et sur-segmentations des régions
Modèle de fusion des régions: Géo Vs Rad
On cherche à minimiser l’énergie globale pour un donné:
si élevé : on privilégie les grandes régions à formes simples
si faible : on privilégie les petites régions à radiométrie homogène
))()(()()( REREREPE RadPR
GéoPR
15
45 cm
chelleÉ
80 265
762 2850
Exemple
La meilleure segmentation: Coupe à différentes échelles
16
Mise en Correspondance des régions
Image gauche Image droite
Masquage du sol: Croissance de régions à partir d’un germe dans le MNE Focalisation grâce à des données externes (réseau routier)
Altitude Zmin sur la zone
Recherche de coupes appariées dans les sous-hiérarchies:
Image gauche Image droite
17
Appariement des régions
Contraintes: épipolaire, altimétrique, similarité, recouvrement
Contribution: Propagation ascendante des contraintes
Un nœud père vérifie une propriété si tous ses fils la vérifient.
Contrainte épipolaire
R4
R3
R2
R1
Rg
G
Avantages de la propagation ascendante
Robustesse au bruit
Pas de risque de perte d’homologues au cours des fusions de régions
Gain de temps Image gauche Image droite
Contrainte épipolaire
18
Qualification des appariements
Utilisation d’un cube de corrélation dans l’espace objet [Jibrini00]
Discrétisation du volume de la scène ( X = Y= Z = Rimg)
Calcul des scores de corrélation
Qualification d’un appariement
Q (Rg,Rd) = ScoreCorrel (F(Rg,Rd))
19
Recherche de coupes appariées
Approche Descendante
Validation pilotée par la mise en correspondance des régions: Contrainte photométrique
Contrainte de planéité
Fusion des coupes Hypothèses de facettes concurrentes
0.6
0.75
0.8
)()()( RFilsRRQRQ FF
20
50cm B/H 0.2
Image gauche Image droite
Facettes 3D: Résultats
21
60cm B/H 0.08
Facettes 3D: Résultats
22
Facettes 3D: Évaluations 3D
Nbre facettes 201
Td=75% Tsd=11%
Nbre facettes 118
Td=62% Tsd=9,2%50cm 70cm
23
Facettes 3D: Bilan
Avantages
Approche adaptée au contexte satellitaire (B/H faible)
MEC Régions: Propagation ascendante des contraintes
Faible taux de sur-détection
Inconvénients
Extraction non dense des facettes 3D
Délimitation des facettes non précise en 3D
Temps de calcul élevé
24
Bilan: Reconstruction des primitives 3D
Les segments 3D
Bonne précision planimétrique Faible précision altimétrique
Les facettes 3D Bonne fiabilité des facettes Délimitation non précise Possibilité d’hypothèses de facettes concurrentes
Problèmes des détecteurs de primitives:
Sous-détection Sur-détection Compromis à trouver entre exhaustivité et fiabilité de la reconstruction
Modélisation globale de la surface 3D
25
Plan
Reconstruction de primitives 3D
Optimisation 3D contrainte
Principe
Modélisation des discontinuités: Segments 3D
Régularisation par surfaces planes: Facettes 3D
Résultats et évaluations
Bilan
Évaluation du MNE hybride
Couple images
MNE
Données source
Segments
Segmentation régions
Reconnaissance & détection
Reconstruction 3D Primitives 3D fiables Segments 3D
Facettes 3D
MNE hybride raster/vecteur
Optimisation globale 3D contrainte
Cadastre
Réseau routier 3D
Données externes
Évaluation / MNE Référence
26
Optimisation globale: État de l’art
Deux approches de minimisation d’énergie:
)()()( dEdEdE lissagedonnées
disparitéterme d’attache aux données
terme de lissage
L’estimation de la disparité peut être formulée comme un problème de minimisation d’énergie:
Formulation par programmation dynamique [Bai97,Bel96, Geiger95, Bobick99]
Recherche du minimum sur les lignes épipolaires
Difficulté de propager l’information inter-lignes épipolaires
MNE [Baillard97]
Formulation par flot maximal [RoyCox98,Ischikawa98,Veksler99]
La surface de disparité est minimisée en 2D
27
d épipolaires
la (a,l,d)
Optimisation 3D: Choix de la formulation
Formulation par flot de graphe [RoyCox98]:
Recherche de la coupe minimale
dans un graphe 3D
Maillage en 6-connexité
Une coupe de capacité minimale renvoie la carte de disparité
Avantages:
Renvoie une carte de disparité dense
Facile à adapter à notre contexte : le cube de corrélation
Les images sont traitées de manière symétrique
x
y
d
t
S
28
Optimisation 3D: Choix de la formulation
Inconvénients (Roy Cox):
Les discontinuités ne sont pas modélisées
Ne garantit pas la contrainte d’unicité
Les améliorations : État de l’art
La gestion explicite des occultations Seuillage des scores de corrélation [Zitnick, Kanade 00]
La modélisation des discontinuités Utilisation d’une énergie de lissage dépendante du gradient d’intensité dans les
images [BVZ99, SSZ02]
Définition des coûts en fonction des contours images [Ishikawa, Geiger98].
Ces approches n’utilisent que des informations pixellaires
29
Formulation par flot maximal
Contribution: Utilisation d’information vectorielle pour guider l’optimisation globale
Amélioration de la formulation de [Roy Cox,98]
Les discontinuités ne sont pas modélisées
Gestion explicite par les segments 3D
Contrainte d’unicité non garantie
Contrainte d’unicité est garantie avec les facettes 3D
Apport de l’information vectorielle
Régularisation par surfaces planes
Informations sur les pentes des toits
30
Optimisation 3D globale
Introduire des informations vectorielles:
Modélisation des discontinuités: segments 3D Régularisation de surfaces planes: facettes 3D
Primitives 3D
Cube de corrélation
Données externes
Cube hybride
Optimisation globale MNE
raster
Carte de labels Surface 3D
hybride
Produits dérivés:
MNE raster + carte de primitives retenues dans la coupe Surface 3D hybride
Introduire le cube de corrélation:
Fournit le terme d’attache aux données Résoud le problème de sous-détection des primitives
31
Optimisation: Construction du graphe
Optimisation à l ’intérieur du cube de corrélation Le graphe 3D:
Nœuds: les voxels du cube
La source s est reliée au plan Zmin
Le puits t est relié au plan Zmax
Maillage 3D en 6 connexité
Graphe non orienté
S
t
Zmax
Zmin
x
y
zt
s
arête d'occultation (arête horizontale)
arête de disparité (arête verticale)
32
Gestion des capacités
Hdispocc
Vdisp
CCstevuCKvuC
CvCoûtuCoût
vuC
tvoususi
vuC
),(),(2
)()(),(),(
Coefficient de lissage
))(1(*100)( uCorruCoût Le coût d’un nœud :u
Capacités des arêtes
K
Coût d’une coupe
S
t
n
dispG CC
S
t
m
occG CC
),(),(
),(tsvu
G vuCC
S
t
fC
33
Optimisation sans primitives
(K, Cf )=(0, 0)
K: coefficient de lissage
Influence de Cf
(K, Cf )=(0, 0.5)
(K, Cf )=(0.1, 0.5) (K, Cf )=(0.5, 0.5)
34
Cube de corrélation initial
Optimisation contrainte: Facettes 3D
S
t
Injection des facettes 3D
Interdiction de passage au
dessus et en dessous des facettes
Autorisation de passage sur
les contours des facettes
Optimisation hybride:
MNE Raster / Vecteur
35
Optimisation contrainte: Les segments 3D
Modélisation des discontinuités
à forte magnitude: les façades
à faible magnitude: les faîtes de toit
Apport des segments 3D
Bonne précision planimétrique
Création de couloirs de passage le long des segments
36
Apport des segments 3D
Modélisation des discontinuités Création de couloirs de passage
Capacités horizontales de faible coût
37
Apport des facettes 3D
Régularisation de surfaces
Problèmes de discrétisation Discrétisation de la facette
38
Optimisation contrainte: Les facettes 3D
Discrétisation des facettes Point critique de la méthodologie
Gestion par nappes Réduit le nombre de nœuds du graphe
Création des couloirs de passage
Création d’arêtes horizontales de faible coût
Permet le passage entre facettes concurrentes
Connecté au puits
Connecté à la source
39
Optimisation contrainte: Les segments 3D
50cm
(K=0,2 Cf=0,5)
Sans primitives
Les segments extraits
40
Carte des facettes retenues dans la coupe
(k, Cste) =(0.5, 0.5)
Optimisation contrainte: facettes 3D
Sans primitives
Avec facettes
Sans primitives
Avec facettes
41
70 cm (K=0,1 Cf=1,5)
Sans primitives Avec segmentsAvec facettes Avec segments
42
Optimisation globale Hybride: Bilan
Avantages: Optimisation dense : MNE hybride Raster/Vecteur
Gestion explicite des discontinuités et des occultations
Régularisation par surfaces planes
Solution aux problèmes des détecteurs de primitives
Gestion des hypothèses de facettes concurrentes
Possibilité de remonter à l ’information vectorielle (représentation 3D hybride)
Possibilité de généralisation: Indépendante du processus d ’extraction des primitives 3D
Peut être étendue à un contexte multi-vues
Possibilité d’introduire des informations externes:– Modélisation du sol ( réseau routier, limites cadastrales)
Inconvénients: Problèmes de discrétisation des facettes Dépendance à la fiabilité des primitives extraites
43
Plan
Reconstruction de primitives 3D
Optimisation globale hybride
Évaluation du MNE hybride
Couple images
MNE
Données source
Segments
Segmentation régions
Reconnaissance & détection
Reconstruction 3D Primitives 3D fiables Segments 3D
Facettes 3D
MNE hybride raster/vecteur
Optimisation globale 3D contrainte
Cadastre
Réseau routier 3D
Données externes
Évaluation / MNE Référence
44
Évaluations du MNE hybride
Qualité extrinsèque: Contrôle ponctuel : Statistiques sur les différences d’altitudes
Évaluation en fonction de différentes classes: – (Bâtiment / sol / Bords de bâtiments)
Tracé de profils comparatifs sur les MNE
Qualité intrinsèque: Robustesse au paramétrage Comparaison de MNE obtenus avec différents paramétrages
Sol Bords de Bâtiments: BB Bâtiments
45
Optimisation globale Hybride: Évaluations
Contraintes EQM en Z (cm)
Sans primitives
72,77 0,05
Segments 72,64 0,82
Facettes 70,73 0,96
Contraintes EQM en Z (cm)
Sans primitives
25,29 0,36
segments 25,53 0,44
Facettes 25,20 0,33
Classe « Bords de bâtiments » Classe « Sol »
Contraintes EQM en Z (cm)
Sans primitives
13,68 0,43
segments 15,22 0, 15
facettes 14,22 0,15
Classe « Bâtiments » L’évaluation raster met en évidence
l’apport des segments
La régularisation des surfaces n’est pas
mise en évidence par une évaluation
raster
46
Influence de la constante Cf sur le temps de calcul
Optimisation globale Hybride: Évaluations
47
Conclusion
Objectifs:
Modélisation 3D de surface urbaines Système ouvert et extensible, adapté au contexte satellitaire
Contributions méthodologiques :
Mise à profit du faible rapport B/H à chaque étape
Appariement des hiérarchies: Propagation des contraintes
Processus d’optimisation global, ouvert et extensible.
Perspectives:
Utilisation d’un graphe 3D hybride où les nœuds correspondent à des primitives 3D
Recalage a posteriori des facettes 3D
48
Conclusion: Le projet Pléaides
Une chaîne de traitement pour la modélisation 3D de surfaces
Applications pour le MNE hybride: Calcul d’orthophotos, survol virtuel de villes, texturation du paysage,…
Développement d’une plate-forme d’évaluation de MNE 3 niveaux d’évaluations:
(raster-raster) : évaluation du MNE hybride raster (vecteur- raster): évaluation des facettes 2D (forme, contours …) (vecteur-vecteur): comparaison de deux modèles 3D
Précision de reconstruction:
Précision de reconstruction au B/H ème de pixel
Comparaison de l’exhaustivité de la reconstruction des primitives à différentes résolutions
49
Perspectives: Le projet Pléiades
Perspectives
Modélisation du sol: introduction de données externes
Enrichir la plate-forme d’évaluation: Recalage 2D entre les MNE Métriques d’évaluation 2D/ 3D
Limitation de l’approche basée sur les primitives pour obtenir un modèle polyédrique en contexte satellitaire