Download - Images et Fusion - LIRMM
Images et Fusion
Michèle ROMBAUTLaboratoire des Images et des Signaux - Grenoble
Mars 2006 Images et Fusion 2
Définition
La fusion d’informations consiste à combiner
des informations issues de plusieurs
sources afin d’améliorer la prise de
décision [I.Bloch].
Mars 2006 Images et Fusion 3
Cadre de la fusion
Modélisation de la connaissance sur un système qui existe réellement mais dont on ne connaît qu'une image partielle et/ou déformée.
Fusion dirigée par les buts : reconstruction la plus complète et précise décision la plus fiable
Mars 2006 Images et Fusion 4
Tâches de la fusion
Détection Reconnaissance ou Classification Identification
Exemple : détection de mines, détection de lésions, reconnaissance d'émotions, identification de sauts d'athlétisme
Mars 2006 Images et Fusion 5
Reconnaissance des formes
Segmentation
Reconstruction
Détection des changements
Mise à jour des connaissances
Mars 2006 Images et Fusion 6
Situation de fusion
Plusieurs images d'un même capteur Plusieurs images de capteurs différents Plusieurs informations extraites d'une
même image Images et autres sources d'information
Mars 2006 Images et Fusion 7
Caractéristiques de la fusion d'images
Volume d'informations à traiter Hétérogénéité des informations nature des informations représentation (fréquentes ou rares)
Imperfections : incertitude et imprécision transition entre deux zones appartenance d'un pixel à un objet
Aspects géométriques
Mars 2006 Images et Fusion 8
Aspects géométriques
Voisinage : Évaluation de paramètres (moyenne, écart-
type) Champs de Markov
Situation géométrique : Proche ou éloigné Au dessus, en dessous Devant, derrière (occultation)
Mars 2006 Images et Fusion 9
Type des données
Mesures de type numérique : distance niveau de gris durée d'un signal …
Décision de type symbolique : classification d'un pixel existence d'une lésion reconnaissance d'un objet
Mars 2006 Images et Fusion 10
Informations numériques
informations données sous forme de nombre
espace de définition Ω ordonné exemple : la largeur d'un objet est de
23 pixels
x ∈ ΩX
Mars 2006 Images et Fusion 11
Informations symboliques informations données sous forme de
symboles, de propositions, de règles
espace de définition Ω non ordonné
H1H2
H4H3
• H1 : l’objet est une voiture
• H2 : l’objet est un camion
• H3 : l’objet est une moto
• H4 : l’objet est un piéton
Mars 2006 Images et Fusion 12
Hypothèses et propositions
hypothèses Hi : éléments de l'ensemble de
définition Ω = Η1, Η2, …, Hn
propositions Ai : éléments de l'ensemble 2Ω
des parties de Ω.
2Ω = ∅, Η1, Η2, …, Η1, Η2, Ω
Mars 2006 Images et Fusion 13
Rapprochement à la théorie des ensembles
OU logique : union ∪
ET logique : intersection ∩
Proposition : union d'hypothèses ≡ OU
entre les hypothèses
Ηi , Ηj ≡ Ηi ∪ Ηj
noté Ηi , Ηj ou Ηij
Mars 2006 Images et Fusion 14
Fusion de données
estimation d'une donnée par la
combinaison de plusieurs données
estimation des erreurs associées
(précision, certitude)
Mars 2006 Images et Fusion 15
Sources d'information
sources redondantes : même espace de définition (espace de discernement)
sources complémentaires : espaces de définition différents
Mars 2006 Images et Fusion 16
Sources concordantes
les informations données par les deux sources sont compatiblesex : source 1 : la mesure d ∈ [12,15]
source 2 : la mesure d ∈ [10,13] la qualité des informations est améliorée
Mars 2006 Images et Fusion 17
Sources discordantes
les informations données par les deux sources sont incompatiblesex : source 1 : la mesure d ∈ [12,15]
source 2 : la mesure d ∈ [9,11] → CONFLIT
si les données sont fusionnées, la qualité du résultat est dégradée
Mars 2006 Images et Fusion 18
Conflit
Causes du conflit : capteurs physiques : fonctionnement dégradé capteurs logiques : mauvaise configuration choix des hypothèses (mise en
correspondance...)
Modélisation du conflit : utilisation d'une mesure
Mars 2006 Images et Fusion 19
Décision
Choix d'une hypothèse ou d'une valeur numérique
Prise de risque. Exemple en détection : faux positifs faux négatifs
Définition d'un critère de choix : compromis "précision - certitude" maximisation d'une mesure
Mars 2006 Images et Fusion 20
Architecture de fusion
Niveau de fusion : niveau signal / pixel niveau attribut niveau objet niveau décision
Mécanismes : conversion numérique/symbolique mise en correspondance combinaison décision
Mars 2006 Images et Fusion 21
Imperfections des données
Les capteurs et les algorithmes «parfaits» n’existent pas. imprécision incertitude retard manque de données
Nécessité d’une modélisation des erreurs
Mars 2006 Images et Fusion 22
Imprécision
Estimation de la différence entre la mesure d provenant du capteur et la valeur réelle inconnue X à mesurer.
Ω∈xX d
Mars 2006 Images et Fusion 23
Exemple
La longueur de l'objet est de 52 pixels plus ou moins 4 pixels
Cela signifie :La réelle valeur X de la longueur de l'objet
est dans l’intervalle [48p ; 56p]
Mars 2006 Images et Fusion 24
Incertitude
Doute sur la réalité des différentes
hypothèses Hi
Exemple : la probabilité que le pixel
appartienne à l'objet est de 90%
Mars 2006 Images et Fusion 25
Incertitude
Doute sur la réalité des différentes
hypothèses Hi
Exemple : la probabilité que le pixel
appartienne à l'objet est de 90%
Mars 2006 Images et Fusion 26
Modélisation de la méconnaissance
Représentation du fait que l'on ne sait pas modélisation implicite (probabilités) modélisation explicite
Exemple : jeu de pile ou face :
p(pile) = 50%, p(face) = 50% prévision sismologique :
méconnaissance ≠ 50% - 50%
Mars 2006 Images et Fusion 27
Mécanisme de fusion
Analyse de problèmes de fusion sans tenir compte de l'incertitude, l'imprécision et la fiabilité Fusion de données numériques Fusion de données symboliques
Mars 2006 Images et Fusion 28
Fusion de données numériques
L'objectif est d'obtenir une estimation de la valeur réelle X à partir de deux mesures.
X d1
Ω
Mesure d1
Mars 2006 Images et Fusion 29
Fusion de données numériques
X d2
Ω
Mesure d2
Mars 2006 Images et Fusion 30
Fusion de données numériques
Les intervalles d'imprécision sont fusionnés (intersection)
X d1
Ω d2
Mars 2006 Images et Fusion 31
Fusion de données numériques
Une nouvelle estimation peut être faite
X Ω d12
Estimation d12
Mars 2006 Images et Fusion 32
Fusion de données numériques
En cas de conflit : les intervalles d'imprécision sont fusionnés (union)
X d1
Ω d2
Mars 2006 Images et Fusion 33
Fusion de données numériques
En cas de conflit : les intervalles d'imprécision sont fusionnés (union)
X Ω
d12
Mars 2006 Images et Fusion 34
Fusion de données symboliques
Phases de développement du système de fusion Obtention des mesures Espace de discernement Conversion Numérique/Symbolique Processus de fusion Décision
Mars 2006 Images et Fusion 35
Processus d'observation
Utilisation des capteurs : symboliques : click de la souris généralement analogiques : mesures de paramètres
analogiques (niveau de gris, distance, hauteur, …) Comment choisir les paramètres de mesures ? question difficile doivent être pertinants au regard de l'application
visée laissé au choix de l'expert évaluation de la quantité d'information?
Mars 2006 Images et Fusion 36
Processus d'observation
Développement de capteurs matériels et
logiciels capteurs génériques ou spécifiques (caméra, images
US, images sonar,...)
logiciels particuliers ou spécifiques (traitements des
images)
Evaluation de la pertinence des paramètres ?
Mars 2006 Images et Fusion 37
Espace de discernement
Ensemble des symboles d'intérêt : comment les choisir ?
Doivent correspondre aux besoins de l'application. Reconnaissance d'émotion : quelles emotions?
neutre ? grimaces ?
joy surprisedisgust fear neutral
Mars 2006 Images et Fusion 38
Espace de discernement
Propriétés des symboles choisis :
Exclusivité : si un symbole est vrai, alors les
autres sont faux.
Exhaustivité : la vérité correspond à au moins
un des symboles possibles (monde fermé ou
ouvert).
Mars 2006 Images et Fusion 39
Espace de discernement
Possibilité de choisir des symboles intermédiaires.
Exemple pour la posture d'une silhouette: symboles : vertical, horizontal
Définition d'espaces de discernement pertinents.
Angle
lie down+
lie d
own
-Stand up-
Stand up+
Mars 2006 Images et Fusion 40
Conversion numérique/symbolique
Lier les mesures numériques aux symboles.
Utilisation de modèles de conversion
Deux classes de modèles : Modèles statistiques : apprentissage supervisé
Modèles définis par expertise
Mars 2006 Images et Fusion 41
Conversion numérique/symbolique
Exemple: Quelle est la posture de la silhouette?
Mesure : angle entre l'axe principal et l'horizontale
Espace de discernement Ω = Horizontal, Vertical
Mars 2006 Images et Fusion 42
Conversion numérique/symbolique
π/2
0
Horizontal
Vertical
Angle π/2 π/4 3π/4 0
Définition stricte des intervalles Nécessité de gérer l'imprécision (chap. suivants)
Mars 2006 Images et Fusion 43
Processus de fusion Combinaison logique entre les sources de
mesures Informations redondantes même espace de discernement accroîssement de la confiance sur les symboles
Informations complémentaires différents espaces de discernement accroîssement de la précision sur les symboles
Fusion ⇒ même espace de discernement
Mars 2006 Images et Fusion 44
Processus de fusion
Information redondante Exemple : mesure de l'angle de l'axe principal → vertical
ou horizontal mesure de l'angle de l'axe entre points
extrêmes → vertical ou horizontal
Gestion nécessaire du conflit entre les sources (chap. suivants)
Mars 2006 Images et Fusion 45
Processus de fusion
Informations complémentaires
Exemple: mesures de distances entre les traits
d'un visage → petit ou grand
Utilisation de règles de combinaison
Opération de raffinement (refinement) et de grossissement (coarsening)
Mars 2006 Images et Fusion 46
Processus de fusion : exemple
Capteur couleur : ΩC=blue, red
Capteur forme : ΩS=circle, square
Objet : ΩO=A,B,C,D
Objectif : ΩF=Cheap, Expensive
A B C D
?
Mars 2006 Images et Fusion 47
Processus de fusion : exemple
ΩO=A,B,C,D=ΩC×ΩS
Processus de raffinement blue=A∪B, red=C∪D circle=B∪D, square=A∪C
Processus de grossissement Connaissances expertes cheap=A∪D, expensive=B∪C
A B C D
?
Mars 2006 Images et Fusion 48
Processus de fusion : exemple
Règles de combinaison
A∪B C∪D
B∪D
A∪C
B
A
D
C
A B C D
?
Raffinement
Mars 2006 Images et Fusion 49
Processus de fusion : exemple
Règles de combinaison
blue red
circle
square
exp.
cheap
cheap
exp.
A∪B C∪D
B∪D
A∪C
B
A
D
C
A B C D
?
cheap=A∪D, expensive=B∪C
Raffinement
Grossissement
Mars 2006 Images et Fusion 50
Conclusions
Conception du process de fusion :1.Raisonnement dans le cadre strict 2.Prise en compte de l'incertitude, l'imprécision,
la fiabilité, le conflit entre source, le doute 3 formalismes : probabilités (fréquentiste et subjectif) possibilités (sous ensembles flous) évidence (croyance, Dempster-Shafer)