modèles en fusion d’information

Systèmes de perception/ACCIS 1

Modèles en Fusion d’Information


Pourquoi la Fusion d’information ? estimation, décision, diagnostique

MAIS les données sont incomplètes, imprécises, non parfaitement fiables...

utiliser la complémentarité et la redondance entre informations pour affiner et robustifier les estimations/décisionsENCORE FAUT-IL que l’information de chaque soit représentée ‘correctement’

Distinguer la variabilité de l’ignorance

Pourquoi la Fusion d’information ?


Objectifs classiques en fusion Synthèse de l'informationÉviter la redondance lorsque plusieurs sources détectent le même phénomèneMise en commun des informations relatives à un même objet, une même variable et provenant de plusieurs sources (capteurs physiques, vs logiques) Augmentation de la qualité de l’information

Préciser l’informationAmélioration de l’estimation par recoupement d'informations provenant des différents capteurs (règle de type conjonctif !)

Robustifier l’informationCertifier la consistance de l’information par recoupement d'informations provenant des différents capteurs (filtrage)

Cas d’école: pistageSuivi des déplacements d'un objet au cours du tempsCalcul de la position, vitesse, classe... Capteurs hétérogènesLes détections à fusionner proviennent de capteurs aux caractéristiques très

différentes (portée, précision de la localisation, …) Cadre de discernement homogèneChaque capteur n'a qu'une vue partielle de la zone à surveiller, mais les

observations concernent les mêmes variables d’état

t1 : Caméra visible

t2 : Pir

t3 : Microt4 : Caméra IR

Exemple de problème de Fusion


Origines de l’incertitude: variabilité des phénomènes aléatoires (tirages, etc...)Défaut d’information: incomplétude, ignoranceInconsistance des informations: conflit

2 types d’informations: tendances générales (cas typiques), cas particulier (observation directe éventuellement imprécise)

Distinction de ces 2 types d’information en théorie des probabilités probabilités fréquentistes versus probabilités subjectives

Paradoxes (instabilité, réfutation empirique...)

Pourquoi aller au-delà des probabilités ?

Ex. Lancer de dé, date de naissance...

Ex. Paradoxe de Bertrand, paradoxe d’Ellsberg


Panorama des théories de l’incertain

Théorie des probabilités imprécises

(upper-lower probabilities disjunctive convex sets of

probabilities)

Analyse par intervalles

Théorie des fonctions de croyances(random disjunctive sets)

Théorie des possibilités(fuzzy (nested disjunctive)

sets)

Théorie des probabilités

(randomized points)

Probabilités fréquentistes

Probabilités subjectives

Représentations ensemblistes (set-based representations)

Logique floue

Shafer, SmetsDempster


Modèles basés fonctions de croyances

6

• Modéliser l’imprécision et l’incertitude croyance sur un ensemble disjonctif (intervalle...),

• Modéliser l’ignorance croyance sur le cadre de discernement complet,• Prendre en compte la non idépendence des sources ( règles de combination

idempotentes),• Détecter les sources/données aberrantes mesurer le conflit entre les

sources (m(), etc.),• …

Ground truth

C1 C3C2

S1&2 classif.

C1

C3

C2

S1 classif.

C1C3 C2

S2 classif.

C3 C1C2

Exemple jouet en classification d’image

S1&2 classif.En modélisant les ambiguités entre classes

En modélisant l’imprecision spatiale BF définis via les

opérateurs de Math. Morph.


Décomposition du conflit (fonctions de croyances)

• Le désaccord entre sources classiquement mesuré par m().Décomposition unique sur les hypothèses du cadre de discernement

chacun des termes de la décomposition est interprété comme la contribution au conflit Dempsterien.

Roquel A., Le Hégarat-Mascle S., Vincke B., and Bloch I., "Decomposition of conflict as a distribution on hypotheses in the framework on belief functions", International Journal of Approximate Reasoning, in revision.

Exemple jouet en classification

Identification de l’origine du conflit (ici erreur sur de l’hyp. H2) grâce à la décomposition proposée.

Birdview des trajectoires du robot estimées resp. par chacune des sources individuellement, ou par fusion des sources, ne prenant pas en compte ou prenant

en compte la mesure proposée du conflit.

Application au pb de la localisation


Approche unifiée pour syst. de surveillance répartiAndré C., Le Hégarat-Mascle S., and Reynaud R., “Smartmesh”.

• Classiquement système de pistage inclus différents blocs fonctionnels (prédiction, association, mise à jour, gestion des pistes) chaque sous-problème est alors traité selon son propre cadre de discernement.

Approche unifiée cadre de discernement = pavage 2D de la région

• Représentation de l’information de localisation bbas consonantes réparties aux différents nœuds contrôle de la quantité d’information de la représentation

• Prise en compte d'éléments topographiques :Règle disjonctive versus règle conjonctive

• Association plots-pistes :Pour n associations recherchées, le cadre de discernement est 2n; maximiser la plausibilité sur 2n tout en forçant la localisation à coïncider la fonction d’association â(.):

• Mise à jour :Combinaison évidentielle des plots et pistes associés

n

iOO

.aiai

.a iai

nmmaxargn...i,OOplmaxarga

111

2


ADAS : Estimation de la fatigue du conducteur

Constat : D’après un rapport du NHTSA[1], 20% des accidents (16% des accidents mortels) avaient pour cause une distraction ou un endormissement du conducteur.

[1] National Highway Transportation and Safety Administration. An examination of driver distraction as recorded in nhtsa database, Sept 2009

Sources d’information potentielles Observation directe du conducteur :

- Perclos (percentage of eyes closure)- Fréquence de clignement des yeux- Durée de fermeture des paupières

Environnement routier : Position et évolution du véhicule dans sa voieStyle de conduite du véhicule : Fluidité, accélérations

Modélisation de la fatigueEspace de discernement dérivé du

modèle ORD Spécificités :1- Certaines données sont dépendantes, d’autres non2- Présence de conflit lorsque les sources se contredisent

Combinaison d’informations directes et indirectes très imprécisesUtilisation des fonctions de croyances

Emission d’une alarme en cas de détection d’endormissement


Méthode multi-hypothèses par analyse par intervalles BESE : Bounded Error State Estimation

Intérêt : L’analyse par intervalle propose la caractérisation d’un ensemble solution garantie à partir de mesures et modèles à erreurs bornées.

L’analyse par intervalle permet :L’extension aux intervalles des fonctions élémentaires

La fonction d’inclusion [f] de f revoie un intervalle tel que

Problème d’inversion de l’observationCas ensembliste : caractérisation de l’ensemble X image réciproque de la fonction vectorielle f de Y

. xxxfxf

xfxfDx ,Rf x( ) f x( )

x x

[ ]x [ ]x

[ ]([ ])f x [ ]([ ])f x

sm n...i,iyx,iyS 1 Xx

?

x2

x1

[ ]( )x]y [m

[x ]0


Propagation de Contraintes

Décomposition en contraintes primitives et propagation de contraintes


Fusion de données ensembliste (GPS, odomètre, gyromètre)

Etape de prédiction : utilisation d'ImageSP

Etape de correction : utilisation de SIVIA

Techniques probabilistes supposent des mesures sans biais

A. Lambert, D. Gruyer, B. Vincke, E. Seignez. "Consistent Outdoor Vehicle Localization by Bounded-Error State Estimation"IEEE International Conference on Intelligent Robots and Systems. Best Paper Award Finalist. 2009, p. 1211-1216.

Hypothèsenon valide

Inconsistancede la solution

Technique alternative utilisant l'arithmétique intervalle et pour seule hypothèse un bruit borné


Modèles en Traitement d’Images et Perception


Pourquoi le Traitement d’images ?

capteur plus large spectre qui permette l’extraction de plusieurs paramètres physiques

MAIS grande richesse en termes d’information complexité, accès indirect…

traitement d’images orienté Vision, c’est-à-dire piloté par l’objectif

e.g. Objets attendus versus objets inattendus

ENCORE FAUT-IL définir un critère de détection des objets

Modèles versus significativité

Quel traitement d’images ?


Exemple de problème de traitement d’image

2 grands types de traitement d’images

Cartographie image interprétée en tant que carte…de profondeur (à partir d’une paire dimages stéréo), humidité de surface (à partir de télédétection SAR),des organes et tissus (à partir d’imagerie médicale),... de label en classification... décider en chaque pixel la valeur du paramètre à

cartographier, e.g. grandeur physique ou un label

‘Detection/identification’ image interprétée pour en déduire…

les objets d’intérêt, les caractéristiques cde ces objets d’intérêt,… classification niveau objet, suivi d’objets… détecter and caractériser les objets présents

dans l’image ou la séquence vidéo

Cas d’école: analyse de scène dynamiqueSegmentation statique/dynamiqueCas de séquences vidéo, mono ou multicamérasCaméra embarquéeEstimation du mouvement (6dof) : Odométrie visuelle Problème d’optimisation en présence d’outliersModèle sur la partie statiquePartie statique: dominante, consistante, structurée…Partie dynamique complémentaire


Modèles de…..

Approches basées modèle

Modèles de caméras

Approches cumulatives (Modèles paramétriques)

Approches a contrario

Modélisation du bruit

Procédures statistiques classiques: tests,

analyse de la variance...Modèles d’objets

Modélisation tensorielle


Modélisation a contrario Exemple de la détection d’alignement (Desolneux et al., 2000)

17 Principe de Helmholtz : « Toute structure trop régulière pour apparaître ‘par hasard’ attire l’attention et devient une perception »

Principe des méthodes a contrario : détecter une configuration en contredisant un modèle d’absence de structure (i.e. de bruit) dit naïf

Soit E l'ensemble des événements, Pr la probabilité d'apparition d’un événement e de E. Pour tout eE, on définit le Nombre de Fausses Alarmes tel que

NFA(e) = |E|.Pr(e) et pour tout 0, e est dit -significatif si

NFA(e)

Illustration du principe de Helmholtz. [Desolneux 2003]

Détection des structures ‘trop régulières’ Mesure d’1 déviation (étonnement) / modèle de bruit


Critère NFA Problème de détection Pb d’optimisation

18 Niveau pixel: N1 : en l’absence de structuration, l’image différence (foreground-background) est un champ aléatoire de variables gaussiennes centré de variance 2

Niveau fenêtre: N2 : en l’absence de structuration, le nombre de points dans un pavé donné suit une distribution binômiale de paramètre p

Ammar M., Le Hégarat-Mascle S., Vasiliu M., and Reynaud R., "An A-Contrario Approach for Object Detection using Embedded Camera System", Pattern Recognition, submitted.

Example of detection (static camera case): (a) Absolute difference image between foreground and background images, (b) curves of log\(NFA1) and 2 versus cardinality of D (subdomain of amazingly consistent pixels), (c) result of detection at pixel level: 3 label image (whiteobject, blackbackground), (d) result of detection at window level (medium window sizes), (e) curves of -log(NFA2) versus cardinality of the window subset (amazingly dense windows), (f) result of detection at window level (small windows).

(a) (b) (c) (d)

(e) (f)


Critère NFA Estimation de paramètres en présence d’outliers

19 Modèle naïf représente l’absence de données structurées ‘étonnement’ par rapport à

la détection d’une structure D’AUTANT PLUS SIGNIFICATIVE que les paramètres cachés sont correctement estimés

SLOD (Simultaneous Localisation and Object Detection) : A partir d’1 base d’images ‘ancienne’, et d’1 nouvelle acquisition, Estim. de (i) translation spatio-temporelle, (ii) transfo. des niv. de quantif., et (iii) du sous-domaine image / minimisent NFA

Estimation de l’égomouvement

Le Hégarat-Mascle S., Robin A., & Reynaud R., “Simultaneous Localization and Object Detection using an a-contrario approach”, ICVGIP’10, 2010.

?

?

Val. NFA en fct de l’indice de l’im. dans base observat° d’1 minimum clair

Base d’ images


Approches cumulatives Exemple de la transformée de Hough

21 Principe: Les objets recherchés sont décrits à l’aide de fonctions simples modélisées par leurs paramètres (Ex.: segments de droites, arcs de cercles)

La transformée de Hough permet de passer de l’espace image à l’espace des paramètres pour rechercher dans cet espace les objets d’intérêt

Dans cet espace des paramètres, les objets d’intérêt sont des points et tous les pixels de l’image appartenant à un objet d’intérêt s’accumulent au point correspondant dans l’espace des paramètres aussi appelé espace cumulatif

Droite de paramètres (r0,) d’éq. r = r0.sec(-)

r0 = r.cos().cos()+ r.sin().sin()

r0 = x.cos()+ y.sin()r0

M(r,)

r

M0(r0,)

-/2

r0/r = |cos (-)|


détection• par accumulation d’ ‘indices’,• dans un espace approprié.

Identification de plans dans l’espace c-vélocité

Flot optique w

c-map

Cas d’1 plan frontalCas d’1 plan horizontal Cas d’1 plan latéral

Espace de vote cumulatif

w

c

Détection d’un plan latéral

Bouchafa S., Zavidovique B., “C-velocity: a Cumulative Frame to Segment Objects from Egomotion”, Pattern Recognition and Image Analysis, 19(4):583-590, 2009.


Modèle de caméra Modélisation du mouvement par contraintes multi-vues

Modélisation tensorielle • Analyse espace-temps (vision stéréoscopique)• Relations entre les amers observés (Point-line-point transfer)• Operateur de transfert quadrifocal (stéréo + temps) [Comport

et al 07]

• Meilleur conditionnement (vs. M. fondamentale, mvmt suivant les lignes épipolaires) • Non-linéarisation du mouvement (ex. flot optique)• Simplification par la condensation de contraintes dans un operateur


Méthode robuste à la présence de données aberrantes

Segmentation d’observations en statiques (inliers) et dynamiques/aberrantes (outliers)

Relaxation de la contrainte d’absence d’outliers ou de détection de ces derniers pour ne pas les prendre en compte dans l’estimation M-estimateurs

Fonction de pondération

Illustration dans le cas de la régression linéaire

• Estimateur robuste : remplacer la minimisation de la somme des carrés des résidus, par une fonction des résidus(e.g.Hiber, Cauchy, Tukey, Geman) [Stewart 99]

minimisation d’un problème de moindres carrés pondérés Estimation itérative de poids via un schéma d’estimation IRLS

(iterative reweighted least squares)


Application: Odométrie visuelle en milieu urbain

Trajectoire de 700mDérive sur le plan (2D) : 3.9%Dérive en altitude : 0.25%

Trajectoire de 227mOdométrie multimodaleDérive 3D ~ 4m

Rodriguez, S. A., Fremont, V., Bonnifait, P., & Cherfaoui, V. “Multi-Modal Object Detection and Localization for High Integrity Driving Assistance”, Machine Vision Applications, 2011.

Formalisation de la solution proposée [ITSC 2009], [MVA 2012] – Mesure du mouvement:

» Points d’intérêt suivi au cours du temps– Mouvement prédit suivant les contraintes projectives :

» Points d’intérêt projetés par l’operateur quadrifocal

Fonction d’erreur

– Optimisation: méthode de descente de gradient (LM)


Du point de vue du clustering des données aberrantes et des sources…

Méthodes robustes

Approches cumulatives

Approches a contrario

Gestion des données aberrantes

Inconsistance des informations: conflit

Fusion de données

modèles en fusion d’information

Documents