céline hudelot comité de thèse du 26/06/2003 directeur de thèse: m. thonnat

Plate forme pour la reconnaissance automatique d’objets complexesApplication au diagnostic précoce

des pathologies végétales

Céline HudelotComité de thèse du 26/06/2003

Directeur de thèse: M. ThonnatEncadrée par : P. Boissard

26/06/2003 Comité de thèse 2

Plan de la présentation

Introduction Présentation de la plate forme:

SBC d'Interprétation SBC d’Ancrage SBC de Traitement d’Images

Application aux maladies des rosiers


Introduction

Objectifs Plate forme de vision cognitive pour la

reconnaissance d’objets naturels complexes dans leur environnement

Proposer des solutions génériques et réutilisables: indépendantes de toute application


Introduction

Vision Cognitive Etude de l’acquisition et de l’utilisation

de la connaissance et du raisonnement en vision par ordinateur (réseau ECVision)

De la « reconstruction visuelle » au « Ordinateurs qui savent voir »


Introduction

Reconnaissance d’objets: 3 sous problèmes :

Traitement d’images -> description numérique des objets

Transformation numérique <->symbolique Interprétation données symboliques pour la

reconnaissance


Introduction

Objets naturels Pas de formes géométriques prédéfinies:

Variabilité et complexité expertise du domaine nécessaire

Environnement naturel: Objets multiples et divers

Nécessite connaissance et raisonnement sur la scène

Différents contextesNécessite d ’adaptation


Introduction

Exemples d’images de pathologies de rosier


La plate forme proposée

Trois niveaux connaissance et raisonnement

SBC d’Ancrage

BC dédiée aux concepts visuels et au

management de données

Moteur d'Ancrage

SBC d'Interprétation

BC dédiée au domaine

d'application

Moteur d'Interprétation

SBC de Traitement d’Images

Bibliothèque de

programmes de TI

BC sur l'utilisation des programmes de

TI

Moteur de pilotage de

programmes

Acquisition de la connaissance

du domaine avec des concepts

visuels

Interprétation :

Oïdium précoce, développement mycelien important

Requête d'Ancrage

Requête de TI Données numériques

Description symbolique de la scene

Image courante



Rôle: Guider l’extraction de l’information

dans les images par propagation d'hypothèses sur les objets attendus

Trouver la classe des objets effectivement présents dans l’image

Interpréter la scène de manière identique à l’expert du domaine:

utilisation de terminologie, voire taxonomie du domaine



Modélisation de la connaissance Arbre de spécialisation de classes d’objets

du domaine Arbre de sous-partie attaché à chaque classe

d’objetsreflète la taxonomie du domaine

Représentation sous forme de frames avec des attributs et des champs prédéfinis



Acquisition de la connaissance: Apport du génie ontologique

Ontologie : ensemble de concepts, de relations entre concepts et d ’axiome permettant de définir un domaine:

[maillot03]: apports d’une ontologie de concepts visuels pour la description d ’objets:

concepts spatio-temporels concepts de couleur concepts de texture

Concepts du domaine décrits par concepts visuels



Raisonnement Parcours en profondeur d ’abord de

l’arbre des classes du domaine Hypothèse d’objets physiques par envoi d’une

requête d’ancrage: guide l’extraction d ’information

Mise en correspondance de la description symbolique reçue du niveau inférieur avec les classes prédéfinies

Raffinement de l interprétation


SBC d ’Ancrage

Ancrage: « Connecter dans un système artificiel les

symboles (représentations abstraites) et les données provenant des capteurs » [coradeschi99]

Rôle: Etablir correspondance entre

représentations symboliques et données images correspondant au même objet physique


SBC d’Ancrage

Formalisation de la connaissance: Connaissance déclarative:

Concepts visuels: spatio-temporels (ex: Ligne, disque, et descripteurs :

taille, élongation...) couleur (ex: teinte, luminosité,…) texture

Relations spatiales : topologiques, de distance et d’orientation

Requête d ’Ancrage: hypothèses d’objets visuels 2 types: requête objet isole, requête d ’analyse de

scène


SBC d’Ancrage

Formalisation de la connaissance: Connaissance procedurale:

Critères de traduction: de données symboliques en données numériques

Critères d’extraction d’objets: initialiser recherche information par génération de requêtes de TI

Critères de vérification: diagnostiquer les résultats obtenus

Critères d’analyse de scène: management des données dans le cas d’objets multiples


SBC d ’Ancrage

Raisonnement Construction requête TI selon description

objets visuels attendus (Critère d ’extraction d ’objets)

Sélection et mise en correspondance données images extraites et description d ’objets visuels. (critères de vérification)

Instanciation et envoi objets au SBC d’Interprétation

Raisonnement spatial: cas d’objets multiples



Rôle : Extraction et description numérique des

objets Construction dynamique du traitement en

s ’adaptant à des conditions variables : contexte du traitement



Formalisation de la connaissance: Connaissance déclarative:

Buts: fonctionnalité de traitement d’images (ex: seuillage, détection de contours)

Opérateurs: connaissance pour résoudre un but donné:

primitifs: programme particulier complexes: combinaison de programmes

Requêtes: instanciation d’un but à atteindre, données d entrée nécessaires, contraintes



Formalisation de la connaissance: Connaissance procedurale:

Critères varies implementés par des règles de production:

Critères de choix: choisir entre plusieurs alternatives

Critères d’initialisation: régler l'exécution Critères d’évaluation: diagnostiquer la qualité des

résultats Critères d’ajustement et de réparation: réparer une

mauvaise exécution



Raisonnement: Sélection des programmes dans une

bibliothèque de programmes de TI Exécution programmes sélectionnés Evaluation des résultats et adaptation si besoin

Moteur de pilotage

Bibliothèque deprogrammes

Base de connaissance de pilotage

Planification Exécution

EvaluationRéparation

résultatsplan

(Partie de)

jugementsActionscorrectrices

1 2

3

4

56

7

correct

incorrect

Requête utilisateur +données


Conclusion sur la plate forme

Une plate forme générique de vision cognitive

3 moteurs avec des raisonnement adaptés pour séparer les sous problèmes: interprétation ancrage pilotage de programme

Concepts de connaissance et structure adaptés aux différentes expertises: facilite la construction des SBC


Application aux pathologies végétales

Enjeux biologiques: Détection précoce des pathologies Quantification précise de l’infection A plus long terme, intégration dans un

système de Production Intégrée des Cultures (PIC)

Réduction de l’utilisation de pesticide : meilleure pour l’environnement, moins nocive pour les agents



Pourquoi la vision cognitive ? Diagnostic pathologies végétales = acte

visuel visant à déduire la présence de maladies par l ’observation des signes et symptômes

SAVOIR VOIR : se focaliser sur les critères pertinents

SAVOIR RAISONNER : interprétation des signes et symptômes en terme de maladies

Véritable problème vision cognitive



Acquisition d’images de pathologies 1ere année : Expérimentations sur

Choix du capteur (multi-résolutions) De la procédure d’acquisition (In situ non

destructif vs en laboratoire destructif) De la procédure d’échantillonnage :

choix des organes à observer définition de précoce : ce qu’on ne peut pas voir à

l ’œil nu

Etude de faisabilité



Acquisition de la connaissance pathologique Par interviews de Philippe Nicot et Marc Bardin

(INRA Avignon) Utilisation d’outils dédies: Annotate et Ontovis

Mise en évidence des

concepts biologiques importants

pour la reconnaissance



Ontovis: interface graphique pour la description d ’objets a l ’aide d ’une ontologie de concepts

visuels [maillot2003]

Arbre desconcepts expertsex: puceron

Arbre descomposantsex: corps

Concepts visuels de forme et descripteurs

Zone décrite



Base de connaissance du domaine: Description des signes et symptômes des

signes observables pour le rosier de serre Association organe/symptômes Actuellement: organe observé = feuille


Feuille

Saine

Non Saine

Ravageurs

Virus

Maladies fongique

s

Acariens

Penicilium

Oidium

Tube germinat

if

Coloniemyceliqu

e

Pucerons

Tissu vegetal

Nervures

rouge

vert

Compose

specialiseAleurodes

Conidies

Fructifiant


Base de connaissance du domaine:

Mycelium: • Composant de : Maladie fongique• composee de au moins 2 Hyphae•nb_hyphae = {inconnu}

Hyphae:• Composant de : Mycelium•Concept spatial : ligne

•ligne.epaisseur:= {fine, tres fine}•ligne.direction:={presque droite}

•Concept couleur: luminosite={claire}•...


SBC d’Ancrage

SBC d’Interpretation


Exemple

Non saine

Insecte

M Fongique

Virus

Requeted’Ancrage

Mycelium: • Composant de : Maladie fongique• composee de au moins 2 Hyphae•nb_hyphae = {inconnu}

Hyphae:• Composant de : Mycelium•Concept spatial : ligne

•ligne.epaisseur:= {fine, tres fine}•ligne.direction:={presque droite}

•Concept couleur: luminosite={claire}•...

•Requête d’Ancrage:•Type : Scène• au moins objet visuel 1 : ligne

•ligne.épaisseur:= {fine, très fine}•ligne.direction:={presque droite}

•nombre objet1 : inconnu•contraintes spatiales : connexité

•Requête d’Ancrage:•Type : objet seul•description spatiale : ligne


•description couleur: luminosité={claire}•description texture : aucune



SBC d’Ancrage•Requête d’Ancrage:•Type : objet seul•description spatiale : ligne


•description couleur: luminosité={claire}•description texture : aucune

Concept visuel : Ligne

Attributs haut niveauepaisseur={fine, tres fine, moyenne,epaisse}droiture={courbe, presque droite, droite}epaisseur-homogene = {vrai, faux}…

Attributs imagetypeExtremites (x1,y1), (x2,y2)largeur ...Longueur …

Critere d ’extraction:

Si ((type-objet = ligne) et (ligne.epaisseur ={fine, tres fine})

Alors Ligne.image.type = crete et Requete TI = Extraction de cretes

Critere de traduction:

Si (ligne.epaisseur = connue)

Alors Ligne.image.largeur = tableau[][]

•Hypothese objet visuel•description spatiale : ligne

•ligne.épaisseur:= valeur1•ligne.direction:=valeur 2

•description couleur: luminosité=valeur 3

•Requete TI : Extraction de cretes•but : extraction de cretes•contraintes:

•ridge.largeur = [1..3]

1

2



SBC d’AncrageConcept visuel : Ligne

Attributs haut niveauepaisseur={fine, tres fine, moyenne,epaisse}droiture={courbe, presque droite, droite}epaisseur-homogene = {vrai, faux}…

Attributs imagetypeExtremites (x1,y1), (x2,y2)largeur ...Longueur …Critere de verification

Si ligne.image.longueur > 15 *ligne.image.largeur

alors line-extraction est validee

Hypothese objet visueldescription spatiale : ligne

ligne.épaisseur:= valeur1ligne.direction:=valeur 2

description couleur: luminosité=valeur 3

Crete 1+ parametres descriptifs

Crete 2+ parametres descriptifs

Crete 3+ parametres descriptifs3

5,7

4

Instance objet visuel 1LigneLigne.epaisseur={fine}Presque droiteLongueur = [...]

Instance objet visuel 2LigneLigne.epaisseur={ tresfine}Presque droiteLongueur = [...]


Interpretation

Ancrage


Une application generique

Pilotage deprogrammes TI

Seuillage region claire + contraintes :

taille = importante

+ parametres descriptifs

InterpretationAleurod with

its eggs

Insects

Aphids

Aleurods

AcaridsAleurods:Sub class of InsectsComp of Body: has shape={surface} Body.taille = {big} Body.elongation ={important} has color={white}Comp of antenna …Can have eggs in neighborhood

Requête d'Ancrage



Exemple raisonnement spatial: Critère d ’analyse de scène:

Si au moins est présent nombre = 0 Pour tout objet de la relation

analyse de l’objet (Requête objet simple) et vérification relation

si succès, nombre = nombre +1


Communications scientifiques

Rapport technique (06/2002): Etude de faisabilité d ’un système d ’acquisition d ’images de végétaux pour la détection précoce de pathologies

http://www-sop.inria.fr/orion/personnel/Celine.Hudelot Worshops:

bio: Rencontres groupe Oidiums INRA Frejus (04/2002) : Apport de la

vision par ordinateur pour la détection précoce de pathologies Colloque International Tomate sous abri (09/2003): An automated

approach to monitoring the sanitary status and to detect early biological attacks on plants in greenhouse- Examples on flower crops

vision: Vision system control architecture (04/2003): An Architecture for Knowledge Based Vision Interpretation


Communications scientifiques

Conferences: International Conference on Tools with

Artificial Intelligence: ICTAI 2003: A Cognitive Vision Platform for Automatic

Recognition of Natural Complex Objects (soumis)


Travaux Futurs

Implémentation de la plate forme: Utilisation de LAMA, plate forme pour le

développement de systèmes à base de connaissances

Ajout d’un raisonnement à plusieurs échelles pour le système d’interprétation

Ajout éventuel de la composante temporelle Evaluation des résultats et validation de la

plate forme avec l ’application de détection des pathologies

céline hudelot comité de thèse du 26/06/2003 directeur de thèse: m. thonnat

Documents