mathieu delalandre ¹ , eric trupin ¹ , jean-marc ogier ² , jacques labiche ¹

CIFED’04 : Jeudi 24 Juin 2004

FRE 2645

Système contextuel de reconnaissance Système contextuel de reconnaissance structurelle de symboles, basé sur une structurelle de symboles, basé sur une méthodologie de construction d'objetsméthodologie de construction d'objets

Mathieu Delalandre¹, Eric Trupin¹, Jean-Marc Ogier², Jacques Labiche¹

¹ Laboratoire PSI, Université de Rouen² Laboratoire L3I, Université de La Rochelle

Jeudi 24 Juin 2004CIFED’04, La Rochelle

CIFED’04 : Jeudi 24 Juin 2004

PlanPlan

Introduction Présentation du Système Cas d’Usage Conclusion & Perspectives

CIFED’04 : Jeudi 24 Juin 2004

IntroductionIntroductionSystème de « traitement » de données Système de « traitement » de données

graphiques (1)graphiques (1)

Buts: extraction/structuration, indexation, apprentissage,

reconnaissance, rétro-conversion, interprétation Contenu sémantique de plus haut niveau

Sources: Plans techniques (Electriques, Architecturaux, .) Données Web images & semi structurées (PDF, XML, .) Parties graphiques sur les documents anciens Etc.

CIFED’04 : Jeudi 24 Juin 2004

IntroductionIntroductionSystème de « traitement » de données Système de « traitement » de données

graphiques (2)graphiques (2)

données de plus haut

niveau sémantique

données de plus haut

niveau sémantique

Système de

contrôle

Librairie de

traitements

Base deConnaissances IHM

données graphiques

données graphiques

CIFED’04 : Jeudi 24 Juin 2004

IntroductionIntroductionSystème de « traitement » de données Système de « traitement » de données

graphiques (3)graphiques (3)

Librairie de Traitements: Extracteurs structurels: régions,

squelette/contours, plages, segmentation, suivi de trait, etc.

Combinaison d’extracteurs

Base de connaissances: Formalismes: règles, graphes, etc. Connaissances descriptives et stratégiques

CIFED’04 : Jeudi 24 Juin 2004

IntroductionIntroductionSystème de « traitement » de données Système de « traitement » de données

graphiques (4)graphiques (4)

Système de contrôle: Mode de contrôle: pilotage de traitements, SMA,

blackboard Contextuel / non contextuel

Le bruit La dimension

Near

L’environnement graphique

CIFED’04 : Jeudi 24 Juin 2004

IntroductionIntroductionPositionnement de notre système (1)Positionnement de notre système (1)

Postulat: Combinaison d’extracteurs Connaissances descriptives & stratégiques Système contextuel Méthodologie de construction d’objets

Object-Process Methodology (OPM): Traitements, Objets Relations (E/S, Héritage, Agrégation, Attribution)

CIFED’04 : Jeudi 24 Juin 2004

IntroductionIntroductionPositionnement de notre système (2)Positionnement de notre système (2)

S1

S2

S3

G1

G2

G1 S1 G2 S2

G4

G3

G3 S1G2 S2G4 S3

S3 : G4 G2 S2S1 : G3 ‘G1’ G2 S2

CIFED’04 : Jeudi 24 Juin 2004

IntroductionIntroductionPositionnement de notre système (3)Positionnement de notre système (3)

S1

S2

S3

G1

G2

G4

G1 S1G2 S2 ; S3

G2 S2G4 S3

OPD

CIFED’04 : Jeudi 24 Juin 2004

Présentation du SystèmePrésentation du SystèmeIntroductionIntroduction

données de plus haut

niveau sémantique

données de plus haut

niveau sémantiquersOPM

PSILib Base deConnaissances

XMLIHM

données graphiques

données graphiques

CIFED’04 : Jeudi 24 Juin 2004

Présentation du SystèmePrésentation du SystèmePSILibPSILib

Prétraitements Filtrage ng, binarisation, morphologie, segmentation bruit/forme Estimateurs bruit (morphologique, impulsionnel)

Extracteurs primitives statistiques Fourier-Mellin, Zernike, sondes circulaires, géométriques KPPV

Extracteurs primitives structurelles Régions (inclusion, voisinage, contrainte) Lignes (squelette/contour, segmentation, polygonisation, arc, courbe) Librairie d’appariement de graphes

CIFED’04 : Jeudi 24 Juin 2004

Présentation du SystèmePrésentation du SystèmeXML-IHM et Base de ConnaissancesXML-IHM et Base de Connaissances

IHM Etude et conception (XMLdipi, MandaraxEditor) Apprentissage (XMLgml, ojgBE) Recherche et navigation (QuiltRAG, 2iRDF) Evaluation (XMLibi)

Base de connaissances Formalismes: règles, graphes, vecteurs de primitives, etc. Représentation: XML, SVG, XGMML, RuleML, RDF

CIFED’04 : Jeudi 24 Juin 2004

Présentation du SystèmePrésentation du SystèmeRule based System for OPMRule based System for OPM (1) (1)

Opérateurs: Interface (traitement ou chaîne de traitements) Contrôle : RuleML définition du système « en tout interprété »

Règles : {F, P, Q} F : base de faits P : base de prédicats Q : la requête

Prédicats : {Pr, O, S, R} {Pr} Traitement {O} Objet(s) {S} Paramètre(s) {R} Règle(s)

CIFED’04 : Jeudi 24 Juin 2004

Présentation du SystèmePrésentation du SystèmeRule based System for OPMRule based System for OPM (2) (2)

rsOPM

TraitementsBase de

Connaissances

OPM/OPD: OPD global est formalisé implicitement

via la base de règles et via les bases de connaissances associées

OPD local est construit lors du processus d’inférence

Objets et Règles

Règles

Objets &Paramètres

CIFED’04 : Jeudi 24 Juin 2004

Cas d’UsageCas d’UsageIntroductionIntroduction

Symbol Contest GREC’03: 20 symboles électriques et

architecturaux segmentés 9 séries de tests de 100

images dégradées

CIFED’04 : Jeudi 24 Juin 2004

Cas d’UsageCas d’UsageEtape I: Prétraitement contextuelEtape I: Prétraitement contextuel

Opérateurs d’évaluation: bruit impulsionnel et bruit morphologique

10 de prédicats Opérateurs de filtrage:

restauration, ‘filtrage léger’, restitution, ‘filtrage lourd’, segmentation

Bruit impulsionnel Bruit morphologique

(v,s)fp (e,s)frp (e,ns)dxp

CIFED’04 : Jeudi 24 Juin 2004

Cas d’UsageCas d’UsageEtape II: Reconnaissance OPM (1)Etape II: Reconnaissance OPM (1)

CIFED’04 : Jeudi 24 Juin 2004

Cas d’UsageCas d’UsageEtape II: Reconnaissance OPM (2)Etape II: Reconnaissance OPM (2)

Sym1 (Aa, Ae, Ah, Eb, Ee) Node01 (Ec, Ed, Ef, Eh)

Node02 (Ac, Ad, Ai, Ea, Eg, Ei) Node04 (Ab, Af, Ag, Aj, Ej)

GrapheDe Région

ReconnaissanceStatistique

ReconnaissanceStructurelle

Image Label

CIFED’04 : Jeudi 24 Juin 2004

Cas d’UsageCas d’UsageRésultats (1)Résultats (1)

CIFED’04 : Jeudi 24 Juin 2004

Cas d’UsageCas d’UsageRésultats (2)Résultats (2)

Résultats Contest GREC

70

75

80

85

90

95

100

tests

% r

eco

nn

aiss

ance

P1

P2

OPM

CIFED’04 : Jeudi 24 Juin 2004

Conclusion & PerspectivesConclusion & Perspectives

Conclusion Système « adaptable » Combinaison d’approches Tire partie de la structuration des connaissances

hétérogènes: Pour l’adaptation au contexte Pour l’accroissement de ses capacités de reconnaissance

Perspectives Extracteurs structurels « lignes » Cas d’usage (indexation, interprétation, etc.)