Informatique Mobile

Embarquement d’un système de reconnaissance de caractères manuscrits sur téléphone mobile

Calculette orientée stylo pour machine de poche

É. Anquetil, L. Pasquer, G. Lorette

2Informatique mobile

Documents manuscrits en-ligne :

Écriture & lecture électronique

3Thématiques de recherche

Interaction homme-machine

• Interface orientée stylo• Édition par le geste graphique• Écriture manuscrite

Embarquement du système RESIFCar

Reconnaissance d'écriture manuscrite par Systèmes d'Inférence Floue

sur des téléphones mobiles

eric.anquetil@irisa.fr

Laboratoire de recherche Partenaire IndustrielStructure UniversitaireProjet

RESIF

Reconnaissance d'écriture manuscrite (caractères et mots)

par Systèmes d'Inférence Floue (SIF)

hiérarchisés

Recherche menée depuis 1994

Thèse : E. AnquetilEncadrement : G. Lorette

6Principe de la modélisation Exploitation des connaissances

sur l'écriture manuscrite Structuration

et Hiérarchisation des connaissances modélisées

L1 : Traits descendants L2 : Contexte morphologique L3 : Liaisons

Modélisation explicite et robuste par SIF Faire face à la variabilité (intra classe) Conserver une interprétation des connaissances modélisées Associer un procédé d'apprentissage automatique

Niveau L1

Niveau L2

Niveau L3

...

7Apprentissage : génération des SIF

Classification Possibiliste [Krishnapuram 94]

Système d'Inférence Flou (SIF)

Extraction de Primitives

Ext

ract

ion

de

Prim

itive

s

Projection des Prototypes Flous

mk, L212

Attribut X1

mk, L211

Att

rib

ut

X2

rk : if ( ( (xL11 is m k, L1

11 and...and x L1r is m k, L1

1r )

and/or (xL11 is mk, L1

21 and...and xL1r is mk, L1

2r )

and/or...)

and( (xL21 is m k, L2

11 and...and x L2s is m k, L2

1s )

and/or (x L21 is m k, L2

21 and...and x L2s is m k, L2

2s)

and/or...)

and( (xL31 is m k, L3

11 and...and x L3t is m k, L3

1t )

and/or (x L31 is m k, L3

21 and...and x L3t is m k, L3

2t )

and/or...) )

then the unknown pattern belongs to class ck and not to the others

Att

rib

ut

X2

Attribut X1

Att

rib

ut

X2

Attribut X1

1 2

3 4

8Reconnaissance : identification

Niveau L1

Niveau L2

Niveau L3

Fusion / inférence floue

… / …

Classes identifiées

Mise en concurrence des modèles / au premier niveau de modélisationForme à identifier

Modèle "a" Modèle "b" Modèle "c" … / …

Niveau L1

Ana

lyse

1ère phase1

Pré-sélection des n meilleurs

modèles

2ème phase1Processus de décision final

9La technologie ResifCar (IMADOC) Reconnaissance robuste

d'une écriture "naturelle" >> omni-scripteur

Modélisation explicite de l'écriture >> connaissances interprétables

(système transparent)

Adaptation - Modularité du système >> modélisation intrinsèque

des connaissances

Noyau de reconnaissance "léger" (SIF/MMC)

>> Embarquement sur des systèmes à processeurs de performances limitées

...

...

...

...

...

...

...

...

...

10Cadre du transfert industriel Objectif

Écriture "naturelle" de textes (SMS, e-mails, notes) sur l'écran tactile du téléphone

Transfert de la technologie Resif(Car) développée à l'IRISA Reconnaissance d'écriture manuscrite en-ligne par Systèmes

d’Inférence Floue (SIF) hiérarchisés spécialisé pour la reconnaissance de caractères isolés :

lettres, chiffres, symboles spéciaux

Collaboration avec la société PurpleLabs Portage et adaptation de Resif(Car) sur téléphones mobiles

Durée Octobre 2000 : Début des travaux de portage et d'adaptation Août 2002 : Commercialisation des 1ers produits (I-GO 500)

11Contraintes associées au téléphone (PurpleLabs)

Produit conçu par

la société PurpleLabs

"Smartphone" : modèle A700

Combine les fonctionnalités d'un

téléphone et d'un PDA

Ressources mémoires disponiblespour la reconnaissance d'écriture

Rom Ram

Système de reconnaissance

50 Ko200 Ko

Taille Mémoire

• ARM 7 TDMI (13 Mhz)

Microprocesseur

• Basse résolution

0.20 mm (pixel pitch)• Fréquence d'échantillonnage

20 points / s

Écran Tactile

12Resif(Car) embarqué sur le smartphone A700

0.5 s

Temps de calculavec le Processeur ARM7 TDMI (13Mhz)

Transfert "brut"Après optimisation

Lettre “t” 9 s 0.62 s

Lettre “a” 11 s 0.49 s

En Moyenne

11 s

Temps de calcul réel

Ressources mémoires utilisées pour la reconnaissance d'écriture

Rom Ram

Système de reconnaissance

48 Ko

31.6 KoModèleslettres et chiffres (63+26)

60.9 Ko

Taille mémoire

110 Ko 32 KoTotal

Taux de reconnaissance sur les caractères isolés

92%

13Perspectives Portage / Embarquement du logiciel Resif(Mot)

Reconnaissance d'écriture cursive liée (mots)

Extensions Exploitation de grands lexiques

Gestion des connaissances lexicales, complétion, …

Adaptation au style d'écriture de l'utilisateur

Extension du système Resif aux caractères Chinois / Japonais

Calculette orientée stylopour machine de poche

Laurent.PAsquer@irisa.fr

Laboratoire de recherche Structure de RechercheProjet

15DigiCarbon Boîte à outils JAVA pour construire

interfaces orientées stylo édition/manipulation gestuelle documents structurés simples

Suite des travaux sur SPI Système de Perception et d'Interprétation

Applications en cours de développement CarbonMaths : formules mathématiques simples CarbonMusiq : portée musicale CarbonGraph : graphe étiqueté

16Principe de DigiCarbon 1/2 Double représentation du document structuré

description graphique des symboles et gestes

<primitive nom="plus"> <segment nom="verticale" angle="-90±30"/> <segment nom="horizontale" angle="0±30"/></primitive>

description grammaticale du document

<forme nom="somme"><ref-forme nom-forme="sigma" nom="sigma"/>

<ref-forme nom-forme="formule" nom="dedans"/><ref-positionnement nom="pos_à_droite" liste="dedans,sigma"/>

<ref-forme nom-forme="formule" nom="en_haut"/><ref-positionnement nom="pos_au_dessus" liste="en_haut,sigma"/>

<ref-forme nom-forme="formule" nom="en_bas"/><ref-positionnement nom="pos_en_dessous" liste="en_bas,sigma"/>

</forme>

17Principe de DigiCarbon 2/2 Prédiction des actions de l'utilisateur

nouveaux symboles possibles gestes de modifications autorisés

Prédiction du lieu de ces actions positions d'insertion des symboles (exposant, ...) localisation des gestes : globale, locale

Analyse dynamique des tracés position => symboles/gestes possibles choix du meilleur symbole/geste dans son contexte

Interaction continue affichage du contexte (lieu de l'action) proposition du symbole/geste choisi

18Portage de DigiCarbon sur SuperWaba SuperWaba

mini machine virtuelle Java PalmOS, Pocket-PC, symbian ?

Analyse de la grammaire hors-ligne grammaire XML => grammaire sérialisée

Poids de l'interface calculette : 332 ko Sérialisation : 15ko DigiCarbon : 290ko Interface CarbonMaths : 13ko Grammaire : 14ko (grammaire XML : 35ko)

Poids de la machine virtuelle SuperWaba Pocket-PC : 335ko PalmOS : 395ko