informatique mobile n embarquement dun système de reconnaissance de caractères manuscrits sur...
Post on 03-Apr-2015
104 Views
Preview:
TRANSCRIPT
Informatique Mobile
Embarquement d’un système de reconnaissance de caractères manuscrits sur téléphone mobile
Calculette orientée stylo pour machine de poche
É. Anquetil, L. Pasquer, G. Lorette
2Informatique mobile
Documents manuscrits en-ligne :
Écriture & lecture électronique
3Thématiques de recherche
Interaction homme-machine
• Interface orientée stylo• Édition par le geste graphique• Écriture manuscrite
Embarquement du système RESIFCar
Reconnaissance d'écriture manuscrite par Systèmes d'Inférence Floue
sur des téléphones mobiles
eric.anquetil@irisa.fr
Laboratoire de recherche Partenaire IndustrielStructure UniversitaireProjet
RESIF
Reconnaissance d'écriture manuscrite (caractères et mots)
par Systèmes d'Inférence Floue (SIF)
hiérarchisés
Recherche menée depuis 1994
Thèse : E. AnquetilEncadrement : G. Lorette
6Principe de la modélisation Exploitation des connaissances
sur l'écriture manuscrite Structuration
et Hiérarchisation des connaissances modélisées
L1 : Traits descendants L2 : Contexte morphologique L3 : Liaisons
Modélisation explicite et robuste par SIF Faire face à la variabilité (intra classe) Conserver une interprétation des connaissances modélisées Associer un procédé d'apprentissage automatique
Niveau L1
Niveau L2
Niveau L3
...
7Apprentissage : génération des SIF
Classification Possibiliste [Krishnapuram 94]
Système d'Inférence Flou (SIF)
Extraction de Primitives
Ext
ract
ion
de
Prim
itive
s
Projection des Prototypes Flous
mk, L212
Attribut X1
mk, L211
Att
rib
ut
X2
rk : if ( ( (xL11 is m k, L1
11 and...and x L1r is m k, L1
1r )
and/or (xL11 is mk, L1
21 and...and xL1r is mk, L1
2r )
and/or...)
and( (xL21 is m k, L2
11 and...and x L2s is m k, L2
1s )
and/or (x L21 is m k, L2
21 and...and x L2s is m k, L2
2s)
and/or...)
and( (xL31 is m k, L3
11 and...and x L3t is m k, L3
1t )
and/or (x L31 is m k, L3
21 and...and x L3t is m k, L3
2t )
and/or...) )
then the unknown pattern belongs to class ck and not to the others
Att
rib
ut
X2
Attribut X1
Att
rib
ut
X2
Attribut X1
1 2
3 4
8Reconnaissance : identification
Niveau L1
Niveau L2
Niveau L3
Fusion / inférence floue
… / …
Classes identifiées
Mise en concurrence des modèles / au premier niveau de modélisationForme à identifier
Modèle "a" Modèle "b" Modèle "c" … / …
Niveau L1
Ana
lyse
1ère phase1
Pré-sélection des n meilleurs
modèles
2ème phase1Processus de décision final
9La technologie ResifCar (IMADOC) Reconnaissance robuste
d'une écriture "naturelle" >> omni-scripteur
Modélisation explicite de l'écriture >> connaissances interprétables
(système transparent)
Adaptation - Modularité du système >> modélisation intrinsèque
des connaissances
Noyau de reconnaissance "léger" (SIF/MMC)
>> Embarquement sur des systèmes à processeurs de performances limitées
...
...
...
...
...
...
...
...
...
10Cadre du transfert industriel Objectif
Écriture "naturelle" de textes (SMS, e-mails, notes) sur l'écran tactile du téléphone
Transfert de la technologie Resif(Car) développée à l'IRISA Reconnaissance d'écriture manuscrite en-ligne par Systèmes
d’Inférence Floue (SIF) hiérarchisés spécialisé pour la reconnaissance de caractères isolés :
lettres, chiffres, symboles spéciaux
Collaboration avec la société PurpleLabs Portage et adaptation de Resif(Car) sur téléphones mobiles
Durée Octobre 2000 : Début des travaux de portage et d'adaptation Août 2002 : Commercialisation des 1ers produits (I-GO 500)
11Contraintes associées au téléphone (PurpleLabs)
Produit conçu par
la société PurpleLabs
"Smartphone" : modèle A700
Combine les fonctionnalités d'un
téléphone et d'un PDA
Ressources mémoires disponiblespour la reconnaissance d'écriture
Rom Ram
Système de reconnaissance
50 Ko200 Ko
Taille Mémoire
• ARM 7 TDMI (13 Mhz)
Microprocesseur
• Basse résolution
0.20 mm (pixel pitch)• Fréquence d'échantillonnage
20 points / s
Écran Tactile
12Resif(Car) embarqué sur le smartphone A700
0.5 s
Temps de calculavec le Processeur ARM7 TDMI (13Mhz)
Transfert "brut"Après optimisation
Lettre “t” 9 s 0.62 s
Lettre “a” 11 s 0.49 s
En Moyenne
11 s
Temps de calcul réel
Ressources mémoires utilisées pour la reconnaissance d'écriture
Rom Ram
Système de reconnaissance
48 Ko
31.6 KoModèleslettres et chiffres (63+26)
60.9 Ko
Taille mémoire
110 Ko 32 KoTotal
Taux de reconnaissance sur les caractères isolés
92%
13Perspectives Portage / Embarquement du logiciel Resif(Mot)
Reconnaissance d'écriture cursive liée (mots)
Extensions Exploitation de grands lexiques
Gestion des connaissances lexicales, complétion, …
Adaptation au style d'écriture de l'utilisateur
Extension du système Resif aux caractères Chinois / Japonais
Calculette orientée stylopour machine de poche
Laurent.PAsquer@irisa.fr
Laboratoire de recherche Structure de RechercheProjet
15DigiCarbon Boîte à outils JAVA pour construire
interfaces orientées stylo édition/manipulation gestuelle documents structurés simples
Suite des travaux sur SPI Système de Perception et d'Interprétation
Applications en cours de développement CarbonMaths : formules mathématiques simples CarbonMusiq : portée musicale CarbonGraph : graphe étiqueté
16Principe de DigiCarbon 1/2 Double représentation du document structuré
description graphique des symboles et gestes
<primitive nom="plus"> <segment nom="verticale" angle="-90±30"/> <segment nom="horizontale" angle="0±30"/></primitive>
description grammaticale du document
<forme nom="somme"><ref-forme nom-forme="sigma" nom="sigma"/>
<ref-forme nom-forme="formule" nom="dedans"/><ref-positionnement nom="pos_à_droite" liste="dedans,sigma"/>
<ref-forme nom-forme="formule" nom="en_haut"/><ref-positionnement nom="pos_au_dessus" liste="en_haut,sigma"/>
<ref-forme nom-forme="formule" nom="en_bas"/><ref-positionnement nom="pos_en_dessous" liste="en_bas,sigma"/>
</forme>
17Principe de DigiCarbon 2/2 Prédiction des actions de l'utilisateur
nouveaux symboles possibles gestes de modifications autorisés
Prédiction du lieu de ces actions positions d'insertion des symboles (exposant, ...) localisation des gestes : globale, locale
Analyse dynamique des tracés position => symboles/gestes possibles choix du meilleur symbole/geste dans son contexte
Interaction continue affichage du contexte (lieu de l'action) proposition du symbole/geste choisi
18Portage de DigiCarbon sur SuperWaba SuperWaba
mini machine virtuelle Java PalmOS, Pocket-PC, symbian ?
Analyse de la grammaire hors-ligne grammaire XML => grammaire sérialisée
Poids de l'interface calculette : 332 ko Sérialisation : 15ko DigiCarbon : 290ko Interface CarbonMaths : 13ko Grammaire : 14ko (grammaire XML : 35ko)
Poids de la machine virtuelle SuperWaba Pocket-PC : 335ko PalmOS : 395ko
top related