majordome : assistant personnel et messagerie unifiée g. chollet, l. likforman, k. hallouli, n....
TRANSCRIPT
MAJORDOME : Assistant personnel et Messagerie unifiée
G. Chollet, L. Likforman, K. Hallouli, N. Azzabou,, S.S. Lin, D. Mostefa, S. Renouard,
A. Acoulon, F. Yvon, M. Sigelle, F. Yvon(étude finançée par le projet Eureka MAJORDOME)
Page 2 Majordome GET - 24/02/2004
Garde la mémoire (adresses, agenda, infos personnelles)
Communique (au téléphone) avec vos interlocuteurs
Interprète votre messagerie écrite, vocale et vos
télécopies
Vérifie votre identité Répond à vos questions
Le MAJORDOME peut être centralisé (serveur d'entreprise), mobile (sur PDA ou PC-portable) ou distribué.
Le MAJORDOME est un assistant intelligent personnel qui :
Page 3 Majordome GET - 24/02/2004
Les fonctionnalités du Majordome
• Speaker verification
• Dialogue
• Routing
• Updating the agenda
• Automatic summary
Voice
Fax
Page 4 Majordome GET - 24/02/2004
Authentification du locuteur
Fonctionnalités du Majordome
Page 5 Majordome GET - 24/02/2004
Fonctionalités du Majordome
Tâches de fond (au niveau du serveur):– Tri, interprétation et filtrage de messages
(E-mail, voice, fax, SMS,…);– extraction des informations pertinentes pour le client
(nom de l'expéditeur, objet du message,…).
Dialogue avec le client (par le téléphone ou internet)– Le système présente l'état de la messagerie
intégrée, le type de messages, l'expéditeur, l’objet, offre un résumé synthétique à la demande;
– Le client accède a sa messagerie, son carnet d'adresses, son agenda, ...
Page 6 Majordome GET - 24/02/2004
SP 1 : EXTRACTION D’INFORMATION DANS LES IMAGES DE TEXTE
Page 7 Majordome GET - 24/02/2004
1.Construction d’une base de données
2. Extraction de la structure des champs principaux
– localisation des champs : utilisation du texte et de l’image
• recherche tolérante de chaînes + groupement perceptif
– sélection des blocs EXPEDITEUR
3. Reconnaissance de caractères
– OCR, HCR
– modélisation des caractères par réseaux bayésiens
3. Extraction des noms propres
– vecteur de caractéristiques extrait sur chaque mot
• applications de règles (Prénom+NOM, typographie)
– classification par réseau neuronal
Traitement du texte (télécopies)
Page 8 Majordome GET - 24/02/2004
BASE DE DONNEES ECRIT base d’images de télécopies base de caractères ENST-FAX
Page 9 Majordome GET - 24/02/2004
étiquetage
/****************************************************************//* code1 : 1 : expediteur 2 : destinataire *//* code2 : 1 : intitule 2 : Nom+prenom 3 : intitule Nom*//* *//* code1 code2 x1 y1 longueur hauteur *//* imprime/manuscrit chaine de caracteres Print/Handw *//****************************************************************/1 3 950 469 108 22 Print Nom Name1 2 948 496 543 38 Handw DORIZZI BERNADETTE2 1 230 406 362 22 Print Destinataire2 3 231 467 108 21 Print Nom Name2 2 239 484 343 43 Handw Claudie Faure
Page 10 Majordome GET - 24/02/2004
BASES (suite)
150 images de télécopies étiquetage des champs expéditeur / destinataire position + nom
base de caractères ENST-FAX 6000 caractères (~270/classe)
Page 11 Majordome GET - 24/02/2004
Traitement des télécopies (suite)
DETECTIONCHAMPS
COMBINAISON
LECTUREOCR
DETECTION DES NOMS PROPRES
EXTRACTION BLOCS HYP. EXPEDITEUR
CHAMPSHYPOTHESES
EXTRACTIONDES BLOCS
DISCRIMINATIONImprimé/manuscrit
PSEUDO MOTS
CHAÎNESDE CARACTÈRES
CARACTÉRISTIQUESTEXTUELLES
CARACTERISTIQUESIMAGE
Page 12 Majordome GET - 24/02/2004
Extraction des noms propres Score=9
Score=8
Score=5
Score=5
Page 13 Majordome GET - 24/02/2004
reconnaissance des caractères
caractères dégradés imprimés HMMs et réseaux bayésiens
base de chiffres MNIST réseaux neuronaux réseaux bayésiens
base de caractères ENST-FAX méthode statistique : distance de Mahalanobis apprentissage sur base NIST
Page 14 Majordome GET - 24/02/2004
reconnaissance par réseaux bayésiens
dépendances modélisées dans une structure graphique+ distributions locales de probabilités CPD
Page 15 Majordome GET - 24/02/2004
réseaux bayésiens : résultats
UW-MajusculesMNIST
Chiffres
DBN-vertical 88.45 92.07
DBN-horizontal 86.92 89.19
Trajectoire-vert 90.53 92.97
Trajectoire-hor 87.04 90.13
couplage 1 94.78 93.79
couplage 2 96.86 94.23
couplage 3 95.92 93.83
couplage 4 97.12 _
Page 16 Majordome GET - 24/02/2004
1. Mesure pour chaque phrase d’un « score » de
représentativité (% de mots-clés)– à partir du pourcentage de mots clés dans la phrase mots
2. Extraction des phrases ayant leur score au-dessus d’un seuil donné
3. Concaténation des phrases choisies
Résultat : texte parfois peu esthétique, mais généralement lisible et compréhensible
Traitement des messages textuels
Page 17 Majordome GET - 24/02/2004
SP 2 & 3 : RECONNAISSANCE DE NOMS PROPRESAUTHENTIFICATION
Page 18 Majordome GET - 24/02/2004
1. Reconnaissance de l'appelant
– Noms propres et épellation du nom
2. Vérification du locuteur
– Sur la prononciation du nom du client (dépendant du texte)
– Sur les actes de dialogue (indépendant du texte) 3. Navigation vocale dans la messagerie
– Reconnaissance des requêtes 4. Synthèse vocale
– Résumé de messages électroniques
– Informations sur les télécopies
Interface téléphonique
Page 19 Majordome GET - 24/02/2004
MessageImageFaxPersonal Info
PDA Interface
Page 20 Majordome GET - 24/02/2004
Command (input) execution
Functions
output
Environemental events
state
Interface
Majordome pour Handicapés
Users
VoiceGesture (hand, foot, head movements)
4
Page 21 Majordome GET - 24/02/2004
Partenaires et collaborations réunions sur les applications
– EDF, Corebridge, Holistique, Software602, Integro adaptation du logiciel Swesum au français
– KTH-Euroseek+ENST montages de projets
– 1. Eureka MajorCall : Software602 (TCH), Multitel-TCTS (B), WCL-Univ. de Patras (GR), Knowledge S.A. (GR), Harpax s.r.l. (IT), GVZ (TK)
– 2. RNTL AMI : Cyber-Act, VRTV-Studio, Edf, Holistique
– 3. Calima (UPC, ENST) réception de messages
– plateforme Netcentrex
Page 22 Majordome GET - 24/02/2004
1. Dépôt d'un message dans la boite d'un client
– Reconnaissance du nom du client
– Enregistrement du nom de l'appelant
2. Réception et traitement d'une télécopie
– Reconnaissance du destinataire et de l'envoyeur
– Transfert vers la messagerie électronique du destinataire
Démonstration (1)
Page 23 Majordome GET - 24/02/2004
3. Accès à la messagerie à partir d'un téléphone mobile
– Reconnaissance du nom du client
– Vérification de l'identité de l'appelant
– Dialogue vocal pour accéder aux messages choisis
– Restitution des messages vocaux
– Synthèse des résumés de mél et des informations sur les
télécopies
Démonstration (2)
Page 24 Majordome GET - 24/02/2004
Démonstration (3)
4. reconnaissance de caractères
– caractères : ENST-FAX (statistique)
– chiffres : MNIST (NN)
– réseaux bayésiens (DBN)