arc rapsodis reconnaissance automatique de la parole suivie et
DESCRIPTION
Cooccurrence de mots : Random Indexing. Mise en œuvre :. Analyse syntaxique des phrases reconnues. Objectif. Défi principal:. sera. AUX. installé. SUJ. Hue. PREP. sur. SUJ. NOMPREP. monsieur. radar. est. caméra. DET. DET. DET. ATTS. ADJ. en. simple. le. le. une. - PowerPoint PPT PresentationTRANSCRIPT
ARC RAPSODISReconnaissance Automatique de la Parole Suivie et
Orientée par Des Informations Syntaxico-SémantiquesPAROLE – METISS – TALARIS – TEXMEX – CEA/LIST
Analyse syntaxique des phrases reconnues
Relations sémantiques et mesure de confiance
La syntaxe en reconnaissance
Le système de reconnaissance automatique de la parole génère des phrases contenant des erreurs.La détection et la correction de ces erreurs est un enjeu majeur pour la reconnaissance.
Améliorer la transcription automatique de la parole en exploitant l’analyse syntaxique
Mise en œuvre : Syntex, LIMA, FIPS
Remerciements
Nous souhaitons remercier le comité de l’INRIA qui nous a attribué cette ARC et qui nous a ainsi accordé un cadre et des moyens pour initier une collaboration interdisciplinaire prometteuse dans un domaine aux défis scientifiques particulièrement nombreux.
EPI Parole : http://parole.loria.fr ([email protected])
EPI TALARIS : http://talaris.loria.fr ([email protected])
Défi principal:Identification et modélisation d’indices syntaxiques
Cette information doit être intégrable dans les modèles de reconnaissance et permettre d’améliorer leurs performances.
Avancement du projet
Analyse syntaxique de l’oral transcritDes phénomènes spécifiques à l’oral et à l’application affectent les analyses: erreurs de transcriptions, disfluences, absence de ponctuation, ...
Cooccurrence de mots : Random Indexing
Relations syntaxiques : Calculer la probabilité que deux lemmes soient dépendants selon une relation syntaxique donnée.
Adaptation du modèle de langage : [Bellagarda05]Réordonnancement des hypothèses de transcription :
Mesures de confiance : 2 étapes:1- Identification des mots erronés2- Filtrage du treillis / nouvelle passe de
reconnaissanceSystèmes de reconnaissance / Environnement de test
ANTS de PAROLE Irene de METISS
Validation prévue sur ESTER2
PublicationsCerisara et al : Automatic extraction, of a semantic lexicon from the speech stream, Computer Speech and Language, 2008 (à paraître)Huet et al : Toward the integration of natural language processing and automatic speech recognition: using morpho-syntax and pragmatics for transcription. Multimodal Procesing and Interaction: Audio, Video, Text. Springer Verlag, 2008.Pitel et Grefenstette : Semi-automatic building method for a multidimensional affect dictionary for a new language, Proc. LREC, 2008Cerisara : Integration of confidence measures and missing data mask for robust speech recognition, Proc. Acoustics, juillet 2008Huet et al : Morphosyntactic Resources for Automatic Speech Recognition. Proc. LREC’2008, Marrakech, Mai 2008.
Site web: http://rapsodis.loria.fr mailing-list: [email protected] Wiki: http://wiki.loria.fr/wiki/parole/rapsodis/Partage de données : matrices de cooccurences (CEA),
reconnaissances sur ESTER2, analyses syntaxiques
ContactsEPI METISS : http://www.irisa.fr/metiss ([email protected])
EPI TEXMEX : http://www.irisa.fr/texmex ([email protected])
CEA LIST : http://list.cea.fr ([email protected])
Réunion Date ObjetMontparnasse 12/02/2008 Kick-off: présentation des partenaires, mise en place d’un plan de travailNancy 02/04/2008 Etude des solutions potentielles pour l’analyse syntaxiqueMontparnasse 02/07/2008 Présentation des données du CEA / Table ronde sur l’intégrationIHP Paris 5 19/09/2008 Retour sur les données du CEA et sur l’analyse syntaxique
Fwxd Rdxk = F’wxk F’’wxk distance “sémantique”
Matrice termes-documents
Matrice respectant le lemme de Johnson-Lindenstrauss (1984): distances préservées si R aléatoire et 1<<k<<d
TF-IDF cosine
Termes Cosinus moyen
de 0,136
et 0,135
à 0,134
le 0,134
la 0,134 0.840000000000001
0.860000000000001
0.880000000000001
0.900000000000001
0.920000000000001
0.940000000000001
0.960000000000001
Pré
cisi
on
Rappel
Probabilités syntaxiques
Caractéristiques:
Objectif
La distribution de la moyenne des cosines entre le vecteur d’un mot et son contexte est modélisée respectivement pour les mots justes et faux.Le rapport de vraisemblances permet de mesurer la confiance des mots.
Le fonctionnement est simple le radar sera installé sur une caméra numériqueLe monsieur Hue en est simple le radar sera installé sur une caméra numérique
Hue
est
lele numériqueen simple
sur
une
monsieur radar
sera
caméra
installé
SUJ
ATTS
NOMPREP
DET DET
SUJ
AUX
ADJ DET
PREP
1