toulouse, les 4 et 5 juillet 2003 intégration doutils danalyse de la prosodie dans pfc cyril auran...

Toulouse, les 4 et 5 juillet 2003

Intégration d’outils d’analyse de la Intégration d’outils d’analyse de la prosodie dans PFCprosodie dans PFC

Cyril Auran

Laboratoire Parole et Langage, UMR 6057 CNRS

5èmes Journées PFC

Disponible sur le site: http://www.lpl.univ-aix.fr/~auran/


Avant-proposAvant-propos

Intégration d’outils dans PFC :

• Prise en compte d’un cadre méthodologique particulier (type/format des données, outils et protocoles existants)


Quels outils pour PFC ?

• Niveau d’analyse (orthographe, segments, prosodie, autres ?)

• Nature des outils (assistance à l’analyse, analyse à proprement parler)

• Prise en compte des finalités du projet (description de la variabilité)

Pourquoi intégrer des outils ??


PlanPlanRemarques préliminaires XVIIIèmistes :

De la motivation de l’intégration d’outils

I) Outils non-prosodiques

Niveau orthographique

Niveau segmental

II) Outils pour la prosodie

Ordre tonal

Ordre temporel

Conclusions et perspectives



Remarques préliminaires (1)Remarques préliminaires (1)« […] C'est ainsi que, chaque partie étant pleine de vice

Le tout était cependant un paradis.

[…] Voilà quels étaient les bonheurs de cet État ;

Leurs crimes conspiraient à leur grandeur,

Et la vertu, à qui la politique

Avait enseigné mille ruses habiles,

Nouait, grâce à leur heureuse influence,

Amitié avec le vice.

Et toujours depuis lors

Les plus grandes canailles de toute la multitude

Ont contribué au bien commun. »

Bernard Mandeville (1714). La Fable des abeilles, ou les vices privés font le bien public



Remarques préliminaires (2)Remarques préliminaires (2)

« […] en échafaudant n'importe quel système de gouvernement Il faut reconnaître en tout homme un

fripon qui n'a d'autre fin, dans tous ses actes, que son intérêt privé. »

David Hume (1741). « Of the Independence of Parliament » in Essays, Moral and Political , Volume I


« Ainsi, sans aucune intervention de la loi, les intérêts privés et les passions des hommes les amènent à diviser

et à répartir le capital d'une société […] dans la proportion qui approche le plus possible de celle que

demande l'intérêt général de la société. »Adam Smith (1776). The Wealth of Nations


Remarques préliminaires (3)Remarques préliminaires (3)

Motivations de l’intégration :

• Gain de productivité

• Systématisation des traitements (et des erreurs)



Outils non-prosodiquesOutils non-prosodiques



Outils non-prosodiques (1)Outils non-prosodiques (1)

Pour l’instant, deux niveaux d’analyse :

• Niveau orthographique

(Aisance d’utilisation, base pour d’autres traitements)

• Niveau segmental




Niveau orthographique :

Un idéal : alignement au niveau des mots

Mais

Espoirs variables en fonction des données PFC


Listes de lecture de mots : alignement « Nbre-Mot »





Mais



Lecture de texte : alignement « Syntagme »

ou « Phrase »





Mais



Conversations : ?? (minimalement : tours de parole)




Outils pour l’annotation orthographique (semi-) automatique des listes de mots

get_pauses.praat : segmentation automatique à seuil

paramétrable, possibilité de vérification manuelle en cours de

traitement, option de détection de « souffle ».

add_labels.praat : transfert automatique des étiquettes avec

conservation des remarques manuelles




Illustration :

Get_pauses





Outils pour l’annotation orthographique (semi-) automatique des lectures de texte et des

conversations• Méthode semi-automatique envisageable (segmentation -

paramètres prosodiques locaux - puis transfert d’étiquettes)

• Méthode automatique (reconnaissance vocale et alignement automatique) plus difficile à envisager de manière réaliste

Pbm de la variabilité




Niveau segmental :

Préoccupation « originelle » du projet

2 aspects envisageables :

• Segmentation (identification de la nature et délimitation des frontières des phonèmes)

• Marquage (pointage d’un type de phonème par exemple pour analyse formantique)




Niveau segmental : Segmentation

Méthodes :

• Phonétisation : manuelle ou automatique (dico ou reco)

• Alignement : automatique (fondé sur l’utilisation de modèles phonétiques de type

HMM)

Pbm de la variabilité





Evaluation d’un test préliminaire d’alignement(Espesser, Ghio et Nguyen)


Unités évaluées : voyelles (111 items)

2 fichiers de lecture de mots (aal1 et agm1)

Outil utilisé : Aligneur du LORIA






Ecarts frontière gauche : Moyenne absolue : 28 ms

Moyenne : - 16 ms (aligneur après manuel)

63% < 20 ms

82 % < 40 ms






Ecarts frontière droite : Moyenne absolue : 58 ms

Moyenne : - 45 ms (aligneur après manuel)

38% < 20 ms

46 % < 40 ms






Ecarts frontière droite : Effets contextuels (phonème suivant)

Type A : activité vocalique

Moyenne absolue : 47 ms

52 % < 20 ms / 60 % < 40 ms






Ecarts frontière droite : Effets contextuels (phonème suivant)

Type S : silence ou closure sourde

Moyenne absolue : 72 ms

58 % dans [60;120] ms






Conclusions : 1) Un alignement « décalé à droite »

2) Fiabilité insuffisante pour :

- le type de phonème généralement le mieux détecté

- Le type de parole le plus normatif (lecture de la liste de mots)



Niveau segmental : Marquage

Méthodes :

• Fondée sur une reconnaissance-alignement(phase évaluée dans la section précédente ; source d’erreur

supplémentaire)

• Fondée sur des modèles auto-regressifs gaussiens caractérisant des zones quasi-

stationnaires du signal (puis détection de l’activité vocale et localisation des voyelles cf. Vocalis, développé à l’IRIT qui implémente l’algorithme développé par R. André-Obrecht)




Conclusions

• Solutions disponibles et/ou envisageables pour un alignement orthographique à différents

niveaux ;

• Alignement automatique au niveau phonématique plus délicat : marquage plus

envisageable que segmentation



Outils prosodiquesOutils prosodiques



Outils prosodiques (1)Outils prosodiques (1)

Prosodie ≠ Intonation

Prosodie = Système de systèmes

3 ordres structurels (Di Cristo, 2001)

• Ordre Tonal

• Ordre Temporel

• Ordre Métrique




Ordre tonal

Différents types de caractérisation

(acoustique, phonétique, phonologique)

Différentes conceptions (interprétation

directe, modélisation holistique ou auto-

segmentale)




Ordre tonal : Momel et Intsint(Hirst, Di Cristo & Espesser, 2000)

Caractérisation phonétique/phonologique

fondée sur l’analyse automatique des

données acoustiques

Conception auto-segmentale

Réversibilité




Ordre tonal : Momel et Intsint

Approche instrumentale modulaire

• Outil Momel disponible sous la forme d’un

exécutable Unix/Windows

• Outil Intsint disponible sous la forme d’un script Perl

multi-plateforme

Pilotage global à partir de Praat




Illustration :

Momel-Intsint




Illustration : Momel-Intsint




Ordre temporel : Motemp(Auran & Di Cristo, 2003)

2 modalités pour la modélisation de la durée

subjective:

• Semi-autonome : catégorisation automatique des

unités préalablement isolées (paramètres : durée

physique, proximité de silence, vélocité F0)

• Autonome : Identification de pseudo-syllabes

(Farinas, 2002) et catégorisation automatique.




Illustration : Motemp



Conclusion et perspectives (1)Conclusion et perspectives (1)


Intégration d’outils automatiques d’analyse dans PFC :

• Niveau orthographique -> alignement de macro-unités pour les textes lus ; alignement plus fin envisageable pour la liste de mots ;

• Niveau segmental -> segmentation délicate mais marquage envisageable ;

• Niveau prosodique -> implémentation aisée dans les ordres tonal et temporel ; l’adoption d’un cadre d’analyse unique constitue cependant un problème …


Conclusion et perspectives (2)Conclusion et perspectives (2)


Nécessité de délimitation précise :

• De normes concernant l’acquisition des données(respect des normes d’enregistrement, consignes compatibles avec un traitement automatique) ;

• De la politique de gestion des ressources informatiques

(problèmes de la diffusion des sources, des exécutables, …)

• De la place de l’analyse de la prosodie dans le cadre de PFC

(caractère obligatoire ou optionnel, méthode unique ou pas, …)

toulouse, les 4 et 5 juillet 2003 intégration doutils danalyse de la prosodie dans pfc cyril auran...

Documents