Effets discursifs et calculs lexicaux sur les indices mélodiques en lecture
Jean-Philippe MEIYE (CLIPS-IMAG)Geneviève CAELEN-HAUMONT (CLIPS-IMAG)Christine Joux (CLIPS-IMAG)Danièle DUBOIS (SILEX / ENS-PARIS)
AFPLA’98 Caen, 19-20/03/98
11BP 53 - 38041 Grenoble Cedex 9 - FranceCNRS - INPG - UJF
Communication Langagière etInteraction Personne-Système
22
Problématique Générale
But : nouvelle méthode de validation des processus cognitifs à partir de certains indices mélodiques (F0M et F0)
Métrique des processus cognitifs : Processus cognitifs pas directement observables
Construction d’indicateurs de paramètres Méthodes et indicateurs actuels non satisfaisants
Contexte général des recherches : Exemple : Effets de contexte linguistique
33
Problématique Générale
Caractéristiques de notre méthode Matériel - Texte vs. Mots Présentation «écologique» Paradigme - Acquisition du signal de parole Méthode d’analyse - Echelle Temporelle et Fréquentielle (F0M et F0) précises
Indices prosodiques (mélodiques) => indicateurs cognitifs
Prosodie = évolutions acoustiques de F0, durée et l’énergie Mélodie = étude des variations de F0 (indices : F0Max, F0moy et F0min) F0 = F0Max - F0min [Caelen-Haumont, 91]
44
Hypothèses
Indices fréquentiels (F0Max et F0) => effets de contexte Si structures contextuelles convergentes/divergentes, alors => niveau de difficulté / facilité des traitements cognitifs Présence d’un contexte congruent => chute des valeurs des indices temporels et mélodiques (F0Max et F0) et inversement Différence accrue entre CN vs. CNR ou CR et moindre entre CNR vs. CR
55
Expérimentation : Prosodie et compréhension
Méthode Sujets : 10 sujets (3 Filles et 2 Garçons) Matériel :
20 couples d’items amorce-cible issus de la norme associative [Meiye et Brulex, 96] 6 textes : 3 textes - CHF / 3 textes - CBF
Cible Haute FréquenceContexte Neutre (CN) Contexte Non Relié (CNR) Contexte Relié (CR)Le teclone doit L’affiche doit L’abeille doit produire du miel produire du miel produire du miel
Cible Basse FréquenceContexte Neutre (CN) Contexte Non Relié (CNR) Contexte Relié (CR)Le teclone doit L’affiche doit L’abeille doit produire l'usine produire l'usine produire l'usine
66
Expérimentation : Prosodie et compréhension
Méthode
Traitement des données Conventions sur le matériel textuel = Extraction des tronçons cibles
Traitement des données Convention sur le signal de parole = Etiquetage + items cibles en 1/8 tons
abeille doit produire du mielAmorce
ISI Linguistique
SOA Linguistique
Cible
DA FA FCDC
DSOA FSOA
77
Calcul de F0 et F0 dans le mot lexical
Représentation spectrale d’une phrase étiquetée
F0
TEMPS
F0M
Mot Lexical
F0
FIN de MotDébut de Mot
F0m
ContourMélodique
Syll FinMot
Déb Syll Fin
Début ContMélodique
Et iquettesSignal
Couche formantiqueCourbe de l’énergie
Barres de segmentation
88
Expérimentation : Prosodie et compréhension Cible Basse Fréquence
Résultats en fonction du paramètre durée (ms.)
Plan expérimental : S5 x <C3> Effets significatifs du facteur contexte - Cible Haute Fréquence / VD (ms.) Effets significatifs du facteur contexte - Cible Basse Fréquence / VD (ms.)CHF en fonction de la Durée (ms.)
430440450460470480490500
Contexte
Dur
ée d
e Pa
role
ms.
ms. 492,74 463,94 451,98
CN CNR CR
CBF en fonction de la Durée (ms.)
0
100
200
300
400
500
600
Contexte
Dur
ée d
e Pa
role
ms.
ms. 523,04 411,38 425,04
CN CNR CR
P=.05
99
P=.05
CBF en fonction de F0 (1/8ème T.)
01234567
Contexte
Paro
le e
n 1/
8èm
e de
Ton
1/8ème T.
1/8ème T. 6,0658 4,802 5,4118
CN CNR CR
CHF en fonction de F0 (1/8ème T.)
01234567
Contexte
Paro
le e
n 1/
8èm
e de
Ton
1/8ème T.
1/8ème T. 6,592 4,5152 4,94
CN CNR CR
Expérimentation : Prosodie et compréhension Cible Haute Fréquence
Résultats en fonction du paramètre F0 (1/8ème tons)
Plan expérimental : S5 x <C3> Effets significatifs du facteur contexte - Cible Haute Fréquence / VD (1/8) Effets significatifs du facteur contexte - Cible Basse Fréquence / VD (1/8)
1010
Expérimentation : Prosodie et multimodalité (indices de parole et oculaires)
Méthode Prosodie et Modularité
Validation des processus automatiques vs. attentionnels Reconceptualisation : ISI et SOA Linguistique [Dubois, 1994 ; Meiye, Caelen-Haumont et Dubois, 97]
Prosodie et Mouvements Oculaires Recherche d’invariants entre indices prosodiques et indices oculaires.
Matériel 6 versions textuelles déclinées en 3 modalités contextuelles
Relation Sémantique Contrôle (RS Contrôle) Relation Sémantique Faible (RS F-) Relation Sémantique Forte (RS F+)
1111
Expérimentation : Prosodie et multimodalité (indices de parole et oculaires)
Matériel Contexte Sémantique SOA CourtRS C RS F- RS F+
L'affiche doit L’usine doit L’abeille doit produire du miel produire du miel produire du miel
Contexte Sémantique SOA LongRS C l’affiche doit mettre en œuvre son industrie et mobiliser
son énergie pour produire une réserve de miel
RS F- l’usine doit mettre en œuvre son industrie et mobiliser son énergie pour produire une réserve de miel
RS F+ l’abeille doit mettre en œuvre son industrie et mobiliser son énergie pour produire une réserve de miel
1212
Expérimentation : Prosodie et multimodalité (indices de parole et oculaires)
abeille doit produire du
AmorceISI Linguistique
SOA Linguistique
Cible
DA FA FCDC
DSOA FSOA
usine doit produire du
Prédictions
SOA Court
affiche doit produire du
RS F+
RS F-
RS Contrôle
miel
miel
miel
1313
Conclusion et perspectives
Validation de la méthode d’approche Effet significatif des paramètres mélodiques manipulés / facteur contexte En production - résultats conforment à d’autres approches (TDL, etc.) Plus grand est F0 et plus le locuteur investit cognitivement la cible qu’il traite Augmentation de F0 => effet de surprise chez le locuteur D’autres résultats sont en cours de traitement :
Effet du SOA Linguistique (court vs. long) => modularité des processus
Comparaison des VD (F0Max vs. F0)
Prolongement de la validation Processus cognitifs et multimodalités (indices prosodiques x indices oculaires) [C. Joux - DEA 98]