projet ls-colin (action cognitique - ministère de la recherche) quel outil de notation pour quelle...
TRANSCRIPT
![Page 1: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/1.jpg)
Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche)
Quel outil de notation pour quelle analyse de la LS ?
Participants :
Annelies Braffort4, Annick Choisier4, Christophe Collet4, Christian Cuxac1, Patrice Dalle3, Ivani Fusellier1, Rachid Gherbi4, Guillemette Jausions3, Gwénaëlle Jirou1, Fanch Lejeune2,4, Boris Lenseigne3, Nathalie Monteillard1, Annie Risler1, Marie-Anne Sallandre1
Projet pluridisciplinaire laboratoires et universités en présence :
1-Sciences du Langage, Université Paris 8 (linguistique de la LSF)2-CAMS-LaLIC, Université Paris 4 (linguistique cognitive)3-IRIT-TCI, Université Toulouse 3 (informatique et traitement de l'image)4-LIMSI, CNRS, Orsay (informatique)
![Page 2: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/2.jpg)
1. Présentation de l'action LS-COLIN 1.1. Hypothèses - sur la Langue des Signes - sur l'apport du traitement d'image 1.2. Objectifs de l'action
2. État de l’art et présentation de la démarche retenue 2.1. Systèmes d’écriture et de transcription
- Systèmes d’écriture - Systèmes de transcription « en partition » - Éditeurs multimédias
=> besoin d'un formalisme et d'un outil commun de transcription
2.2. Notre démarche : "cognitivo-linguistico-informatique" => les systèmes existants ne sont pas adaptés à nos besoins => étude d'un outils spécifique
3. Réalisation d'un éditeur de partition3.1 - Spécification d’un éditeur entièrement manuel - Rôle de l’éditeur - Aspect graphique de l’ éditeur - Description détaill ée de la partie transcription
3.2. Possibilité d’automatisation partielle par traitement d’images - Fonctionnalités du traitement d’image - L’apport du TI dans le projet LS-COLIN
- Réalisation de l’int erface de pilotage d’une séquence vidéo
4. Perspectives et conclusion
PLAN
![Page 3: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/3.jpg)
II. Formalismes de notation
![Page 4: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/4.jpg)
II. Formalismes de notation
Notation de Stokoe•Premier système de notation•Créé pour prouver que l’ASL est une langue
•Toute langue doit avoir une écriture•Recherche de la double articulation
•Peu précis
![Page 5: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/5.jpg)
II. Formalismes de notation
![Page 6: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/6.jpg)
HamNoSys•Développé à Hambourg pour l’étude des langues des Signes•Méthode de transcription•Décrit très précisément le signe•Introduction des éléments de prosodie•Pas de primitives pour l’expression du visage•Développé pour être applicable à toutes les langues des Signes
II. Formalismes de notation
![Page 7: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/7.jpg)
II. Formalismes de notation
Forme généralede HamNoSys
Exemple : ASL « fatigant »
![Page 8: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/8.jpg)
III. Outils de saisie pour les langues des signes
SyncWriter•Outil de transcription pour les linguistes•Utilise HamNoSys•Pistes configurables
![Page 9: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/9.jpg)
III. Outils de saisie pour les langues des signes
SyncWriter•Outil de transcription pour les linguistes•Utilise HamNoSys•Pistes configurables
•Format d'impression A4
![Page 10: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/10.jpg)
III. Outils de saisie pour les langues des signes
SignStream•Outil de gestion d’une base de données de signes•Utilisé surtout par les linguistes•Codage spécialisé pour les linguistes
![Page 11: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/11.jpg)
III. Outils de saisie pour les langues des signes
SignStream•Outil de gestion d’une base de données de signes•Utilisé surtout par les linguistes•Codage spécialisé pour les linguistes
•Lecteur vidéo intégré
![Page 12: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/12.jpg)
III. Outils de saisie pour les langues des signes
SignPS•Issu d’un projet européen (TIDE)•Codage propre•Utilisable pour la recherche et par le grand public•L ’introduction du TI est à l ’étude
![Page 13: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/13.jpg)
G Signe bonjour I MD
C Regard RF RD
Aspect graphique de l’éditeur
![Page 14: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/14.jpg)
Données: séquences vidéo
Détection des zones d’intérêtsEntités statiques Locuteur MainsTête
Extraction information mouvement
Entités dynamiquesTrajectoireMotifs temporels
Caractérisation et organisation information
extraite
Types de trajectoires particulières: droite, arc, …GlissementContactBalancement …
Vitesse; AccélérationDurée; Direction
Forme, Orientations globales et locales, nombre de régions
Automatisation par Traitement d ’ImagesTypes de traitement
![Page 15: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/15.jpg)
Lecteur vidéo récupération des images pour traitement
![Page 16: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/16.jpg)
Extraction du locuteur
- Comparaison avec une image de référence du fond
- Filtrage et traitement morphologique
![Page 17: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/17.jpg)
Extraction des entités mains et tête
1. Extraction des zones de peau
2. Identification des différentes régions par critères de taille et forme
Mains, Tête
![Page 18: Projet LS-COLIN (Action COGNITIQUE - Ministère de la Recherche) Quel outil de notation pour quelle analyse de la LS ? Participants : Annelies Braffort](https://reader036.vdocuments.fr/reader036/viewer/2022062318/551d9d81497959293b8baa37/html5/thumbnails/18.jpg)
Représentation du mouvement par motifs temporels
Intensité pixel = fonction historique du mouvement
Principe Adaptation à la LS