Apports d’un modèle de l’espace de signation pour l’interprétation d’interactions en langue des signes
Boris Lenseigne, Patrice Dalle
[lenseign, [email protected]]
Structure sémantique :• Les entités de différents types évoquées dans le discours • Les relations sémantiques entre ces entités
À Toulouse (A), au cinéma Utopia (B), le film(C) qui passe le jeudi 26 février à 9h30 (D), la personne (E) qui a fait le film (F), c’est qui ? (G)
ABC
D
EF
G
Structure spatiale :• L’emplacement où sont réalisés les signes• Les structures grammaticales utilisées
Un modèle pour représenter la structure de l’énoncé
Contexte : réponse à des requêtes formulées en langue des signes
Un modèle pour décrire la construction de l’Espace de Signation (ES)
Éléments constitutifs du modèle
• Création d’une entité : ACtion de Transformation de l’Espace de Signation (ACTES)
– Une séquence de gestes, un emplacement et un intervalle d’émission
• Séquence :– Liste ordonnée de gestes + mécanismes de
propagation • Geste :
– État d’un composant + intervalle d’émission
• Main(s) / MainProduitSigne:• rôle : dominante/dominée
• synchronisation : symétriques/opposées/nil• mouvement : immobile/localisé/ample• axe : frontal/sagittal/vertical/nil• direction : plus/moins• configuration : fixe/changeante• localisation : Emplacement
Exploitation pour l’interprétation des requêtes par analyse d’images• Analyse réactive de la séquence d’images • Intérêt :
– Permet d’éviter une reconstruction exhaustive des gestes
– Modèle généraliste :• Se focalise sur la structure de
l’énoncé pas sur le lexique– Rend possible l’analyse du
lexique dans un contexte très réduit (celui des entités d’un type donné).
Vérification dans les images
Modèle de construction de l’ES
Espace de signation
ACTES
Composants Oui / Non / *
Validation