interface homme-machine linda khalil – m2eid professeur: catherine recannati 2010-2011

Interface Homme-Machine

Linda KHALIL – M2EIDProfesseur: Catherine Recannati 2010-2011

Introduction I-Concepts de multimodalité

1. Mode2. Modalité3. Taxonomie des modalités

II-Architecture1. Modèles et contrôleurs2. Modèle de la tâche

III-Exemples d’interfaces multimodales1. Exemple divers2. Tableau numérique3. Télétact

Concepts de multimodalité 1. Mode

2. Modalité

3. Taxonomie des modalités

Concepts de multimodalité 1. Mode

Communication entre deux entités○ Hommes○ Animaux○ Machines○ Êtres vivant

Mode de communication○ Organes utilisés par chaque entité○ Mode d’entrée/Mode de sortie

Modes de communication Modes d’entrée chez l’Homme

Organes Modes correspondants

Yeux Visuel

Oreille Auditif

Nez Olfactif

Langue Gustatif

Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires

Tactilo-proprio-kinesthésique (TPK)

Modes de sortie chez l’Homme

Système vocale: poumons, cordes vocales, langue, lèvres …

Système musculaire: mains bras, tête, visage…

Organes Modes correspondants

Système vocale Orale

Système musculaire Actionnel ou gestuel

Modes de communication

Modes de communication Modes non humain

VégétalAnimal liste non-exhaustiveMachine

Machine: liste en évolution

}

Modes de communication Communication Homme/Homme: relations

Sortie \ Entrée Visuel Auditif Olfactif Gustatif TPK

Oral Non Oui Non Non Non

Gestuel Oui Non Non Non Oui

Modes de communication Communication Homme-machine: relations

Caméra: gestes du corpsOculomètre: gestes de l’œilJoystick, souris,…: gestes de la main

Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre

Système de reconnaissance vocale

Oral Non Oui

Gestuel Oui Non

Modes de communication Communication machine-Homme: relations

Visuel Auditif Olfactif Gustatif TPK

Ecrans 2D et 3D Oui Non Non Non Non

Afficheur Braille Oui Non Non Non Oui

Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...)

Non Oui Non Non Non

Systèmes avec retour tactile et/ou retour d'effort

Non Non Non Non Oui

Modalités

Positionnement côté humain

Structure des informations échangée

Perception par le sujet

Machine: perçue comme un être humain

Taxonomie des modalités Différentes formes de présentation

État de l’utilisateur

État de l’environnement

Taxonomie des modalités Selon Bernsen :

Modalités de sortie par rapport à la machineModalités pures

○ Profil de la modalité○ Le média d’expression

Modalités particulières○ Héritent des modalités pures○ Caractéristiques plus spécialisée

Concepts de multimodalité 3. Taxonomie des modalités

Critères de modalité Description

Langagière / Non langagière

préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques

Analogique / Non analogique

Analogique :véhicule des informations qui tirent leurs représentations de l'entité signifiée.

Arbitraire /Non arbitraire Non arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné.

Statique / Dynamique influence du temps sur la structure des informations.

Média d’expression graphique, sonore ou tactile

Concepts de multimodalité 3. Taxonomie des modalités

Média: ○ Pas au même niveau que les autre critères○ Graphique

Mode visuelMode tactile

Critères incompatibles○ Arbitraire vs analogique

Taxonomie des modalités Nouvelle approche :

Multidimensionnel

Mode \ Critère Temporel Spatial Langagier D’analogie De prosodie

Visuel Oui Oui Oui Oui Non

Auditif Non Oui Oui Oui Oui

Oral Non Non Oui Non Oui

Gestuel Oui Oui Oui Non Non

TPK Oui Non Oui Oui Non

Taxonomie des modalités Temporel

Visuel et TPK: animations○ Clignotements○ Rotations ○ Déplacements○ Changement de couleurs …

Gestuel○ Gestes statiques○ Gestes dynamiques: déplacements pris en

compte

Taxonomie des modalités Spatial

Visuel: type de projectionAuditif: son mono, stéréo ou 3DGestuel: 1D, 2D ou 3D

Critère langagierTout modeCritère à valeurs continues

Taxonomie des modalités Analogie

Visuel: ○ ressemblance représentation/représenté○ Distinction photo/peinture/graphique…

Auditif: distinction des sons

ProsodieAuditif et Oral

○ Distinction chant / parole

Architecture

1. Modèles

2. Contrôleurs

Architecture

Utilisateur Application

Contrôleur de

l’interaction

Contrôleur de dialogue

Contrôleur du flot

Application

Modèle de l’Interaction

Modèle du dialogue

Modèle de la tâche

Modèle de l’environnement

Modèle de l’utilisateur

Modèles

Modèle du dialogueStructure hiérarchiqueEnchaînement de situation

Modèle de la tâcheDescription sémantiqueRelations conceptuelles entre les objetsReprésentation de buts et sous-buts

Modèles

Modèle de l’utilisateur

Connaissances de niveau linguistiqueModélisation du savoir Modélisation du niveau d’expertiseInterprétation des gestes, mimiquesInterface en fonction des préférence,

caractéristiques, aptitude de l’utilisateurGestion dynamique de l’interaction

Modèles

Modèle de l’environnementInformation sur le contexteChoix des médias à utiliserRègles d’exploitation des connaissancesCapteurs de contexte: mises à jour

Modèle de l’interactionSpécificité de l’interaction multimodaleDescription des médiasHistorique d’interaction

Contrôleurs

Contrôleur de dialogueContenu sémantique des échanges

Contrôleur d’interactionFormes de présentation des messagesTransmission de la sémantique des entrées

au contrôleur de dialogueChoix de la présentation en fonction des

autres modèles

Interfaces multimodales

1. Exemple divers

2. Tableau numérique

3. Télétact

Interfaces multimodales

WiimoteModalité: le geste

○ Mouvements de la main○ Pression sur bouttons

Sortie○ Vibrations ○ Affichage

Interfaces multimodales

Bornes d’achats tactilesEntrée: Gestes de la main

Billeterie

Passage de commande dans les Fast Food○ Sortie: information envoyé à la cuisine

Interfaces multimodales

Interfaces multimodales

Iphone, Ipad …

Système de reconnaissance vocal

Voice Painter

Tableau numérique

Tom Pouce

Tom Pouce

Tom Pouce

Tom Pouce

Télétact

Profilomètre laser Mesure sur 15 mères de rayon Oreillette

32 notes musicales: intervalles de distances

2 types de vibrations sur 2 doigts 4 intervalles de distancesDétection jusqu’à 12 mètres.

Conclusion

Nombreuses interfaces

Différentes structures

Différents objectif

Architecture d’interaction commune