interface homme-machine linda khalil – m2eid professeur: catherine recannati 2010-2011

36
Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Upload: franc-stephan

Post on 04-Apr-2015

109 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Interface Homme-Machine

Linda KHALIL – M2EIDProfesseur: Catherine Recannati 2010-2011

Page 2: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Introduction I-Concepts de multimodalité

1. Mode2. Modalité3. Taxonomie des modalités

II-Architecture1. Modèles et contrôleurs2. Modèle de la tâche

III-Exemples d’interfaces multimodales1. Exemple divers2. Tableau numérique3. Télétact

Page 3: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Concepts de multimodalité 1. Mode

2. Modalité

3. Taxonomie des modalités

Page 4: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Concepts de multimodalité 1. Mode

Communication entre deux entités○ Hommes○ Animaux○ Machines○ Êtres vivant

Mode de communication○ Organes utilisés par chaque entité○ Mode d’entrée/Mode de sortie

Page 5: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modes de communication Modes d’entrée chez l’Homme

Organes Modes correspondants

Yeux Visuel

Oreille Auditif

Nez Olfactif

Langue Gustatif

Enveloppe corporelle, couches musculaires, récepteurs articulatoires et vestibulaires

Tactilo-proprio-kinesthésique (TPK)

Page 6: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modes de sortie chez l’Homme

Système vocale: poumons, cordes vocales, langue, lèvres …

Système musculaire: mains bras, tête, visage…

Organes Modes correspondants

Système vocale Orale

Système musculaire Actionnel ou gestuel

Modes de communication

Page 7: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modes de communication Modes non humain

VégétalAnimal liste non-exhaustiveMachine

Machine: liste en évolution

}

Page 8: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modes de communication Communication Homme/Homme: relations

Sortie \ Entrée Visuel Auditif Olfactif Gustatif TPK

Oral Non Oui Non Non Non

Gestuel Oui Non Non Non Oui

Page 9: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modes de communication Communication Homme-machine: relations

Caméra: gestes du corpsOculomètre: gestes de l’œilJoystick, souris,…: gestes de la main

Clavier, souris, trackball, joystick, stylo, écran tactile, gant numérique, caméra, oculomètre

Système de reconnaissance vocale

Oral Non Oui

Gestuel Oui Non

Page 10: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modes de communication Communication machine-Homme: relations

Visuel Auditif Olfactif Gustatif TPK

Ecrans 2D et 3D Oui Non Non Non Non

Afficheur Braille Oui Non Non Non Oui

Systèmes de synthèse et/ou de restitution de sons (parole, bruit, musique...)

Non Oui Non Non Non

Systèmes avec retour tactile et/ou retour d'effort

Non Non Non Non Oui

Page 11: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modalités

Positionnement côté humain

Structure des informations échangée

Perception par le sujet

Machine: perçue comme un être humain

Page 12: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Taxonomie des modalités Différentes formes de présentation

État de l’utilisateur

État de l’environnement

Page 13: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Taxonomie des modalités Selon Bernsen :

Modalités de sortie par rapport à la machineModalités pures

○ Profil de la modalité○ Le média d’expression

Modalités particulières○ Héritent des modalités pures○ Caractéristiques plus spécialisée

Page 14: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Concepts de multimodalité 3. Taxonomie des modalités

Critères de modalité Description

Langagière / Non langagière

préexistence (ou non) d'un lexique, d'une syntaxe et sur des représentations sémantiques et pragmatiques

Analogique / Non analogique

Analogique :véhicule des informations qui tirent leurs représentations de l'entité signifiée.

Arbitraire /Non arbitraire Non arbitraire: préexistence d'un système de représentations sémantiques connu des utilisateurs. Arbitraire: apprentissage des conventions de représentation utilisées dans un contexte donné.

Statique / Dynamique influence du temps sur la structure des informations.

Média d’expression graphique, sonore ou tactile

Page 15: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Concepts de multimodalité 3. Taxonomie des modalités

Média: ○ Pas au même niveau que les autre critères○ Graphique

Mode visuelMode tactile

Critères incompatibles○ Arbitraire vs analogique

Page 16: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Taxonomie des modalités Nouvelle approche :

Multidimensionnel

Mode \ Critère Temporel Spatial Langagier D’analogie De prosodie

Visuel Oui Oui Oui Oui Non

Auditif Non Oui Oui Oui Oui

Oral Non Non Oui Non Oui

Gestuel Oui Oui Oui Non Non

TPK Oui Non Oui Oui Non

Page 17: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Taxonomie des modalités Temporel

Visuel et TPK: animations○ Clignotements○ Rotations ○ Déplacements○ Changement de couleurs …

Gestuel○ Gestes statiques○ Gestes dynamiques: déplacements pris en

compte

Page 18: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Taxonomie des modalités Spatial

Visuel: type de projectionAuditif: son mono, stéréo ou 3DGestuel: 1D, 2D ou 3D

Critère langagierTout modeCritère à valeurs continues

Page 19: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Taxonomie des modalités Analogie

Visuel: ○ ressemblance représentation/représenté○ Distinction photo/peinture/graphique…

Auditif: distinction des sons

ProsodieAuditif et Oral

○ Distinction chant / parole

Page 20: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Architecture

1. Modèles

2. Contrôleurs

Page 21: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Architecture

Utilisateur Application

Contrôleur de

l’interaction

Contrôleur de dialogue

Contrôleur du flot

Application

Modèle de l’Interaction

Modèle du dialogue

Modèle de la tâche

Modèle de l’environnement

Modèle de l’utilisateur

Page 22: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modèles

Modèle du dialogueStructure hiérarchiqueEnchaînement de situation

Modèle de la tâcheDescription sémantiqueRelations conceptuelles entre les objetsReprésentation de buts et sous-buts

Page 23: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modèles

Modèle de l’utilisateur

Connaissances de niveau linguistiqueModélisation du savoir Modélisation du niveau d’expertiseInterprétation des gestes, mimiquesInterface en fonction des préférence,

caractéristiques, aptitude de l’utilisateurGestion dynamique de l’interaction

Page 24: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Modèles

Modèle de l’environnementInformation sur le contexteChoix des médias à utiliserRègles d’exploitation des connaissancesCapteurs de contexte: mises à jour

Modèle de l’interactionSpécificité de l’interaction multimodaleDescription des médiasHistorique d’interaction

Page 25: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Contrôleurs

Contrôleur de dialogueContenu sémantique des échanges

Contrôleur d’interactionFormes de présentation des messagesTransmission de la sémantique des entrées

au contrôleur de dialogueChoix de la présentation en fonction des

autres modèles

Page 26: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Interfaces multimodales

1. Exemple divers

2. Tableau numérique

3. Télétact

Page 27: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Interfaces multimodales

WiimoteModalité: le geste

○ Mouvements de la main○ Pression sur bouttons

Sortie○ Vibrations ○ Affichage

Page 28: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Interfaces multimodales

Bornes d’achats tactilesEntrée: Gestes de la main

Billeterie

Passage de commande dans les Fast Food○ Sortie: information envoyé à la cuisine

Page 29: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Interfaces multimodales

Page 30: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Interfaces multimodales

Iphone, Ipad …

Système de reconnaissance vocal

Voice Painter

Tableau numérique

Page 31: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Tom Pouce

Page 32: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Tom Pouce

Page 33: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Tom Pouce

Page 34: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Tom Pouce

Page 35: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Télétact

Profilomètre laser Mesure sur 15 mères de rayon Oreillette

32 notes musicales: intervalles de distances

2 types de vibrations sur 2 doigts 4 intervalles de distancesDétection jusqu’à 12 mètres.

Page 36: Interface Homme-Machine Linda KHALIL – M2EID Professeur: Catherine Recannati 2010-2011

Conclusion

Nombreuses interfaces

Différentes structures

Différents objectif

Architecture d’interaction commune