equipe ingénierie de l’interaction homme-machine (iihm) laboratoire clips-imag universit é de...
TRANSCRIPT
Equipe Ingénierie de l’Interaction Homme-Machine (IIHM)Laboratoire CLIPS-IMAGUniversité de Grenoble
2M : un Espace de Conception pour 2M : un Espace de Conception pour l’Interaction Bi-Manuellel’Interaction Bi-Manuelle
Gilles BAILLY, Laurence NIGAY, David AUBERGilles BAILLY, Laurence NIGAY, David AUBER
IntroductionIntroduction
L’informatique ubiquitaireL’informatique ubiquitaire– Fusion des mondes physique et numériqueFusion des mondes physique et numérique– Définition d’un espace mixteDéfinition d’un espace mixte
L’interaction bi-manuelle au sein d’un L’interaction bi-manuelle au sein d’un environnement mixteenvironnement mixte
IntroductionIntroduction
Domaine d’application : BiologieDomaine d’application : Biologie– Environnement informationnel mixte pour les Environnement informationnel mixte pour les
biologistesbiologistes– Manipulation bi-manuelle de grands graphes Manipulation bi-manuelle de grands graphes
avec des jetonsavec des jetons Graphe : Acide ribonucléiqueGraphe : Acide ribonucléique
Interaction bi-manuelle au sein d’un Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?environnement mixte : pourquoi ?
NaturelleNaturelle Performante Performante
– ParallélismeParallélisme– Augmentation du Langage d’Interaction Augmentation du Langage d’Interaction
(pouvoir d’expression)(pouvoir d’expression)
Interaction bi-manuelle au sein d’un Interaction bi-manuelle au sein d’un environnement mixte : pourquoi ?environnement mixte : pourquoi ?
NaturelleNaturelle Performante Performante
– ParallélismeParallélisme – Augmentation du Langage d’Interaction Augmentation du Langage d’Interaction
(pouvoir d’expression)(pouvoir d’expression)
Manipulation d’un Manipulation d’un rectangle : rotation/ rectangle : rotation/ translation/ homothétietranslation/ homothétie
Interaction bi-manuelle : attention !Interaction bi-manuelle : attention !
Pas toujours pertinente selon la tPas toujours pertinente selon la tâcheâche Exemple Exemple
– Kabbash P., Buxton W., Sellen A., "Two-Kabbash P., Buxton W., Sellen A., "Two-Handed Input in a Compound Task", Handed Input in a Compound Task", Proceedings of CHI’94, 417-423.Proceedings of CHI’94, 417-423.
PlanPlan
ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives
ObjectifsObjectifs
Apporter les avantages du monde physique Apporter les avantages du monde physique dans le monde numériquedans le monde numérique
Etude de l’interaction bi-manuelle au sein Etude de l’interaction bi-manuelle au sein d’une environnement mixted’une environnement mixte
Espace de conception 2MEspace de conception 2M
Constat : Constat : pourquoi un espace de conceptionpourquoi un espace de conception
Aujourd’hui : systAujourd’hui : systèmes conçus et développés èmes conçus et développés de façon ad hoc (faible capitalisation des de façon ad hoc (faible capitalisation des expériences)expériences)
Absence d’éléments Absence d’éléments de conceptionde conception de développementde développement d’évaluationd’évaluation
Objectifs : espace de conceptionObjectifs : espace de conception
Organisation des éléments de conception Organisation des éléments de conception dans un canevas cohérentdans un canevas cohérent
Pouvoir taxinomique des systèmes interactifs Pouvoir taxinomique des systèmes interactifs
bi-manuels existantsbi-manuels existants Pouvoir génératif de nouvelles techniquesPouvoir génératif de nouvelles techniques Pouvoir comparatif : guide Pouvoir comparatif : guide à la conceptionà la conception
PlanPlan
ObjectifsObjectifs DiffDifférentesérentes approches approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et pConclusion et perspectiveserspectives
DiffDifférentes érentes approchesapproches
Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes
Psychologie [Guiard 87]Psychologie [Guiard 87]
IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]– MultimodalitéMultimodalité
Psychologie : Modèle de la chaPsychologie : Modèle de la chaîîne ne cinématiquecinématique
Coopération Coopération à deux mainsà deux mains
La main non La main non dominante fixe le dominante fixe le contextecontexte
La main non La main non dominante précède dominante précède
Macro versus MicroMacro versus Micro
La main dominante La main dominante est la main préféréeest la main préférée
DiffDifférentes érentes approchesapproches
Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes
Psychologie [guiard 87]Psychologie [guiard 87]
IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]
Langage de l’actionLangage de l’action Relation temporelleRelation temporelle
– MultimodalitéMultimodalité
Langage de l’actionLangage de l’action
Actions discrètesActions discrètes : : les actions discrètes sont des les actions discrètes sont des actions qui impliquent le actions qui impliquent le déclenchement discret des déclenchement discret des événementsévénements (saisir au clavier, utiliser les touches (saisir au clavier, utiliser les touches spéciales, appuyer sur un bouton d’une souris)spéciales, appuyer sur un bouton d’une souris)
Actions continuesActions continues : : les actions continues sont des les actions continues sont des actions qui impliquent le actions qui impliquent le contrcontrôôle continu de un ou le continu de un ou plusieurs degrés de libertéplusieurs degrés de liberté (d (déplacer un élément éplacer un élément graphique avec la sourisgraphique avec la souris))
Actions composéesActions composées : : les actions composées sont les actions composées sont des actions qui des actions qui entrelacent des actions continues et entrelacent des actions continues et des actions discrètesdes actions discrètes (d (déplacer le curseur sur un objet éplacer le curseur sur un objet graphique puis le sélectionner avec la souris)graphique puis le sélectionner avec la souris)
MDMD MNDMND
discrdiscrèètete continuecontinue composéecomposée
discrdiscrèètete Saisie de Saisie de textetexte
ClavierClavier
ClavierClavier
SélectionSélection
JoystickJoystick
Touches Touches spécialesspéciales
SSélection multipleélection multiple
SourisSouris
Touches Touches spécialesspéciales
continuecontinue Étirer une ligne Étirer une ligne de chaque cde chaque côôtété
JetonJeton
JetonJeton
DDéfileréfiler –naviguer –naviguer page WEBpage WEB
SourisSouris
TrackballTrackball
composéecomposée Dessiner Dessiner ( d( déplaceréplacer + + colorier)colorier)
StyletStylet
DoigtDoigt
Langage de l’actionLangage de l’action
11 22
33 44
Relation temporelleRelation temporelle
DiffDifférentes érentes approchesapproches
Exploitation de plusieurs domaines et axesExploitation de plusieurs domaines et axes
Psychologie [Guiard 87]Psychologie [Guiard 87]
IHMIHM– Interaction à deux mains [Buxton 05]Interaction à deux mains [Buxton 05]– MultimodalitéMultimodalité
DDéfinitionséfinitions [Nigay 94] [Nigay 94] Typologie [Nigay 93]Typologie [Nigay 93] Extension [Vernier 01] Extension [Vernier 01]
Dispositif Langage Tâche
Modalité
Canal gestuel
Main dominante
ou
Main non dominante
Niveau Niveau d’abstractiond’abstraction
Multimodalité : DMultimodalité : Définitions [Nigay éfinitions [Nigay 94]94]
AlternéAlterné SynergieSynergie
ExclusifExclusif ConcurrentConcurrent
DépendanceDépendance
TempsTempsséquentielséquentiel parallèleparallèle
IndépendantIndépendant
CombinéCombiné
Multimodalité : Typologie [Nigay 93]Multimodalité : Typologie [Nigay 93]
LexicaleLexicaleSyntaxiqueSyntaxiqueSSémantiquémantiquee
DépendanDépendantt
ConcurrentConcurrentee
ComplémeComplémen-tairen-taire
ComplémenComplémentaire + taire + redondanteredondante
PartiellemPartiellement ent redondantredondantee
TotalemenTotalement t redondantredondantee
Indé-Indé-pendantpendant
anachroniqanachroniqueue
séquentiellséquentiellee
ConcomitanConcomitantete
CoïncidentCoïncidentee
ParallèleParallèle
Multimodalité : Typologie [Vernier Multimodalité : Typologie [Vernier 01]01]
Extension par affinement de l’axe temporelExtension par affinement de l’axe temporel
TempsTemps
DépendanceDépendance
PlanPlan
ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives
MutimodalitéMutimodalité
Relation temporelleRelation temporelle
Langage d’actionLangage d’action
Notre espace Notre espace de conceptionde conception
Combiner trois approchesCombiner trois approches
Nature de l’action
Fusion
Temps
Notre espace de conception : 2MNotre espace de conception : 2M
Trois axesTrois axes TempsTemps : :
usage séquentiel / parallèleusage séquentiel / parallèle
Nature de l’actionNature de l’action : : (MND,MD)(MND,MD)
FusionFusion : : lexicale, syntaxique, sémantiquelexicale, syntaxique, sémantique
Considérés Considérés par Buxtonpar Buxton
RegroupRegroupésés sous le terme sous le terme parallélismeparallélisme
2M : Axe Temps 2M : Axe Temps
ConcomitanteConcomitante CoïncidenteCoïncidente
ParallèleParallèle
2M : Axe Temps2M : Axe Temps
Temps
parallèleAnachroniqueSéquentiel
Concomitant
Coïncident
2M : Axe Temps2M : Axe Temps
Nature de l’action
Fusion
Temps
parallèleAnachroniqueSéquentiel
ConcomitantCoïncident
2M : Axe Nature de l’action2M : Axe Nature de l’action
(Dis,Cont)
(Dis,Dis)
(Dis,Comp)
(Cont,Cont)
(Cont,Comp)
(Comp,Comp)
Dis : discrDis : discrèèteteCont : continueCont : continueComp : composéeComp : composée
Fusion Lexicale
Fusion Syntaxique
Fusion Sémantique
Modalité
Niveau Niveau d’abstractiond’abstraction
2M : Axe Fusion2M : Axe Fusion
Fusion de Fusion de bas bas
niveau niveau
Shift -Shift -clickclick
Fusion des Fusion des paramètres paramètres
«mets ça la»«mets ça la»
Fusion des Fusion des tâches tâches
CharChar
Dis : discrDis : discrèèteteCont : continueCont : continueComp : composéeComp : composée
Notre espace de conception : 2MNotre espace de conception : 2M
Nature de l’action
Fusion
Temps
parallèleAnachroniqueSéquentiel
ConcomitantCoïncident
(Dis,Cont)
(Dis,Dis)
(Dis,Comp)
(Cont,Cont)
(Cont,Comp)
(Comp,Comp)
Indépendant
Lexicale
Syntaxique
Sémantique
PlanPlan
ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives
Notre espace de conception : 2MNotre espace de conception : 2M
EXEMPLESEXEMPLES Nature de l’action
Fusion
Temps
parallèleAnachroniqueSéquentiel
ConcomitantCoïncident
(Dis,Cont)
(Dis,Dis)
(Dis,Comp)
(Cont,Cont)
(Cont,Comp)
(Comp,Comp)
Indépendant
Lexicale
Syntaxique
Sémantique
ExemplesExemples
Two-Handed Interaction on a Tablet DisplayTwo-Handed Interaction on a Tablet DisplayUniversity of California, BerkeleyUniversity of California, Berkeley
Notre espace de conception : 2MNotre espace de conception : 2M
Déplacement puis dessinDéplacement puis dessin
Nature de l’action
Fusion
Temps
parallèleAnachroniqueSéquentiel
ConcomitantCoïncident
(Dis,Cont)
(Dis,Dis)
(Dis,Comp)
(Cont,Cont)
(Cont,Comp)
(Comp,Comp)
Indépendant
Lexicale
Syntaxique
Sémantique
Notre espace de conception : 2MNotre espace de conception : 2M
Déplacement puis dessinDéplacement puis dessin Dessin et Dessin et
changement de couleurchangement de couleur
Nature de l’action
Fusion
Temps
parallèleAnachroniqueSéquentiel
ConcomitantCoïncident
(Dis,Cont)
(Dis,Dis)
(Dis,Comp)
(Cont,Cont)
(Cont,Comp)
(Comp,Comp)
Indépendant
Lexicale
Syntaxique
Sémantique
ExemplesExemples
DDémonstrateur NavGrapheémonstrateur NavGrapheCLIPS-IMAG et LABRICLIPS-IMAG et LABRI
Notre espace de conception : 2MNotre espace de conception : 2M
Rotation-ZoomRotation-Zoom
Nature de l’action
Fusion
Temps
parallèleAnachroniqueSéquentiel
ConcomitantCoïncident
(Dis,Cont)
(Dis,Dis)
(Dis,Comp)
(Cont,Cont)
(Cont,Comp)
(Comp,Comp)
Indépendant
Lexicale
Syntaxique
Sémantique
ExemplesExemples
Déformation de graphes / reconstruction de Déformation de graphes / reconstruction de d’arêtesd’arêtes
QuickTime™ et undécompresseur H.263
sont requis pour visionner cette image.
Notre espace de conception : 2MNotre espace de conception : 2M
Nature de l’action
Fusion
Temps
parallèleAnachroniqueSéquentiel
ConcomitantCoïncident
(Dis,Cont)
(Dis,Dis)
(Dis,Comp)
(Cont,Cont)
(Cont,Comp)
(Comp,Comp)
Indépendant
Lexicale
Syntaxique
Sémantique
PlanPlan
ObjectifsObjectifs Différentes approchesDifférentes approches Notre espace de conceptionNotre espace de conception ExemplesExemples Conclusion et perspectivesConclusion et perspectives
ConclusionConclusion
Interaction bi-manuelle au sein d’un environnement Interaction bi-manuelle au sein d’un environnement mixtemixte
Espace de conception 2MEspace de conception 2M
– Pouvoir taxinomique des systèmes interactifs bi-manuels Pouvoir taxinomique des systèmes interactifs bi-manuels existantsexistants
20 syst20 systèmes classésèmes classés
– Pouvoir génératif de nouvelles techniquesPouvoir génératif de nouvelles techniquesPouvoir comparatif : guide Pouvoir comparatif : guide à la conceptionà la conception
Conception de notre environnement mixte pour les biologistes Conception de notre environnement mixte pour les biologistes basbasée sur l’espace 2Mée sur l’espace 2M
Evaluation expérimentale à mener et à lier à l’espaceEvaluation expérimentale à mener et à lier à l’espace
Equipe Ingénierie de l’Interaction Homme-Machine (IIHM)Laboratoire CLIPS-IMAGUniversité de Grenoble
Questions ?Questions ?