interaction tangible de l’incarnation physique des...

55
Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010 INTERACTION TANGIBLE de l’incarnation physique des données vers l’interaction avec tout le corps 14 décembre 2010 Nadine Rouillon Couture Habilitation à Diriger des Recherches

Upload: buitram

Post on 10-Sep-2018

218 views

Category:

Documents


0 download

TRANSCRIPT

Page 1: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

INTERACTION TANGIBLE

► de l’incarnation physique des données

vers l’interaction avec tout le corps

14 décembre 2010

Nadine Rouillon Couture

Habilitation à Diriger des Recherches

Page 2: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Qu’est-ce que l’Interaction Tangible ?

Page 3: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Tangible Media Group (MIT)

Périphériques de sortie

Nabaztag (Violet)

Page 4: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

AudioCubes (Schiettecatte et Vanderdonckt, TEI’08)

G-Stalt (Zigelbaum et al., CHI’09)

Périphériques en entrée

Page 5: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Motivation

Contribuer à combler le fossé numérique.

Contribuer au développement de l’Informatique ubiquitaire.

Entrer dans l’ère de la technologie calme. (Marc Weiser)

Page 6: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Notre objectif

En appliquant le paradigme de l’interaction tangible,

améliorer l'interaction avec des systèmes interactifs pour optimiser des

tâches métiers complexes.

Prise en compte d’un contexte 3D (objets, espace)

Tirer pleinement parti des modalités sensorielles desutilisateurs

Point de vue technologique et pluridisciplinaire

Page 7: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

1er enjeu : interdisciplinarité

Métier(tâche) visé(e)

Conception de la partie logicielle

Techniquesd’Interaction

PerceptionConception de la partie matérielle

MécaniqueElectronique

Informatique ErgonomieIHM

Psychologie

Page 8: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

2ème enjeu : extraire des solutions génériques

Le paradigme de l’Interaction Tangible

est fondé sur le monde physique

s’appuie sur des caractéristiques spécifiques.

Une des difficultés centrale est d’extraire desconcepts et des solutions génériques.

Le domaine est jeune … il faut tirer parti desleçons apprises,

Proposer des recommandations

Page 9: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Positionnement

Interaction Homme Machine

Interface Utilisa-teur 3D

Design Interactif

Concept°de

produits

Interaction Tangible

Page 10: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Approche

Interaction Homme Machine

Interface Utilisa-teur 3D

Design Interactif

Concept°de

produits

Interaction Tangible

Laurence Nigay (LIG, UJF) Jean-Claude Martin (LIMSI)

P. Reuter et P. Guitton(LaBRI, INRIA)

JB de la Rivière (IMMERSION) Jeremy Legardeur (ESTIA)

Ergono-mie

S. Minel (ESTIA)M. Wolff et R. Mollard (Paris V)

« LesMétiers »

J. Jacobs, F. Jurado (IFP)G. Domenger (MBB)J. Legardeur (ESTIA)C. Merlo (ESTIA)R. Vergieux (Ausonius)

Page 11: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Approche

S’appuyer sur un réseau de collaborateurs

Concevoir la technologie

Placer l'utilisateur au centre du système

Étudier l’usage

Déterminer la (les) tâche(s) à optimiser

Évaluer la technologie

in-vivo, sur site

avec les utilisateurs finals, experts

Page 12: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Approche

1994 Thèse LaBRI

1995 Chef de projet ICARE

1998 Ingénieur d’étudeCRT - ILS

1999 EC ESTIA

2008 EC ESTIA & membre LaBRI

2010HDR

Mon approche est une conséquence de mon parcours professionnel

Contact étroit avec le milieu professionnel

Souci d’appliquer les recherches à des problèmes concrets

Page 13: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Historique de l’interaction tangible

1995

MIT, Tangible Media Group , bits tangibles

Université de Virginie, interfaces saisissables

Université de Toronto, accessoires passifs.

1997 : Interface Utilisateur Tangible (Tangible User Interface) (Ishii et Ullmer, CHI’97)

2001 : informatique tangible (Dourish ‘01)

2006 : interaction tangible (Hornecker et Buur, CHI’06)

2008 : interaction orientée réalité (Jacob et al., CHI’08).

Hiroshi Ishii Portrait ©2006 Chappell

Page 14: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Définition

2009 : (Hornecker, IT.org’09) l’Interaction Tangible regroupe l’ensemble destravaux qui abordent :

La tangibilité et la matérialité de l’interface (tangibility and materiality)

L’incarnation physique des données (physical embodiment)

L’interaction avec le corps entier (whole-body interaction)

Le caractère embarqué de l’interface (embedding) et l’interaction del’utilisateur dans des espaces et des contextes physiques réels.

2010 : la conférence du domaine a changé son nom de

de Tangible and Embedded Interaction

en Tangible Embedded and Embodied Interaction

Page 15: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Taxonomie et axes de recherches

Interaction Tangible à petit grain

Interaction Tangible à petit grain multi-

surfaces

Interaction Tangible à gros grain

Interaction tangible « à petits grains » (tangible close-grained interaction)

Interaction tangible « à gros grains » (tangible large-grained interaction

Page 16: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

ASSEMBLAGE DE PIÈCES 3D VIRTUELLES

Mise en position relative en CFAO : ESKUA

Reconstruction de fragments archéologiques : ArcheoTUI

Activation de modalité pour l’assemblage de pièces virtuelles

INTERACTION TANGIBLE MULTI-SURFACES

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D : GeoTUI

Conception d’une Table Tangible favorisant l’acte d’achat : Tribal Tabletop

Amélioration de l’interaction directe entre concepteurs pour la revue de projets

INTERACTION TANGIBLE AVEC TOUT LE CORPS

Couplage avec l’Informatique Affective , eMotion

Reconnaissance d'émotions : un point de vue interaction multimodale

Augmentation d’un spectacle de danse, projet ANR CARE

Mise en action d’une modalité de sortie (actuation) en situation de mobilité

CADRE DE CONCEPTION

Vers une méthode de conception des Interfaces Tangibles

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains

CADRE POUR l’ÉVALUATION

Recommandations sous la forme d’un guide

La preuve de l’hypothèse de Fitzmaurice

Ap

er

çu

de

s r

ec

he

rc

he

s

Page 17: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

ASSEMBLAGE DE PIECES 3D VIRTUELLES

Mise en position relative en CFAO : ESKUA

Reconstruction de fragments archéologiques : ArcheoTUI

Activation de modalité pour l’assemblage de pièces virtuelles

INTERACTION TANGIBLE MULTI-SURFACES

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D : GeoTUI

Conception d’une Table Tangible favorisant l’acte d’achat : Tribal Tabletop

Amélioration de l’interaction directe entre concepteurs pour la revue de projets

INTERACTION TANGIBLE AVEC TOUT LE CORPS

Couplage avec l’Informatique Affective , eMotion

Reconnaissance d'émotions : un point de vue interaction multimodale

Augmentation d’un spectacle de danse, projet ANR CARE

Mise en action d’une modalité de sortie (actuation) en situation de mobilité

CADRE DE CONCEPTION

Vers une méthode de conception des Interfaces Tangibles

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains

CADRE POUR l’EVALUATION

Recommandations sous la forme d’un guide

La preuve de l’hypothèse de Fitzmaurice

Ap

er

çu

de

s r

ec

he

rc

he

s

Page 18: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Assemblages de pièces virtuelles 3D

Enjeu : Manipulation de 2x 6 degrés de libertés (2x6DOF)

Contexte :

Interaction bi-manuelle (Guiard, JMB’87)

ActiveCubes de (Kitamura et al., CHI’01).

ActiveCubes

Page 19: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Assemblages de pièces virtuelles 3D

Mise en position relative en CFAO (Conception et Fabrication Assistée par Ordinateur) : ESKUA (Garreau et al, RIIN’05)

Page 20: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Assemblages de pièces virtuelles 3D

Reconstruction de fragments archéologiques : ArcheoTUI (Reuter et al., Eurographics VAST’07)

Page 21: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

(ArcheoTUI)

Page 22: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Assemblages de pièces virtuelles 3D

Activation de modalité pour l’assemblage de pièces virtuelles (Riviere et al., JMUI’10)

Définition : m = <d, sr> | <m’, sr> (Nigay,Coutaz,MI’97).

Soit : mva = <2 interacteurs, 2×6 DOF> (va, virtual assembly)

Question : quel modalité pour activer/désactiver mva ?

1. mcd = <voix, mots>

2. mcd = <interacteurs, vitesse>

3. mcd = <boutons, on/off>

4. mcd = <pédales, on/off>

Page 23: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Assemblages de pièces virtuelles 3D

Expérimentations

15 sujets, 8 archéologues et 7 informaticiens, 3f./12 h., 25 à 56 ans, 34 en moy.

13 droitiers, 1 gaucher, 1 ambidextre

9 experts 3D, 7 ont déjà utilisé la 3D

Un log-file

Page 24: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

ASSEMBLAGE DE PIÈCES 3D VIRTUELLES

Mise en position relative en CFAO : ESKUA

Reconstruction de fragments archéologiques : ArcheoTUI

Activation de modalité pour l’assemblage de pièces virtuelles

INTERACTION TANGIBLE MULTI-SURFACES

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D : GeoTUI

Conception d’une Table Tangible favorisant l’acte d’achat : Tribal Tabletop

Amélioration de l’interaction directe entre concepteurs pour la revue de projets

INTERACTION TANGIBLE AVEC TOUT LE CORPS

Couplage avec l’Informatique Affective , eMotion

Reconnaissance d'émotions : un point de vue interaction multimodale

Augmentation d’un spectacle de danse, projet ANR CARE

Mise en action d’une modalité de sortie (actuation) en situation de mobilité

CADRE DE CONCEPTION

Vers une méthode de conception des Interfaces Tangibles

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains

CADRE POUR l’ÉVALUATION

Recommandations sous la forme d’un guide

La preuve de l’hypothèse de Fitzmaurice

Ap

er

çu

de

s r

ec

he

rc

he

s

Page 25: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Interaction tangible multi-surface

Motivation : la table un contexte naturel et spontané pour travailler

Contexte :

Le bureau de l’archéologue et le bureau du concepteur (ArcheoTUI,ESKUA)

Digital Desk (Wellner, ACM Com’93)

Fusionner espace d'action et espace de perception (Norman 1988)

Digital Desk (1991)

Page 26: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Interaction tangible multi-surface

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D :GeoTUI (Riviere et al. , SEG’09)

Sculpter des surfaces géologiques (Ishii et al. , BTTJ’04)

Petrotrek sur Microsoft Surface : contrôle de plans relatifs à la production/extraction de pétrole.

Expérimentations

9 heures à l’IFP (Pau) ; 12 géophysiciens, 3 f./9 h. 23-66 ans (41 ansmoy.).

1 palet, 2 palets, une règle et la souris

Bloc de données sismiques en 3D : séries de coupes (tâche simple) etexploration du cube de sous-sol (tâche composée)

Total : 96 exercices et 620 lignes de coupe.

Page 27: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

(GeoTUI)

Page 28: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Interaction tangible multi-surface

Amélioration de l’interaction directe entre concepteurs pour la revue de projets (Merlo et Couture, TMCE’10)

Page 29: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

ASSEMBLAGE DE PIÈCES 3D VIRTUELLES

Mise en position relative en CFAO : ESKUA

Reconstruction de fragments archéologiques : ArcheoTUI

Activation de modalité pour l’assemblage de pièces virtuelles

INTERACTION TANGIBLE MULTI-SURFACES

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D : GeoTUI

Conception d’une Table Tangible favorisant l’acte d’achat TribalTabletop(TableTop’08)

Amélioration de l’interaction directe entre concepteurs pour la revue de projets

INTERACTION TANGIBLE AVEC TOUT LE CORPS

Couplage avec l’Informatique Affective , eMotion

Reconnaissance d'émotions : un point de vue interaction multimodale (IHM’10)

Augmentation d’un spectacle de danse, projet ANR CARE

Mise en action d’une modalité de sortie (actuation) en situation de mobilité

CADRE DE CONCEPTION

Vers une méthode de conception des Interfaces Tangibles

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains

CADRE POUR l’ÉVALUATION

Recommandations sous la forme d’un guide

La preuve de l’hypothèse de Fitzmaurice

Ap

er

çu

de

s r

ec

he

rc

he

s

Page 30: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Interaction tangible avec tout le corps

Contexte : mouvement du corps, capture du geste

Le geste (Kendon 2004) ; phase préparation, phase d’action ;

(Scherer et Wallbott 1985), etc…

Capture du geste : traitement d’images ou capteurs

Gaël Domenger (Malandain Ballet Biarritz) Expérimentation Juin 2008

MVN Suit (Xsens)

Page 31: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Capture de Mouvements, Moven Studio

Page 32: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Interaction tangible avec tout le corps

Couplage avec l’Informatique Affective, système eMotion (Clay et al,ACII’09)

(Picard, Affect. Comp’97)

Emotion : Psychologie (Bloch’73), (Sherer, JNMR’04) ; les basics 6d’Eckman (1999) ; joie, dégoût, colère, tristesse, peur, surprise.

Reconnaissance du geste et émotion : (Boone et Cunningham,DevPsy’98) (Montepare et al.JNB’99).

SURPRISE

Page 33: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

(eMotion)

Page 34: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Interaction tangible avec tout le corps

ANR CARE (2007-2011)Cultural experience: Augmented Reality and Emotion

Augmentation d’un spectacle de danse en fonction de l’émotionexprimée par le danseur (Clay et al. , LNCS’10)

INFOMUS : analyse basée image du mouvement pour extrairel’expressivité du mouvement (Camurri et al., depuis 1997)

Page 35: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Illustration du projet ANR CARE : interaction médiée et festival « Les éthiopiques »

Page 36: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Leçons retenues - Généralisation

Interaction Tangible à petit grain

Interaction Tangible à petit grain sur Table

Interaction Tangible à gros grain

Page 37: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

ASSEMBLAGE DE PIÈCES 3D VIRTUELLES

Mise en position relative en CFAO : ESKUA

Reconstruction de fragments archéologiques : ArcheoTUI

Activation de modalité pour l’assemblage de pièces virtuelles

INTERACTION TANGIBLE MULTI-SURFACES

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D : GeoTUI

Conception d’une Table Tangible favorisant l’acte d’achat TribalTabletop(TableTop’08)

Amélioration de l’interaction directe entre concepteurs pour la revue de projets

INTERACTION TANGIBLE AVEC TOUT LE CORPS

Couplage avec l’Informatique Affective , eMotion

Reconnaissance d'émotions : un point de vue interaction multimodale (IHM’10)

Augmentation d’un spectacle de danse, projet ANR CARE

Mise en action d’une modalité de sortie (actuation) en situation de mobilité

CADRE DE CONCEPTION

Vers une méthode de conception des Interfaces Tangibles , petits grains

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains

CADRE POUR l’ÉVALUATION

Recommandations sous la forme d’un guide

La preuve de l’hypothèse de Fitzmaurice

Ap

er

çu

de

s r

ec

he

rc

he

s

Page 38: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre de conception

Vers une méthode de conception des interfaces tangibles (Couture et al., MIXER’09)

Intégration des principes de la conception centrée utilisateur dans une démarche de conception de produit : 7 étapes

Ce cycle de conception est en spirale et non systématiquement linéaire.

Validation du processus : comparaison des TUIs conçues avec celles qui étaient attendues

Séance de créativité avec les utilisateurs finals

Objets intermédiaires / démonstrateurs

Adaptation des spécifications

fonctionnelles et des contraintes

Simulations

Mise en situations

Conception détaillée,

développement et Tests

Expérimentations avec les

utilisateurs

Page 39: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre de conception

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents (Depaulis et al, SPIE’05)

Solution 1 (théorique)

Solution 2 (théorique et pratique)

61 éléments …….. 16 éléments

Compo-sants

NF E 04-015 ISO

normalisés

600/61/ éléments

Page 40: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre de conception

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains (Clay et al, ACII’09)

modèle d'architecture basée composants pour la

reconnaissance des émotions par ordinateur.

pour tout système de capture de mouvement influençant

l’exécution d’un système interactif tangible.

généralisation

5 types de composants : Réorganisation à l’exécution

Page 41: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

ASSEMBLAGE DE PIÈCES 3D VIRTUELLES

Mise en position relative en CFAO : ESKUA

Reconstruction de fragments archéologiques : ArcheoTUI

Activation de modalité pour l’assemblage de pièces virtuelles

INTERACTION TANGIBLE MULTI-SURFACES

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D : GeoTUI

Conception d’une Table Tangible favorisant l’acte d’achat TribalTabletop(TableTop’08)

Amélioration de l’interaction directe entre concepteurs pour la revue de projets

INTERACTION TANGIBLE AVEC TOUT LE CORPS

Couplage avec l’Informatique Affective , eMotion

Reconnaissance d'émotions : un point de vue interaction multimodale (IHM’10)

Augmentation d’un spectacle de danse, projet ANR CARE

Mise en action d’une modalité de sortie (actuation) en situation de mobilité

CADRE DE CONCEPTION

Vers une méthode de conception des Interfaces Tangibles , petits grains

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains

CADRE POUR l’ÉVALUATION

Recommandations sous la forme d’un guide

La preuve de l’hypothèse de Fitzmaurice

Ap

er

çu

de

s r

ec

he

rc

he

s

Page 42: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre pour l’évaluation

Enjeu : évaluer conjointement la partie matérielle et la partie logicielle

Recommandations (Couture et al., MIXER’09)

Faire les observations suivantes :

Position des mains de l'utilisateur (mono-manuelle ou bi-manuelle),

Manière de tenir l’objet tangible,

Position de l'utilisateur.

Réaliser un programme de traces

Mener une étude exploratoire PUIS une étude comparative.

Proposition d’un guide en 7 questions pour appliquer les recommandations

Reprises et appliquées dans (Kuefner 2010) sur Paperbox 3D (Wiethoffet al. 2010).

Page 43: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre pour l’évaluation

L’accessoire tangible est-il représentatif de son

rôle ?

Les accessoires tangibles sont-ils aisément

saisissables avec les mains ?

Les accessoires tangibles sont-ils manipulés par une main, deux mains

plusieurs utilisateurs à la fois ?

Les accessoires tangibles sont-ils manipulés

séquentiellement ou en parallèle ?

La manipulation des accessoires tangibles

influence-t-elle la réalisation de la tâche ?

L’utilisation des accessoires tangibles comme interface du

monde numérique est elle intuitive ?

L’utilisation des accessoires tangibles est

elle efficace ?

Page 44: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre pour l’évaluation

En conditions multiplexées dans l'espace, la manipulation d’interacteurstangibles de forme spécialisée est supérieure à la manipulationd’interacteurs tangibles de forme générique (Couture et al, TEI’08)

De notre coté : H1 admise H2 pour des tâches simples

H2 pour des tâches composées : gain de performance.

Validation : expérimentation utilisateur

Hypothèse H2 formulée par Fitzmaurice (PhD’96)

H1 «Lors des phases de transition d'une fonction à une autre,supériorité, en termes de manipulation et d'apprentissage, desentrées multiplexées dans l'espace par rapport aux entréesmultiplexées dans le temps.»

H2 pour des tâches simples

Page 45: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

ASSEMBLAGE DE PIÈCES 3D VIRTUELLES

Mise en position relative en CFAO : ESKUA

Reconstruction de fragments archéologiques : ArcheoTUI

Activation de modalité pour l’assemblage de pièces virtuelles

INTERACTION TANGIBLE MULTI-SURFACES

Validation d’hypothèses de modèle 3D de sous-sol par des coupes 2D : GeoTUI

Conception d’une Table Tangible favorisant l’acte d’achat TribalTabletop(TableTop’08)

Amélioration de l’interaction directe entre concepteurs pour la revue de projets

INTERACTION TANGIBLE AVEC TOUT LE CORPS

Couplage avec l’Informatique Affective : eMotion

Reconnaissance d'émotions : un point de vue interaction multimodale (IHM’10)

Augmentation d’un spectacle de danse, projet ANR CARE

Mise en action d’une modalité de sortie (actuation) en situation de mobilité

CADRE DE CONCEPTION

Vers une méthode de conception des Interfaces Tangibles , petits grains

Une méthode réutilisable basée sur des filtres pour définir les interacteurs pertinents

Une architecture logicielle unificatrice pour l’Interaction Tangible à gros grains

CADRE POUR l’ÉVALUATION

Recommandations sous la forme d’un guide

La preuve de l’hypothèse de Fitzmaurice

Ap

er

çu

de

s r

ec

he

rc

he

s

Page 46: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Projet de recherche

Page 47: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Continuer d’investir les 3 axes …

Interaction Tangible à petit grain

Interaction Tangible à petit grain multi-

surfaces

Interaction Tangible à gros grain

Page 48: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Mise en position relative et collisions

Piloter des simulations de déformations

Manipulations de pièces 3d virtuelles

ESKUA

Balakrishnan et al, UIST’99. ShapeTape, Measurand

(ANR SeARCH, 2009-2012)

Page 49: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Interaction à gros grains et réalité augmentée

(CRAq, Ballet Augmenté , 2011-2013)

Esquisse 3D (sketch-based modeling ) : création et édition de formes

La génération de surfaces à la main

La peinture 3D dans un espace large

Édition : interface tangible

Gestion du point de vue

Accessoires tangibles

Arts et sciences

Génération de surface (Schkolne, SIGGRAPH’06)CavePaint (Keefe, I3D’01)

Shigeo Fukuda, Underground Piano, 1984

Page 50: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

GeoTUI 2.0

Intégration de l’interaction tactile et tangible

Interaction tangible multi-surfaces

(GeoTUI) (Table Tactile DI) (Tribal TableTop)

Pôle de compétitivité AVENIA, IFP Energies nouvelles

Protocole TUIO (tuio.org), haut niveau d’abstraction

Notion de multi-surface d’interaction (Coutaz et al.,Intercat’03), paradigme unificateur.

Page 51: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre de conception

Tangible noyau (Core Tangible) (Ullmer, 2006)

Il n’existe pas, aujourd’hui, de standard pour les périphériquesd’entrée et de sortie des interfaces tangibles.

Éparpillement sur le plan de la lisibilité du domaine

Core Tangible = assurer de manière uniforme la représentation et le contrôle des opérations communes à diverses interfaces.

TUISTER, pour les structures hiérarchiques (Butz, IUI ’04)

Menus Tangibles et Casiers Interactifs(Ullmer et al, TEI’08)

Page 52: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Cadre pour l’évaluation et les tests d’usages pour les interfaces tangibles

Plateforme d’Évaluation, de Prototypage et de TeSts d’UsageS

Évaluations encore très peu formalisées.

Mettre en place des bancs d’expérimentationspour des tests d’usage et des évaluations de nossystèmes

Définir des protocoles généraux

Page 53: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Pe

rs

pe

ct

ive

s

MANIPULATIONS DE PIÈCES 3D VIRTUELLES (ANR SeARCH,2009-2012)

INTERACTION À GROS GRAINS ET RÉALITE AUGMENTÉE(CRAq, Ballet Augmenté, 2010-2013)

INTERACTION TANGIBLE MULTI-SURFACES (GeoTUI 2.0)

CADRE DE CONCEPTION

CADRE POUR l’ ÉVALUATION (PEPSS)

Projet de recherche : approfondir, explorer une fertilisation croisée et généraliser

Page 54: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Remerciements

Co-auteurs : Maria Azurmendi, Franck Barbier, Nicolas Belloir, Renaud Briand, Jean-Jacques

Charlot, Yves Chiricota, Cécile Clavel, Alexis Clay, Matthieu Courgeon, Karine Courouble, ElodieDecarsin, Maylis Delest, Elric Delord, Alain Denise, Fabrice Depaulis , Gael Domenger, Loïc Espinasse,Jean-Marc Fedou, Luis Fontan, Ludovic Garreau, Vincent Gaudin, Claude Gomez, Maurice Goursat,Bernard Grosgeorge, Jacques Jacobs, Fabrice Jurado, Jérémy Legardeur, Fabien Legrand , HervéLévi, Stéphanie Mahut, Fréderic Marias, Jean-Claude Martin, Fernando Martin, Guy Melancon,Christophe Merlo , Stéphanie Minel, Régis Mollard, Laurence Nigay, Gérard Renard, Patrick Reuter,Youssef Ridene, Guillaume Riviere, Nicolas Sorraing, Laurent Todeschini, Robert Vergnieux, MarionWolff.

Post-Docs : Patrick Reuter, Fabrice Depaulis.

Doctorants : Youssef Ridene, Alexis Clay, Guillaume Riviere, Ludovic Garreau,Fabien Legrand.

Interaction Tangible à petit grain

Interaction Tangible à petit grain sur Table

Interaction Tangible à gros grain

Ludovic Garreau (Phd 2004)

Guillaume Riviere(Phd 2009)

Alexis Clay(Phd 2009)

Ingénieurs de recherche : Elodie Decarsin, Elric Delord.

Étudiants masters recherche : Elodie Decarsin, Stéphanie Mahut, Yann Mazel, Alexis Clay,

Guillaume Rivière, Julien Hadim, Stéphane Renaudie, Amaïur Pagoaga, Ludovic Garreau, RomainKillian, Frédéric Seyler, Vincent Gaudin.

Étudiants en projets et/ou stages : Pierre Leray, Xavier Latortue, Ludovic Moncla, Mickaël

Courouau, Sébastien Dennebouy, Jérome Monteiro, Matthieu Prévaud, Sylvain Randé, ThibautChanu, Alexandre Guillet, Antoine Leroux, Emilien Vandaël, Axel Candeau, Florent Combellas, PeioGarcia, Bertrand Lajus, Nicolas Rey, Cécile Leblanc, Etienne Venot, Damien Gallay, Jean-ChristopheLeducq.

Page 55: INTERACTION TANGIBLE de l’incarnation physique des …profils.estia.fr/n.couture/hdr/nrc-hdr.pdf · IHM Psychologie. Nadine Rouillon Couture - Habilitation à diriger des Recherches

Nadine Rouillon Couture - Habilitation à diriger des Recherches - 14 décembre 2010

Vos questions ?