1 razzle : de la conception à lévaluation dun système mobile et multimodal céline coutrix,...
Post on 04-Apr-2015
104 Views
Preview:
TRANSCRIPT
1
RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal
Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier
Équipe d'ingénierie de l’interaction homme machine
Laboratoire CLIPS-IMAG, Grenoble
2
Introduction
• Multimodalité étudiée avec un utilisateur fixe
Quel usage en contexte mobile?
• Projet en collaboration avec France Telecom• Conception et developpement d’un système mobile et multimodal• Évaluation ergonomique du système
3
Plan
Présentation du jeu mobile RAZZLE
Modèle d’Interaction Mixte
Conception des modalités
Développement
Évaluation ergonomique
Conclusion
4
RAZZLE : version France-Télécom
5
RAZZLE
6
Plan
Présentation du jeu mobile RAZZLE
Modèle d’Interaction Mixte
Conception des modalités
Développement
Évaluation ergonomique
Conclusion
7
ExempleQuickTime™ et un
décompresseur codec YUV420sont requis pour visionner cette image.
8
Modèle d’Interaction Mixte: Objet Mixte
Objet mixte
Outil Objet de la tâche
9
Objet physique
Propriétésphysiques
Objet numérique
Propriétésnumériques
Objet mixte
Propriétésphysiques
Propriétésnumériques?
• modalité d’ Interaction m = (d, l)
• parole = (microphone, langage naturel)
Modèle d’Interaction Mixte: Objet Mixte
10
Modèle d’Interaction Mixte : Objet Mixte
Modalité de Liaison
Objet mixte
Propriérésphysiques
Propriétésnumériques
Dispositif d’entrée
Dispositifde sortie
Langage de sortie
Donnéesphysiquesen entrée
Langaged’entrée
Donnéesphysiquesgénérées
11
Modèle d’Interaction Mixte : Objet Mixte
Dessin mixte
Propriétésphysiques Formes
Caméra
Projecteur Sélection
Image Vision parordinateur
Image
QuickTime™ and aPhoto - JPEG decompressor
are needed to see this picture.
12
Modèle d’Interaction Mixte : Objet Mixte
Pièce mixte
Popriétésphysiques
IdentifiantPosition
Orientation
Capteur de position
Casquesemi
transparentProjection
3D
Valeurnumérique
Transforma°géométrique
Image
Capteur d’orientation
Valeurnumérique
Transforma°géométrique
13
Modèle d’Interaction Mixte : Objet Mixte
Objet mixte
Propriétésphysiques
PropriétésnumériquesModalités
deLiaison
Outil Objetde la tâche
14
Outil
Objetde la tâche
action
réaction
tâcheélémentaire
réponse
retour d’information
Modèle d’Interaction Mixte : Interaction Mixte
15
modalité d’Interaction m = (d, l)
Modèle d’Interaction Mixte : Interaction Mixte
16
Outil mixte
Propriérésphysiques
Propriérésnumériques
Dispositifd’entrée
Dispositifde sortie
Langagede sortie
Donnéesphysiques
Langaged’entrée
Donnéesphysiques
Langaged’interaction
en sortie
Langaged’interaction
en entrée
Objetde la tâche
Modèle d’Interaction Mixte : Interaction Mixte
17
QuickTime™ and aPhoto - JPEG decompressor
are needed to see this picture.
QuickTime™ and aPhoto - JPEG decompressor
are needed to see this picture.
Modèle d’Interaction Mixte : Interaction Mixte
18
Outil mixte
Boutonde
papier
Bouton,Mot,
Emplacement
caméra imageVision
Parordinateur
translation
dessin
Outil mixte
Modèle d’Interaction Mixte : Interaction Mixte
19
Plan
Présentation du jeu mobile RAZZLE
Modèle d’Interaction Mixte
Conception des modalités
Développement
Évaluation ergonomique
Conclusion
20
Modalités conçuesOutil mixte
? ?
? ?
?
21
Modalité gestuelle
QuickTime™ et undécompresseur DV - PAL
sont requis pour visionner cette image.
22
Modalité gestuelleOutil mixte
Propriétésphysiques
Gestereconnu
caméra imageVision
Parordinateur
traduction
23
Modalité tactile
QuickTime™ et undécompresseur DV - PAL
sont requis pour visionner cette image.
24
Modalité tactileOutil mixte
Propriétésphysiques
Clic, Geste
reconnu
touchpad données Langaged’entrée
traduction
25
Modalité parléeOutil mixte
Propriétésphysiques
Motreconnu
micro données Langaged’entrée
traduction
26
Plan
Présentation du jeu mobile RAZZLE
Modèle d’Interaction Mixte
Conception des modalités
Développement
Évaluation ergonomique
Conclusion
27
Magicien d’Oz
QuickTime™ et undécompresseur TIFF (non compressé)
sont requis pour visionner cette image.
QuickTime™ et undécompresseur TIFF (non compressé)
sont requis pour visionner cette image.
QuickTime™ et undécompresseur TIFF (non compressé)sont requis pour visionner cette image.
Salle de jeu Salle du compère
28
Magicien d’Oz
29
Magicien d’Oz
QuickTime™ et undécompresseur TIFF (non compressé)
sont requis pour visionner cette image.
QuickTime™ et undécompresseur TIFF (non compressé)
sont requis pour visionner cette image.
QuickTime™ et undécompresseur TIFF (non compressé)
sont requis pour visionner cette image.
QuickTime™ et undécompresseur TIFF (non compressé)
sont requis pour visionner cette image.
QuickTime™ et undécompresseur TIFF (non compressé)sont requis pour visionner cette image.
Salle de jeu Salle du compère
30
Architecture de RAZZLEPac-amodeus : Arch et PAC
ContrôleurContrôleurdede
dialoguedialogue
AdaptateurAdaptateurde noyaude noyau
fonctionnelfonctionnel
InteractionInteractionlogiquelogique
NoyauNoyaufonctionnelfonctionnel
InteractionInteractionphysiquephysique
PPAA
CC
PPAA
CCPPAA
CC
PPAA
CC
31
In
terf
ace J
ava r
mi,
réseau
san
s fi
lIn
terf
ace J
ava r
mi,
réseau
san
s fi
l
Architecture du Magicien d’Oz
ContrôleurContrôleurdede
dialoguedialogue
AdaptateurAdaptateurde noyaude noyau
fonctionnelfonctionnel
InteractionInteractionlogiquelogique
NoyauNoyaufonctionnelfonctionnel
InteractionInteractionphysiquephysique
MagicienMagiciend’ozd’oz
QuickTime™ et undécompresseur TIFF (non compressé)sont requis pour visionner cette image.
Joueur Compère
32
Plan
Présentation du jeu mobile RAZZLE
Modèle d’Interaction Mixte
Conception des modalités
Développement
Évaluation ergonomique
Conclusion
33
But de l’expérience
Étudier l’usage de la multimodalité
par les utilisateurs d’un système mobile
34
Protocole expérimental
• 10 sujets• 20 ans < âge < 30 ans• Non joueurs aux jeux vidéos• 3 sessions de jeu pour chacun• Enregistrement des sessions• Entretiens
35
RésultatsTaux d'utilisation des modalités pour toutes sessions et sujets
confondus
31%
45%
24%
TactileGestuelleVocale
36
RésultatsTaux d'utilisation des modalités par sujet
(toutes commandes et sessions
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
1 2 3 4 5 6 7 8 9 10sujets
taux d'utilisation des modalités
TactileGestuelleVocale
37
RésultatsComparaison de l'usage des modalités par sujet entre la première et la
troisième session (toutes actions confondus)
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Sujet1 Session1Sujet1 Session3Sujet2 Session1Sujet2 Session3Sujet3 Session1Sujet3 Session3Sujet4 Session1Sujet4 Session3Sujet5 Session1Sujet5 Session3Sujet6 Session1Sujet6 Session3Sujet7 Session1Sujet7 Session3Sujet8 Session1Sujet8 Session3Sujet9 Session1Sujet9 Session3Sujet10 Session1Sujet10 Session3
Sujets et sessions
taux d'utilisation des modalités
Tactile
Gestuelle
vocale
38
RésultatsTaux d'utilisation des modalités pour chaque action et chaque
session
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Rotation 1 Récupération 1 Rotation 2 Récupération 2 Rotation 3 Récupération 3
action et session
taux d'utilisation des modalités
Tactile
Gestuelle
Vocale
39
RésultatsTaux d'utilisation des modalités pour chaque action et session par
le sujet 4
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Rotation 1 Récupération1
Rotation 2 Récupération2
Rotation 3 Récupération3
action et session
taux d'utilisation des modalités
Tactile
Gestuelle
Vocale
40
RésultatsTaux d'utilisation des modalités pour chaque action et session par
le sujet 9
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Rotation 1 Récupération1
Rotation 2 Récupération2
Rotation 3 Récupération3
action et session
taux d'utilisation des modalités
Tactile
Gestuelle
Vocale
41
Résultats
• Intérêt du magicien d’Oz
Mais lieu de l’expérience confiné
• Utilisabilité de la modalité gestuelle
• Multimodalité utilisée
42
Plan
Présentation du jeu mobile RAZZLE
Modèle d’Interaction Mixte
Conception des modalités
Développement
Évaluation ergonomique
Conclusion
43
Conclusion
Dans le cadre d’un projet avec France Telecom• Modèle d’interaction mixte• Conception d’un système mobile et multimodal• Étude de son usage
44
Perspectives
• Pouvoir comparatif• Lien entre le modèle d’interaction mixte et le
développement logiciel
45
Perspectives
46
RAZZLE : De la conception à l’évaluation d’un système mobile et multimodal
Céline Coutrix, Laurence Nigay, Laurence Pasqualetti, Philippe Renevier
Équipe d'ingénierie de l’interaction homme machine
Laboratoire CLIPS-IMAG, Grenoble
top related