conception, implémentation et evaluation de systèmes interactifs mixtes : une approche basée...

Conception, Implémentation et Evaluationde Systèmes Interactifs Mixtes :

une Approche basée Modèles et Centrée sur l’Interaction

Emmanuel DuboisSoutenance d’HDR, 30 Septembre 2009

Université de ToulouseIUT de Tarbes

Laboratoire IRIT Equipe IHCS

E. Dubois, soutenance HDR, 30 sept. 09 2

System Human

Gulf of Evaluation

Gulf of execution1

2

1 3

2 4

5

6

De l’IHM aux SIM• Exploiter les capacités

systèmes (1, 2) Manipulation directe

+ WIMP + Métaphore

• Accroitre le nombre et le type de manipulations possibles (3, 4) Multimodalité + Collaborativité

• Tirer profit des capacités de l’Homme (5,6)– Intégrer les ressources et aptitudes

physiques de l’utilisateur et de son environnement :

Une nouvelle forme d’interaction : Systèmes Interactifs Mixtes (SIM)• Armée, maintenance, grand public, …


Systèmes Interactifs Mixtes : Une Définition

• Système interactif• Combine les mondes physique et numérique • Pour bénéficier des– Capacités des systèmes informatiques– Ressources physiques et aptitudes physiques des

utilisateurs• Autres termes employés :– interface tangible, réalité augmentée, virtualité

augmentée, réalité mixte, environnements virtuels interactifs, systèmes pervasifs, …

Nombreuses variantes = grande variabilité


Sources de variabilité d’un SIM (1/4)• Place du monde physique dans le système

= qu’est ce qui est utilisé / impacté du monde physique– En entrée :

• Détecter une position / présence, orientation / mouvement, obtenir un ID / reconnaître, détecter un son / une forme, etc.

– En sortie : • Ajouter une information dans le contexte,

déplacer ou contraindre un objet, déclencher une action numérique


Sources de variabilité d’un SIM (2/4)• Formes de communication en Entrée / Sorties utilisées

= comment est utilisé / impacté le monde physique– Entrées :

• champs visuels (images, mouvements, couleurs), sonore (bruits, mots, musique), Champs magnétiques (présence, intensité, seuil, orientation),

– Sortie : • Visuel (texte, image, photo, graphiques) ,

son (parole, son, bruit) , proprioceptif


Sources de variabilité d’un SIM (3/4)

• Cohérence entre les espaces d’interaction IN / OUT= type de “continuité” induite : 2 facteurs– Superposition des espaces d’interaction en entrée (IN)

et en sortie (OUT)– Importance du focus en entrée (IN)

Espace IN = Espace OUT Espace IN ≠ Espace OUT

Faible focus sur l’espace IN

Fort focus sur l’espace IN


Sources de variabilité d’un SIM (4/4)

• Cohérence entre les mondes physiques et numériques = types de liens– Représentation en entrée SIMILAIRE / DIFFERENTE

des représentations en sortie– Comportement en entrée SIMILAIRE / DIFFERENT

des comportements en sortie


Synthèse de ces points de vue• Mise en évidence– Spécificités et grande hétérogénéité– Différentes préoccupations liées aux SIM

Cohérence entre les mondes physique et

numérique

Cohérence entre les mondes physique et

numérique

Cohérence entre les espaces

d’interaction

Cohérence entre les espaces

d’interaction

Formes de communication

en entrée

Formes de communication

en entrée

Formes de communication en

sortie

Formes de communication en

sortie

Place du monde physique en entrée

Place du monde physique en entrée

Place du monde physique en sortie

Place du monde physique en sortie

Technologies utilisables en sortie

Technologies utilisables en sortie

Technologies utilisables en entrée

Technologies utilisables en entrée

Impacts sur l’interaction

Impacts sur l’implémentation

Usage du SIM

Technologies du SIM

Contour du SIM


Bilan des SIM existants• Domaine d’application et forme d’interaction en plein essor

SIM = une nouvelle forme d’IHM à fort potentiel

• Simultanéité et multiplicité des échanges d’information avec les mondes physique et numérique

SIM = système interactif multi-facetté

• Richesse et hétérogénéité des différentes facettes de l’interaction plus marquées qu’en IHM traditionnelle

SIM = une forme complexe d’interaction

Besoins d’approches de développement adaptées, pour– intégrer et comprendre les multiples facettes de la conception,

de l’implémentation et de l’évaluation des SIM.


On veut des SIM ! Comment faire ?• Approches basées sur les technologies utilisées

– Approches ad hoc : démontrent la faisabilité technique• Digital desk, situation de rétro-ingénierie

– Boites à Outils : regroupent des fonctionnalités de base (détection, localisation) pour faciliter leur mise en œuvre• AR Toolkit, Phidgets

– Plateformes de développement : fournissent un cadre pour un développement complet (architecture, protocole de communication, support au runtime)• DART, Amire, Studierstube et Wcomp (Wearable)

• Limites– Aucune aide à la suggestion de nouvelles formes d’interaction /

dispositifs / associations des 2– Peu d’attention accordée à la combinaison des multiples facettes

intrinsèques à l’interaction avec un SIM

Alternative: adopter un point de vue plus abstrait


Approches abstraites• Patrons de conception et recommandations ergonomiques

– Une solution à un (ensemble de) problème(s) connu(s)– Basé sur des approches empiriquesLimité à des problèmes et solutions existants ou rencontrés

or manque de recul pour les SIM.

• Modèles– Notations permettant de [MBL, AVI’04]

• Décrire• Comparer• Générer

– Pour favoriser• Exploration systématique et rationnelle de l’espace des possibles• Capitalisation des solutions de conception• Raisonnement au sujet d’aspects de conceptions sans se centrer sur (ou être

influencé par) des considérations technologiques


Approches par modèles• Décrire des propriétés physiques

– Savoirs préexistants liés à la vie quotidienne (RBI framework, [Jacob’08])

– Place et rôle du corps humain ([Klemmer’06])

– Relation entre objets physiques (TAC paradigm, [Shaer’04])

• Décrire les éléments d’interaction– Métaphores ([Fishkin’04])

– Eléments impliqués, relations, caractéristiques ([Trevisan’08, Chalon’04, Dubois’03])

• Décrire les mécanismes sous-jacents à l’interaction mixte– Périphériques d’entrée / sortie (APRIL, [Ledermann’05])

– Modalités requises (MIM, [Coutix’06])

– Flux de données lors des interactions haptiques (Flow Nets, [Smith’06])

• Décrire des articulation de modèles– Liens entre aptitudes humaines / dispositifs requis / modèles de tâches :

pour mesurer l’adéquation de ces différents aspects ([Klug’07]) – Liens entre story-board et des situations de travail réelles

pour accélérer la transition entre conception et implémentation (DART, [MacIntyre’04])

Différents aspects couverts, mais tous restent complémentaires.


Bilan des approches de développement

• Approches pratiques– Prennent en charge la complexité des SIM

• Implémentation facilitée• Réutilisation et capitalisation de solutions favorisée

• Approches par modèle– Caractérisent les multiples facettes

• Gros grain = approches globales, structurantes– Pour organiser le domaine

• Fin grain = approches détaillées, formalisées, souvent opérationnalisées– Pour spécifier des systèmes (décrire, générer)

Premières briques utiles à la maturation du domaine


Objectif de mon activité de recherche

• Fournir un support au développement des SIM – SIM = complexes et prometteurs– Approches existantes trop cloisonnées

• … centré sur l’interaction de l’utilisateur avec un SIM …– Prise en compte du caractère multi-facetté de l’interaction

avec un SIM

• … en adoptant une approche basée modèles.– Approches clés pour l’exploration du champ des possibles– Intégration des différentes dimensions de conception d’un

SIM – Connexions ultérieures de considérations complémentaires


Contraintes et Verrous induits• Développement centré sur l’interaction

Approche centrée utilisateur = 4 étapes distinctes à considérer• Analyse, Conception (interaction et logicielle), prototypage, évaluation• Verrou A : la transmission des choix de conception est nécessaire

Domaine émergeant = cycles itératifs requis pour générer /améliorer des idées• Verrou B : il faut pouvoir « re-travailler » les choix de conception de chaque étape

• Stratégies actuelles de développement des SIM sujettes à variations Utilisation de multiples modèles = Flexibilité requise

• Eviter l’utilisation d’un unique outil universel, de type UML• Verrou C : l’utilisation de modèles et outils spécifiques doit être possible

Þ Complémentarité des multiples modèles = Combinaison requise• Verrou D : une cohésion entre les résultats de conception des différentes étapes

du développement doit être assurée


Approche de travail

Il faut pouvoir « re-travailler » les choix de conception d’une étape

L’utilisation de modèles / outils spécifiques doit être possible

Une cohésion entre toutes les étapes du dévelop--pement est nécessaire

Chacune des 4 étapes doit être outillée spécifiquement

Les 4 étapes du développement

doivent être articulées / liées

Les principes de chaque articulation doivent

être observables

A

B

C

D

Transmission des choix de conception est nécessaire


Insertion globale dans un processus adapté

Contexte d’application

• Transformer un contenu muséographique en expérience interactive– Muséum de Toulouse– Société Metapages (Toulouse)

• Volet complémentaire à la démarche– Nécessité de s’inscrire dans un processus de

développement plus large, adapté aux spécificités du domaine


Deux modèles différents• Modèle et MM ASUR :

Conception de l’Interaction (E. Dubois, G. Gauffre, P. Gray)[IHM’04, IDM’05, EIS’07, HCI’07, DSVIS’08]

– Participating entities• Physiques, Numériques,

Adaptateurs– Canaux d’interaction– Caractéristiques

• Mécanismes de capture / modification (PE)

• Medium / représentation (IC)– Groupings

• Chemin d’Interaction path, proximité physique / mixte, cohérence

• Modèle et MM ASUR-IL : Conception de l’Architecture Logicielle (G. Gauffre) [IHM’06, Book LNCS ’08]

– Sous-assemblages de composants et définition de leur rôle • Entities : concepts numériques au

cœur de l’interaction– Structurée en M, V, C– Distingue le concept et In / Out

• Adapters : processus de capture / émission– Structuré en Devices + API– Sépare Interaction Physique /

Logique

– Spécifie les échanges• Ports = type de données

– Traite de l’interaction uniquement

Chacune des 4 étapes doit être

outillée spécifiquement


Outillage : Plugin Eclipsehttp://ihcs.irit.fr/guideme/



http://ihcs.irit.fr/guideme/


Et les autres étapes ?• Analyse (D. Scapin, INRIA Rocquencourt)

– Basée sur le modèle de tâches existant : KMad• Implémentation (JY Tigli, INRIA Nice)

– Basée sur une plateforme de prototypage existante : Wcomp• Evaluation (S. Charfi, D. Scapin) [IHM’08, EICS’09]

– Sélection de résultats expérimentaux relatifs aux SIM– Extraction de recommandations ergonomiques pour les SIM

• Formatage, classification par cibles

– 140 recommandations– 51 extraites– 87 adaptées– 2 exitantes– Environ 30 publications retenues + recueil de R.E pour RV

– Outillage : application web




Outillage : web http://ihcs.irit.fr/resim/



http://ihcs.irit.fr/resim/

22

Liaison entre analyse et conception de l’interaction

• KMAD / ASUR [Tamodia’07, Book Mixer’09]

(S. Charfi, R. Bastide)– Principe : initialiser la conception

de l’interaction à partir d’éléments du modèle de tâches• Basé sur l’identification de liens entre

les concepts des MM

– Apport pour le développement :• 7 règles d’articulation structurant /

guidant le passage entre les deux étapes : forme de systématisation

• Cohérence accrue entre les principaux concepts de l’analyse de tâches et la conception de l’interaction

– Outillage : aucun E. Dubois, soutenance HDR, 30 sept. 09




• ASUR / ASUR-IL (G. Gauffre) [Book LNCS’08, Book Mixer’09]

– Principe : initialiser la conception de l’architecture logicielle à partir du modèle d’interaction• Basé sur l’identification de

correspondances entre concepts des deux MM : règles et ontologie

– Apport pour le développement :• Efficience : outil spécifique distinct• Modifiabilité : modularité +

réutilisabilité (basé composant)

– Outillage : • ATL transformation + OWL (ontologie) • Plugin Eclipse



Liaison entre conception de l’interaction et conception logicielle

ASUR-IL

Dispositif

API

Ain

MédiumReprésentation

Représentation

ASUR


Liaison entre conception et implémentation

• SIMBA (W. Abou Moussa, JP Jessel) [ISMAR’06, VRIC’07, HandBook’08, ISUVR’08, Ubimob’08]

– Principe : produire un prototype « moyenne fidélité » d’un SIM à partir d’un modèle d’interaction• Prototypage basé sur la description ASUR et permettant la simulation dans

un environnement 3D de l’interaction avec le système modélisé

– Apports pour le développement : • Dépasser les contraintes intrinsèques aux dispositifs et leur langage• Mesurer l’adéquation et la suffisance des moyens de capture mis en œuvre • S’affranchir de la non disponibilité de dispositifs ou ressources requises • Tendre incrémentalement vers une solution complète

– Outillage :• Environnement graphique + édition et transformations de modèles +

plateforme distribuée (CORBA)




Et les autres liaisons ?• Conception logicielle / Implémentation (G. Gauffre)

– Transformations ATL + XPAND : ASUR-IL / Wcomp (et OI)• Génération de code / squelettes : C#• Génération d’assemblages WComp (ou OI) : XML

– Outillage : • Plugin Eclipse + Ontologie complétée + Environnement WComp (ou OI)

• Evaluation / conception de l’interaction (S. Charfi)– Classification des recommandations ergonomiques par

• Éléments constitutifs du MM ASUR• Règles KMAD / ASUR associées

– Outillage :• RESIM complété par des fonctionnalités de recherche




Observabilité des transitions

• KMAD / ASUR suggère un ensemble de points de départ– Une liste des possibilités est

produite

• ASUR / ASUR-IL propose un ensemble d’assemblage possible– L’ontologie liste d’autres

solutions – Extension possible de

l’ontologie par ajout

Les principes de chaque articulation

doivent être observables

• Evaluation / ASUR – Un concept ASUR = plusieurs

recommandations applicables

– Une R.E. = une ou plusieurs parties de modèles

• SIMBA– Modèles intermédiaires– Distinction entre simulé et

finalisé

• ASUR-IL / WComp– Un assemblage ASUR-IL = un

assemblage WComp ou un composant WComp

– Ontologie liste d’autres solutions


Processus de développement de SIM pour la médiation culturelle• Spécificités (C. Bach)

[ICHIM’05, IHM’06, SELF’07, Book PUF’09]

– Domaine peu familiarisé avec la technologie / les principes IHM, en particulier les SIM

– Accès limité : besoin d’optimiser les phases

– Pluridisciplinarité exacerbée • Besoin d’identifier la place de

chaque spécialiste

• Principes– Recenser, décrire, valider les

différentes étapes

Insertion globale dans un processus

adapté

Optimisation

Evaluation Prototypage

ConceptionAnalyse

• Utilisabilité• Interaction• Nature de l’expérience• Mise en scène• Socio-cognitif

Analyse Préliminaire

Recueil Filtrage Catégorisation

Analyse des Principes InteractifsCorpus de PF Canevas Interactif

Phasage

Principes Directeurs

Apport sur Thématique

Principes Fonctionnels

Proposition Initiale

Production

Sélection Solution Intégration Tests

N fois


Processus de développement de SIM pour la médiation culturelle• Apport– Séparation entre les analyses métier et interaction

• Nécessaire car demandes souvent floues

– Replace le soucis d’homogénéité tôt dans le processus– Constitue un guide pour l’articulation des multiples

compétences impliquées

• Outillage– Recensement d’outils disponibles pour chaque étape– En particulier : ressources pour la conception de SIM

applicables en phase d’optimisation

Insertion globale dans un processus

adapté


Des SIM pour le Muséum

MIME 07/08

RAPACE 06/07

INFLATABLE UI 07/08

CLADIBULLE 07/08S3M 08/09


Conclusion• Analyse approfondie du domaine des SIM

– Justifier mes objectifs et ma démarche• Survol des contributions produites au travers de

– 3 thèses : W.Abou Moussa, S. Charfi et G. Gauffre– Des collaborations institutionnelles :

• Locales – IRIT : IHCS, VORTEX– LECP et Muséum de Toulouse

• Nationales– INRIA Rocquencourt et Sophia, – LIG - Université de Grenoble, LIMSI – Université Paris XI– UTT, ESTIA

• Internationale– University of Glasgow

– Des collaborations industrielles• Metapages, GVS, Immersion

– Contrats• Région• ANR


AnalyseConceptio

n

ImplémentationEvaluation

KMAD : modèle de

tâche

Implémentationbasée

composants

ASUR : Modèle de

l’interaction utilisateur - SIM

Phase de Développement

SIMBA : Plateforme de

Simulation

ASUR-IL : Modèle d’architecture logicielle pour un SIM

Recommendations Ergonomiques pour les

SIM

Wcomp :Plateforme

d’implémentation

Modèles existantsContributionsArticulations

Processus de développement d’expériences interactives avancées en milieu muséal


Perspectives (1/3)• Finaliser et éprouver les contributions– Produire des recueils illustratifs et documentés de • modèles, • mise en œuvre des transformations

– Mettre en place un protocole d’utilisation communautaire des recommandations ergonomiques (accès et ajout)

– Caractériser les impacts / apports des articulations

Elargir la diffusion de ces contributions et leur mise en œuvre


Perspectives (2/3)• Etudier et élaborer de nouvelles ressources de conception

– Lien entre analyse informelle et conception formelle • Thèse en cours : Christophe Bortolaso

– Impact des SIM sur des tâches spécifiques en environnement 3D • Thèse à venir : Bénédicte Schmitt

– Analyse plus fine de la relation entre l’Homme et les Objets physiques manipulés

Compléter les ressources support au développement de SIM

• Approfondir l’intégration des ressources de développement– Patron de conception de SIM ergonomiques– Evaluation prédictive sur modèle (performance, ergonomie)– Management du processus de conception

Renforcer la cohérence entre les éléments de conception


Perspectives (3/3)

• Elargir l’intégration à – D’autres domaines :

• Interaction avec des EV 3D, • Prise en compte de déficiences (humaines, contextuelles, logicielles)

– D’autres disciplines : • systèmes multi-agent, SI, réseaux, …

car ils forment un tout : notre quotidien

S’inscrire dans les efforts de recherche liés aux systèmes ambiants (Projet AMIE)

• Globalement : contribuer à la maturation du domaine, mais …


Une grande question en arrière plan

• Comment évaluer ces contributions ? • Comment démontrer leur pouvoir ?• Pistes envisagées :– Lisibilité, utilisabilité, apprentissage par différents

profils– Adéquation de la granularité, complétude, générativité – Qualité des systèmes produits

• Performance, satisfaction, coût, robustesse, temps requis ?

– Collaborations pluridisciplinaires nécessaires (ethnologues, sociologues, spécialistes de l’IHM ? )

Conception, Implémentation et Evaluationde Systèmes Interactifs Mixtes :

une Approche basée Modèles et Centrée sur l’Interaction

Emmanuel DuboisSoutenance d’HDR, Septembre 2009

Université de ToulouseIUT de Tarbes

Laboratoire IRIT Equipe IHCS

conception, implémentation et evaluation de systèmes interactifs mixtes : une approche basée...

Documents