guide virtuel autonome immergé dans un environnement réel...

Guide virtuel autonome immergé dans unenvironnement réel dynamique

Architecture générale et application à la visite guidée d’unaquarium marin

Morgan Veyret* — Eric Maisel* — Jacques Tisseau*

* Centre Européen de Réalité Virtuelle (CERV)25 rue Claude Chappe, 29280 Plouzané

{veyret,maisel,tisseau}@enib.fr

RÉSUMÉ.Les musées sont constamment en quête de nouvelles attractions leurs permettant detransmettre de l’information aux visiteurs. Nous proposons ici l’utilisation d’un guide virtuelimmergé dans l’environnement à décrire par des techniques de réalité augmentée en tant quenouveau moyen de transmission de ces informations dans le cadre de la visite d’un aquariummarin. Le guide est capable de s’adapter aux différentes contraintes de cet environnement dy-namique de façon autonome grâce à la mise en place d’une boucle perception/décision/action.A partir d’une représentation de l’environnement et de connaissances structurées, le guide sé-lectionne et présente en temps réel des informations adaptées au visiteur. Cet article présentel’architecture générale de ce guide virtuel puis se concentre sur le processus de prise décision.

ABSTRACT.Museum are always looking for new attractions and ways of communicating withvisitors. Here we describe an virtual guide as a new information support for visitors ofan aquarium, using augmented reality technics. The guide isable to autonomously adaptto the particular constraints of this dynamic environment through the execution of a percep-tion/decision/action loop. Based on the environment representation and prior knowledge, theguide selects and presents suited informations to the visitor in real time. The focus of this paperis the decision system and its place in the general layout of the autonomous virtual guide.

MOTS-CLÉS :Guide virtuel, Autonomie, Simulation comportementale, Réalité augmentée

KEYWORDS:Virtual guide, Autonomy, Behaviour simulation, Augmentedreality

RSTI - TSI – 28/2009. Réalités virtuelle et augmentée, pages831 à 855

832 RSTI - TSI – 28/2009. Réalités virtuelle et augmentée

1. Introduction

La réalité augmentée est un domaine en plein essor. Tout comme la réalité virtuelleil s’agit d’un ensemble de techniques permettant la création d’interfaces. Mais il nes’agit plus d’interfaces entre un utilisateur et une base dedonnées ou une simulationmais entre un utilisateur et le monde réel. Ce type d’interface permet de superposerun ensemble d’informations numériques à des objets du monderéel et ceci selon desmodalités visuelles et/ou sonores.

Les problématiques liées à la réalité augmentée sont nombreuses. Certaines sontétudiées depuis longtemps. C’est le cas par exemple des problèmes de calibrage decapteurs (essentiellement de caméras), de périphériques de restitution (casques per-mettant de fusionner des images provenant de plusieurs sources). D’autres sont plusrécentes, telles que l’utilisation d’algorithmes d’élimination de surfaces cachées entreobjets virtuels et réels, de cohérences entre sources d’éclairage (voire sonore) réelleset virtuelles, ceci pour améliorer le réalisme de la restitution finale du monde ainsiaugmenté.

D’autres problèmes ont été évoqués par certains auteurs, enparticulier celui de lalisibilité des informations numériques ajoutées : si celles-ci sont en trop grand nombreelles ne peuvent pas être restituées simultanément, et ceciencore moins si un seulcanal de restitution (par exemple le canal visuel) est utilisé.

Nous proposons dans cet article d’étudier un problème relatif - tout comme le der-nier évoqué ci-dessus - à la présentation des informations àrestituer. Il s’agit d’étudierun programme qui prend en entrée les signaux émis par un monde(réel dans notrecas) et qui génère, sous formes verbales ou non verbales, lesexplications permettantà un utilisateur de comprendre ce monde. Plus précisément nous nous intéressons iciaux mécanismes pouvant être mis en œuvre pour nous adapter à l’aspect dynamiquede l’environnement réel.

L’énoncé de ce problème repose sur deux remarques :

– la première remarque est que les informations sont mieux acceptées si elles sontreprésentées par un interlocuteur virtuel incarné, c’est-à-dire réifiées à travers un per-sonnage virtuel anthropomorphe;

– la seconde remarque concerne le monde à expliquer. Généralement l’état des ob-jets à augmenter est connua priori et n’évolue pas. C’est le cas par exemple pour laposition et l’orientation de ces objets dans l’espace. Par contre l’utilisateur peut se dé-placer. La position de l’utilisateur ainsi que son orientation dans l’espace permettentd’identifier les objets que celui-ci perçoit et, par conséquent, de leur associer des in-formations numériques (nom, nature...) et de restituer parl’image et/ou par le son cesinformations. Nous nous plaçons dans un autre cadre - encorepeu étudié - en consi-dérant que l’environnement à étudier est non seulement dynamique (l’état des objetsréels peut évoluer) mais qu’en plus il n’est que peu prévisible (on ne connaît pasapriori quels sont les objets perçus ni la façon dont leur état va évoluer).

Guide virtuel autonome 833

De la même façon qu’il existe des algorithmes permettant de passer d’un texteécrit à un texte parlé (Text To Speech) il s’agit ici de proposer un algorithme permet-tant de passer d’une suite de signaux et d’événements issus d’un environnement réeldynamique peu prévisible à une suite d’explications claires et structurées décrivant cetenvironnement dynamique non déterminéa priori.

Ce travail s’appuie sur un cas concret : celui de la visite d’un aquarium public.Il s’agit d’étudier un nouvel outil permettant de répondre aux limites des moyens deprésentation actuels des poissons, à savoir des planches illustrées placées près d’aqua-riums de grandes tailles. Cette solution n’est que peu satisfaisante car elle oblige lesvisiteurs à faire d’incessants allers-retours entre les planches et l’aquarium (figure 1).De plus la surface utile réservée à chaque espèce est trop réduite. La réalité augmen-tée, en donnant l’impression que les poissons réels et un guide virtuel partagent lemême espace permet de résoudre ces deux problèmes.

Figure 1. Le visiteur peut éprouver des difficultés à mettre en relation les informationsprésentes sur les panneaux situés sur le côté de l’aquarium et les poissons visibles

De plus cette application particulière correspond à notre cadre de recherche : nonseulement le guide virtuel doit avoir un comportement « anthropomorphe » mais deplus l’aquarium, puisqu’il contient des animaux par définition autonomes, constituebien un environnement dynamique peu prévisible.

Nous nous intéressons au problème de la présentation d’un environnement dyna-mique. Aussi, pour isoler les différents problèmes les uns des autres nous supposeronsl’utilisateur fixe, passif, n’intervenant pas dans la synthèse des explications. Cette priseen compte de l’utilisateur fera l’objet de travaux ultérieurs.


Cet article est structuré en trois parties : dans un premier temps nous proposons unétat de l’art permettant de nous placer par rapport aux solutions déjà proposées. Dansun second temps la solution que nous proposons est présentée. Enfin nous décrivons lamise en œuvre du démonstrateur actuellement développé ainsi que les résultats d’uneexpérimentation.

2. État de l’art

2.1. Notion de guide virtuel

De nombreux travaux sont plus ou moins liés à la notion de guide virtuel, d’unefaçon générale tout système permettant de délivrer des informations contextualisées àun utilisateur peut se rapporter à cette notion. Lorsque l’on s’intéresse à ce que sontles fonctions du guide, à savoir l’accompagnement, l’information et l’éducation, età la transposition de ces fonctions dans le virtuel (Rayward, 1999) de nombreusespossibilités sont offertes.

(Burgardet al., 1998) par exemple proposent un robot capable d’effectuer des vi-sites guidées dans un musée réel. Celui-ci est en mesure de sedéplacer dans le musée àl’aide d’un ensemble de capteurs et possède un clavier permettant à l’utilisateur d’in-teragir avec lui pour, entre autre, demander le déclenchement d’une visite spécifique.

Des projets tels que Cyberguide (Abowdet al., 1997) ou DEEP MAP (Malakaetal., 2000) proposent l’utilisation d’un terminal mobile (PDA ou autre) pour fournir desinformations contextualisées au visiteur. En intérieur ouen extérieur les utilisateurspeuvent effectuer des requêtes spécifiques et les informations fournies sont adaptéesen fonction de sa localisation. Toujours dans le domaine desapplications mobiles, desprojets comme PEACH (Stocket al., 2004) ou C-MAP (Sumiet al., 1998) proposent lapersonnification du guide et l’adaptation des informationspar rapport aux préférencesde l’utilisateur.

Certains travaux tels que (Vlahakiset al., 2002) font appel à la réalité augmentéepour ajouter des informations sur un environnement réel à lademande de l’utilisa-teur. Le projet Geist (Braun, 2003) utilise également la réalité augmentée au traversd’un système de visualisation portable (HMD1) afin de faire participer les visiteursà une histoire sur le lieu de la visite. (Ibanezet al., 2003) proposent l’utilisation detechniques destorytellingpour adapter les informations fournies durant la visite d’unenvironnement au point de vue du guide virtuel.

D’autres travaux tels que (Joachimset al., 1997) proposent un système capabled’adapter la navigation sur un siteweben fonction des intérêts supposés de l’utilisa-teur en lui proposant, par exemple, des liens vers des informations supplémentairesen rapport avec ce qu’il recherche. Le système sert d’interface entre l’environnementvirtuel que constitue internet et l’utilisateur. Dans (Panayiotopouloset al., 1999) les

1. Head Mounted Display.


auteurs présentent un guide personnifié capable d’aider le visiteur lors de ses dépla-cements au sein d’une université virtuelle modélisée en 3D et visible à l’aide d’unnavigateurweb. Les informations que ce guide propose en plus de l’aide à la naviga-tion sont adaptées en fonction d’un profil utilisateur prédéfini que le visiteur choisit audébut de la visite. (Doyleet al., 1997) proposent un guide personnifié dont le rôle estd’accompagner l’utilisateur lorsqu’il évolue dans un environnement virtuel (MUD2)en lui fournissant non seulement des informations sur les possibilités dans l’environ-nement mais également en interagissant avec lui en lui proposant de participer à desjeux. Dans (Chittaroet al., 2003) les auteurs plaident également en faveur de la per-sonnification du guide virtuel dans le cadre d’une application de visite d’un muséevirtuel en 3D. Ce guide est incarné par un personnage dans l’environnement virtuelet permet d’aider le visiteur à naviguer dans cet environnement mais également delui fournir des explications adaptées sur les différents objets présents. Les visites sontprédéfinies et générées au démarrage.

Dans le cadre des environnement virtuels, les travaux de (Yuan et al., 2003)proposent également la personnification du guide virtuelvia l’utilisation d’un agentconversationnel animé pour guider les visiteurs dans un musée virtuel modélisé entrois dimensions. Ce guide virtuel est capable d’interagiravec les visiteurs et des’adapter à l’utilisateur en le laissant diriger la visite ou non. Dans le même espritd’autonomie au niveau du choix des informations délivrées au visiteur, (Popovicietal., 2003) proposent un guide autonome pour accompagner des utilisateurs au seind’une reconstitution virtuelle de l’arsenal de Brest en 1810.

Il est possible de distinguer différentes catégories parmices exemples de guidesvirtuels au travers du type de visite3 qu’ils proposent au visiteur. Nous distinguons lestypes de visites suivants :

– la visite planifiée. Dans ce type de visite, le déroulement est prévu à l’avanceet aucune place n’est laissée aux imprévus durant le processus de transmission desinformations. C’est le cas par exemple des guides proposés dans (Chittaroet al., 2003)ou encore (Burgardet al., 1998) ;

– la visite réactive. Dans ce type de visite, le guide présente des informations auvisiteur de façon automatique, sans objectif précis. C’estle cas de certains systèmesmobiles qui se basent uniquement sur la localisation de l’utilisateur pour sélectionnerles informations à présenter (Abowdet al., 1997; Chouet al., 2004; Pospischiletal., 2002) ;

– la visite interactive. Dans ce type de visite, le déroulement n’est pas prévu paravance mais se fait à l’initiative de l’utilisateur, au fur et à mesure de son interactionavec le système. Cette interaction peut être explicite (Panayiotopouloset al., 1999) ouimplicite (Koppet al., 2005) ;

2. Multi-User Dungeon.3. Le termevisiteest ici employé au sens large et désigne le processus de transmission d’infor-mations au visiteur.


– la visite dynamique. Dans ce type de visite, le déroulementn’est pas prévu àl’avance et se fait à l’initiative du guide virtuel qui va décider de façon autonome deséléments à présenter au visiteur (Ibanezet al., 2004; Macalusoet al., 2005).

2.2. Sélection et présentation d’information

Les travaux variés dans leurs applications et objectifs quenous venons de présenternous permettent de mieux appréhender la notion de guide virtuel au travers du type devisite qu’ils proposent ainsi que de leurs différentes caractéristiques, à savoir :

– la représentation et la structuration des informations que l’on cherche à trans-mettre ;

– la contextualisation de ces informations : par rapport à l’environnement et parrapport à l’utilisateur ;

– la présentation de ces informations au travers par exemplede la personnificationdu guide et l’utilisation de différentes modalités.

Ces différents aspects ont été abordés dans des domaines connexes au sein desquelson peut retrouver des exemples de guides virtuels au traversd’applications spécifiques.

La représentation et la structuration des informations ainsi que leur contextua-lisation par rapport à différents paramètres sont des sujets qui sont traités dansle domaine des environnements informatiques pour l’apprentissage humain (EIAH)(Tchounikine, 2002). Les travaux de ce domaine s’intéressent à la mise en place deprocessus didactiques au sein d’un environnement informatique. Dans le cas des en-vironnements virtuels, ce domaine rejoint souvent celui des agents conversationnelsanimés (ACA) au travers de la notion d’agent pédagogique (Pelachaudet al., 2004).

L’idée des EIAH est de faire appel au moyens informatiques afin de mettre en placedes procédures d’apprentissage selon un objectif pédagogique. Pour cela, les travauxde ce domaine s’intéressent à plusieurs problématiques telles que la modélisation desconnaissances (sur le domaine enseigné, l’apprenant, la résolution de problèmes) ouencore l’interaction entre le système et l’utilisateur (Tricot et al., 1999). La modéli-sation des connaissances et du processus d’apprentissage adonné lieu à la notion descénario pédagogique (Perninet al., 2004) ainsi qu’à plusieurs langages de modélisa-tion de tels scénarios (van Eset al., 2006; Koperet al., 2004).

Le second aspect caractéristique des guides virtuels est laprésentation d’infor-mations (et sa contextualisation dans une moindre mesure ici). Cette présentation estfortement liée à l’« apparence » que revêt le système et aux moyens qui sont à sa dis-position pour interagir avec l’utilisateur. Comme nous l’avons dit en introduction de cedocument, le guide virtuel que nous proposons est immergé dans l’environnement réeldynamique qu’il doit décrire au visiteur. Le choix de cette immersion nous place defait dans le cadre d’un guide virtuel personnifié et nous ramène à des problématiquespropres au domaine des agents conversationnels animés. (Nijholt, 2003) parle de cettepersonnification comme d’un moyen essentiel pour rendre le guide plus attractif et


des études on montré que les utilisateurs ont une tendance naturelle à interagir avecles systèmes informatiques de la même façon qu’ils interagissent avec d’autres êtreshumains (Reeveset al., 1996). Dans (Cassell, 2001), elle est vue comme un moyen in-dispensable pour l’utilisateur de situer l’intelligence du système. Le domaine des ACAest transdisciplinaire : il intègre des travaux variés concernant par exemple l’anima-tion, la gestion et la synchronisation de modalités multiples ou encore la gestion dedialogue (Pelachaudet al., 2004). Dans le cadre de nos travaux, le visiteur (utilisa-teur) n’interagit pas avec le guide virtuel, c’est le guide qui choisit les informations àprésenter et le visiteur « subit » cette présentation. Une catégorie particulière d’agentsconversationnels qui nous intéresse dans le cadre de notre guide virtuel, est celle desagents de présentation. Ce type d’agent conversationnel a pour objectif de présen-ter des informations à un utilisateur en faisant appel à un ensemble de modalités. Onretrouve dans ce cadre des travaux s’intéressant au problème du choix et de la synchro-nisation de différentes modalités (Nomaet al., 2000; Jonkeret al., 1999) ainsi que desproblématiques liées à la sélection des informations à présenter. Sur ce dernier point,les travaux sur les systèmes de présentation multimédia (André, 2000; Colineauetal., 2003), dont font partie les agents conversationnels spécialisés dans la présentationd’information, ainsi que les travaux liés à la génération delangage naturel présententdes points intéressants. On retrouve dans ce domaine deux grandes approches pour lastructuration du discours. Des approches que l’on peut qualifier de descendantes qui,partant d’un but communicatif et d’un ensemble de contraintes, produisent le discoursdans son intégralité sans forme d’adaptation à des critèresdynamiques au cours de laprésentation. Des approches opposées que l’on peut qualifier d’ascendantes pour les-quelles les informations sont choisies au fur et à mesure de la présentation. On trouvedans cette approche des systèmes reposant sur des mécanismes de planification dyna-mique (Mellishet al., 1998) et des systèmes plutôt réactifs notamment dans le cadred’applications de commentaires sportifs (Andréet al., 2000).

2.3. Positionnement

Par rapport à l’ensemble de ces travaux nous pouvons faire les remarques sui-vantes :

– en ce qui concerne les EIAH, l’objectif est de faire acquérir à des apprenants desconnaissances ou des gestes techniques bien définis par des objectifs pédagogiques.Pour nous il ne s’agit pas de faire acquérir des connaissances au cours de sessionsfortement scénarisées et de contrôler l’acquisition de cesconnaissances mais de trans-mettre de façon diffuse (ludique et informelle) des connaissances générales. L’utilisa-teur est plus un visiteur qu’un apprenant ;

– du point de vue des ACA nous nous intéressons moins à la communication multi-modale qu’aux problèmes posés par l’environnement dynamique auquel notre agentprésentateur est présenté. C’est une contrainte forte puisqu’il ne s’agit plus unique-ment de sélectionner une présentation mais de la construire;


– du point de vue des visites guidées il n’existe que peu de travaux s’intéressantà une visite dynamique et encore moins quand c’est l’environnement qui impose cetaspect dynamique ;

– enfin, de façon générale, peu de travaux s’intéressent à la mise en œuvre deguides virtuels dans le domaine de la réalité augmentée.

3. Principe général

L’objectif de ce travail est de proposer une architecture logicielle générique ca-pable de résoudre le problème énoncé dans la première section à savoir : « utiliserun guide virtuel dans le cadre de la réalité augmentée de façon à pouvoir générer entemps réel les explications permettant de comprendre un environnement dynamiquenon déterminéa priori ».

Nous proposons comme ligne conductrice du développement d’une telle architec-ture la notion d’autonomie : un système est autonome s’il estcapable de s’adapteraux modifications de son environnement de façon à poursuivreun objectif qui lui estpropre. Dans notre cas cet objectif est de donner des explications relatives à un envi-ronnement réel (en l’occurrence un aquarium) qui évolue en permanence de façon peuprévisible.

Une solution pour mettre en œuvre un tel système consiste à utiliser une boucleperception/décision/action. Par la suite nous appellerons « guide virtuel » le systèmelogiciel qui implémente une telle boucle aussi bien que le personnage virtuel qui lereprésente pour les utilisateurs.

D’un point de vue fonctionnel un tel guide virtuel est mis en œuvre par trois mo-dules (figure 3) :

– un module de perception : son rôle est de créer une représentation de ce quele guide virtuel perçoit de son environnement à partir de capteurs, par exemple descaméras ;

– un module pédagogique : son rôle est de déterminer à tout instant le contenu desexplications ainsi que la façon de les exprimer ;

– un module de restitution : son rôle est d’animer et de restituer une représentation3d du guide virtuel tant à travers les modalités visuelles que sonores.

Ces trois modules fonctionnent de façon asynchrone. Le module de perceptioncrée une représentation de l’environnement de façon indépendante des calculs du mo-dule pédagogique. Celui-ci ne peut que venir consulter la représentation calculée etmodifier certains paramètres qui vont influencer la façon dont le guide perçoit sonenvironnement. On peut ici parler de perception active. De la même façon la synchro-nisation entre les modules pédagogique et de restitution s’effectue par consultation del’état du guide virtuel (par exemple sa position par rapportà un poisson) et par envoide requêtes du module pédagogique vers le module de restitution (par exemple suivreun objet donné).


Figure 2. Architecture générale du système. Les flèches montrent les interactions entreles différents composants du système. On peut distinguer les différents modules : lemodule de perception (à gauche), le module pédagogique (au centre) et le module derestitution (à droite)

Si on se place au niveau de l’application on ne peut pas parlerde boucle per-ception/décision/action (qui suppose un enchaînement séquentiel) puisque ces troistâches sont exécutées en parallèle. Par contre le module pédagogique peut être amenésuccessivement à

– percevoir son environnement et son état interne (en interrogeant les modules deperception et de restitution) ;

– prendre une décision ;

– envoyer une requête au module de restitution.

3.1. Module pédagogique

Le rôle du guide virtuel est donc triple. Il doit :

– choisir quoi expliquer ;

– déterminer comment l’expliquer ;

– décider quand changer d’explication courante.

Pour cela ce module contient différentes informations :

– une représentation des explications à fournir ;


– une description du comportement du guide virtuel en fonction de son environne-ment ;

– une fonction de sélection de thèmes à expliquer en fonctionde son environne-ment, de l’historique de la présentation et de connaissancesa priori.

3.2. Module de perception

Contrairement aux mondes virtuels (numériques) le monde réel (physique) n’estaccessible qu’à travers les signaux qui le traversent. L’hypothèse faite par la plupartdes systèmes de perception est que le monde réel est constitué d’objets distincts quiémettent ces signaux et qu’il est possible par leur analyse de créer une représentationde ce monde.

Dans notre cas cette représentation se limite à une liste d’objets définis par des pa-ramètres géométriques (forme, ratio longueur/largeur...), cinématiques (position, vi-tesse), temporels (date de dernière mise à jour) et sémantiques (nature de l’objet). Parabus de langage nous appellerons par la suite cette représentation mémoire de travail.

Le contenu de cette mémoire de travail est obtenu par application de traitementsà ces signaux. Dans le cas de notre exemple il s’agit de traitements de flux vidéoprovenant de plusieurs caméras.

Le module de perception est décomposé en trois sous-modules(focalisation, suiviet identification) qui coopèrent de façon asynchrone à travers la mémoire de travail :

– dans le problème traité la focalisation de l’attention (enl’occurence visuelle) estnécessaire du fait de la quantité importante d’informations fournies par les capteurs etde la contrainte de construire et de mettre à jour en temps réel la mémoire de travail. Lafocalisation s’effectue en utilisant des cartes de saillance qui pour l’instant exploitentessentiellement des informations de couleur et de mouvement. A partir d’une imagece mécanisme permet d’extraire un ensemble de points remarquables correspondantsà des objets susceptibles d’être intéressants à expliquer.Le regroupement des pointsconsidérés comme appartenant au même objet définit un nouvelélément dans la mé-moire de travail ;

– le suivi des objets s’effectue par application d’un filtre de Kalman aux informa-tions cinématiques et géométriques des objets contenus dans la mémoire de travail. Unmécanisme d’oubli est également mis en œuvre : tout objet précédemment mémoriséqui n’a pas été détecté à nouveau après une certaine durée (fixée de façon arbitraire)est retiré de la mémoire de travail ;

– l’appartenance d’un objet à une classe d’objets particulière est déterminée parun ensemble de classifieurs.

Les liens entre le module de perception et le module pédagogique sont bidirection-nels : d’un côté le module pédagogique utilise le contenu de la mémoire de travail, del’autre, la prise en compte de la nature des objets que le module pédagogique chercheà expliquer permet au module de perception de se focaliser sur les informations per-


tinentes nécessaires à l’élaboration de ces explications (par exemple se limiter auxobjets gris évoluant sur le fond de l’aquarium).

On parle alors de stratégie hybride de prise d’information :l’attention est focaliséeà la fois par le contenu des signaux (vidéos) et par la nature des objets à extraire deces signaux. Dans cet article nous nous concentrons sur le module pédagogique, lesmécanismes mis en œuvre dans le module de perception sont détaillés dans (Veyretetal., 2008).

3.3. Module de restitution

Ce module a pour rôle de mettre en œuvre la représentation incarnée du guidevirtuel tant en ce qui concerne son animation que sa restitution (visuelle et sonore).Cela est obtenu par la mise en œuvre de deux fonctionnalités :

– une fonctionnalité de navigation. Il s’agit d’accroître la crédibilité du guide vir-tuel en lui imposant quelques contraintes du monde réel. En particulier la nécessitéd’effectuer des déplacements continus dans l’espace, que cela soit pour désigner l’ob-jet concerné par les explications (éventuellement en le suivant) ou pour se positionnerface aux utilisateurs afin de s’adresser directement à eux. Cette capacité de navigationest mise en œuvre en utilisant une procédure de steering (Reynolds, 1987) qui permetd’animer des entités virtuelles au moyen de requêtes tellesque « aller en un point »,« suivre un objet donné », « éviter un objet donné » ;

– une fonctionnalité de présentation des informations concernant un sujet particu-lier. Pour cela le guide virtuel dispose de modalités d’expressions verbales et non ver-bales à travers des mécanismes d’animation (mouvements de nageoires, des yeux...) etde lecture de documents multimédias (images, vidéos et sonsparmi lesquels des voixpré-enregistrées).

Ce module est capable de tenir compte de l’état émotionnel (joie, peur, tristesse) duguide virtuel en modifiant certains paramètres de l’animation (vitesse de déplacement,taille du guide, texture...). Le module pédagogique ne spécifiant que des objectifs àatteindre et l’état émotionnel du guide au moyen d’un langage de requêtes.

Remarquons que la fonctionnalité de navigation permet ici de traiter deux pro-blèmes de restitution visuelle à savoir l’élimination de surfaces cachées et la détectiondes collisions.

Le premier problème se pose lorsqu’un objetOr du monde réel passe devant leguide virtuel. A moins d’avoir un modèle 3d plus ou moins exact deOr il est difficilede déterminer quelles sont les parties du guide virtuel qui vont être cachées parOr.Or la création d’un tel modèle et l’estimation de sa positiondans l’espace nécessitedes ressources de traitement d’images importantes. Aussi,le plus souvent ce problèmeest résolu en mélangeant à parts égales les images des objetsréels et virtuels . Celapeut conduire à des images peu compréhensibles où il est difficile d’estimer la po-sition du guide virtuel dans l’environnement réel. Nous proposons ici de tirer parti


du mécanisme de steering pour résoudre ce problème. Nous considérons deux typesd’objets réels : les objets qui appartiennent à l’arrière-plan (toujours placés derrière leguide virtuel) et les autres objets. Ceux-ci sont considérés par la procédure de steeringcomme des obstacles que le guide virtuel doit éviter en les contournant soit par le hautsoit par le bas. Le problème des collisions entre le guide virtuel et les objets réels esttraité de la même façon : en les évitant.

4. Modélisation du comportement du guide virtuel

Nous proposons dans cette section une modélisation du guidevirtuel. Cette mo-délisation se focalise sur le module pédagogique. Le guide virtuel est alors considérécomme une boîte noire qui transforme un flot d’événements (provenant du module deperception) en un flot de requêtes d’actions (envoyées au module de restitution).

Cette boîte noire est définie comme un triplet dont les termescorrespondent à lafaçon dont les éléments d’explication sont représentés, à la façon dont les explicationssont élaborées dynamiquement et enfin à la façon dont elles sont sélectionnées.

4.1. L’environnement du module pédagogique

Afin de simplifier la modélisation du guide virtuel ainsi que sa mise en œuvrequelques hypothèses portant sur l’environnement à expliquer et sa représentation éla-borée par le module de perception sont nécessaires.

4.1.1. Hypothèses sur le monde à expliquer et sa représentation

– Le monde est constitué par des objets distincts les uns des autres.

– Chaque objet appartient à une classe d’objets (par exemplela classe des requins).

– Le monde dans lequel évolue le guide virtuel est clos : les classes d’objets et lesobjets sont connusa priori mais pas leur état à un instant donné (par exemple leurposition).

– Le guide virtuel dispose d’une représentation du monde telqu’il le connaît à uninstant donné. Cet ensemble est susceptible d’être modifié àchaque pas de temps, tantdans sa cardinalité que dans les valeurs des paramètres de ses différents éléments.

4.1.2. Les événements

Un événement décrit une modification importante de l’environnement du guidevirtuel. Nous considérons deux types d’événements :

– le déclenchement d’une alarme (par exemple l’alarme notifiant la fin d’une ses-sion d’explication ou celle de la fin d’un script d’animationexécuté par le module derestitution) ;

– l’apparition ou la disparition d’un objet, de tous les objets d’une même classe.


4.1.3. Les requêtes d’actions

Les explications sont exprimées à travers l’exécution d’animation du modèle 3d duguide virtuel et par la lecture de documents multimédia. Cesactions, prises en chargepar le module de restitution sont spécifiées par le module pédagogique au moyen derequêtes regroupées dans des scripts.

Ces scripts décrivent les dates de début d’exécution de ces documents (relative-ment à la date de début du script) ainsi que leur durée et le caractère synchrone ouasynchrone de ces exécutions. Il est donc possible de déterminer la date de fin del’exécution d’un script connaissant sa date de début d’exécution.

4.2. Les explications

Un objet de l’environnement peut être décrit par un ensembled’explications don-nées sous la forme de lectures de documents multimédia. On entend par là des textesparlés, des animations de la représentation du guide virtuel, mais également desimages et des vidéos. Deux objets informatiques sont rassemblés sous le terme « ex-plication » :

– la description de la structure d’une explication complète;

– le processus de construction d’une explication.

4.2.1. Description de la structure d’une explication

La contrainte du temps réel empêche une représentation monolithique de ces ex-plications. Celles-ci doivent être découpées de façon à pouvoir être interrompues sanspour autant que l’utilisateur en soit gêné. Cette structuration des explications ne se faitpas en cours d’une visite mais est donnée au cours de la définition de la visite. Elle estdéfinie par un ensemble de graphesEx = (E, P, MD, S), avec :

– E : un ensemble d’éléments d’explication ;

– P : une relation de précédence. Un couple(e1, e2) est un arc du graphe si l’élé-ment d’explicatione2 ne peut être donné qu’après que l’élément d’explicatione1 aitété donné ;

– MD : un ensemble d’attributs qui caractérise le graphe d’explication. Ces attri-buts peuvent être considérés comme des métadonnées décrivant le contenu des expli-cations. Ces attributs sont pris dans un ensemble donnéa priori ;

– S : une fonction qui associe à tout élément d’explication un script de requêtesdestinées au module de restitution.

Nous appelons un tel graphe, graphe d’explication. Il décrit bien :

– les éléments d’explication et la façon dont ils peuvent s’agencer les uns par rap-port aux autres pour former une explication ;

– les relations entre les éléments d’explication et la façonde les exprimer.


La connaissance déclarative du guide virtuel est contenue dans un ensemble de cesgraphes.

4.2.2. Processus d’explication (ou explication)

Un processus d’explication correspond à une explication encours d’élaboration.Un tel processus est caractérisé par :

– le graphe d’explication utilisé ;

– l’ objet du monde réel servant de support à cette explication (il peut n’y en avoiraucun) ;

– le sommet du graphe correspondant au point courant du processus d’explication ;

– l’ensemble des sommets du graphe d’explication déjà parcourus.

La trace d’une explication est donc un chemin dans un graphe d’explicatione1, e2, ..., em où e1 est un sommet du graphe sans prédécesseur ; Nous considéronspour l’instant que l’explication sur un thème donné est achevée lorsque le sommetem

ne possède aucun successeur.

L’élaboration d’une explication progresse lorsque le sommet courantei d’un pro-cessus d’explication passe à un de ses successeursej (par défaut ce choix se fait defaçon aléatoire parmi tous les successeurs deei, il est néanmoins possible de définirune fonction de sélection spécifique en se basant sur le contexte la visite (cf. 4.3.1)).Lors de ce changement de sommet courant le script associé au sommetej est exécuté(les requêtes sont envoyées au module de restitution).

Du fait de l’aspect non déterminéa priori du monde réel à expliquer il peut êtrenécessaire d’interrompre momentanément une explication qui sera éventuellement re-prise ultérieurement.

On peut donc considérer quatre ensembles d’explications :

– l’ensemble des explications déjà traitées ;

– l’ensemble des explications qui n’ont pas encore été traitées ;

– l’ensemble des explications qui correspondent à un processus d’explication encours de traitement mais momentanément interrompus ;

– l’explication courante.

4.2.3. Transition entre explications

Lors du passage d’un processus d’explication à un autre et d’une façon plus gé-nérale lorsque l’on démarre, interrompt, reprend ou termine une explication, il estnécessaire de disposer d’un moyen d’assurer la cohérence des informations présen-tées.

Ceci est géré par l’utilisation de transitions entre éléments d’explication. Une tran-sition est utilisable dans une situation spécifique définie par un prédicat qui lui est


associé. Ce prédicat prend en compte le contexte de la visite(cf. 4.3.1) pour déciderde la validité d’une transition à un instant donné.

Lorsqu’une nouvelle explication est abordée ou qu’une explication suspendue estreprise, l’ensemble des transitions valide est calculé. Puis une transition particulièreest sélectionnée parmi cet ensemble.

4.3. Comportement du guide virtuel

Pour nous le comportement du guide virtuel n’est rien d’autre que la suite desactions que celui-ci engage dans un contexte donné au cours d’une session appeléevisite.

4.3.1. Contexte d’une visite

Le contexte de la visite est l’ensemble des données dynamiques qui caractérisentà un instant donné l’état de la visite. Ces informations sontles suivantes :

– une horloge qui compte la durée écoulée depuis le début de lavisite ;

– la liste des processus d’explication déjà traités ;

– la liste des processus d’explication non encore entamés ;

– la liste des processus d’explication interrompus ;

– le processus d’explication courant ;

– l’état du guide virtuel (position, état émotionnel...) ;

– la mémoire de travail.

4.3.2. Description du comportement par un automate

Le comportement du guide virtuel est décrit par un automate hiérarchique. Puisquenous nous restreignons à la modélisation du module pédagogique un automate séquen-tiel suffit. Cet automate est défini par :

– un ensemble d’états. Ces états peuvent être

- des états élémentaires : à ces états sont associés des séquences d’actions. Ils’agit de scripts de requêtes à envoyer au module de restitution ou d’une demande deprogression de l’élaboration de l’explication courante ;

- des états composites : à ces états sont associés des combinaisons séquentiellesSeq([a1, ..., an]) ou concurrentesAlt(f, [a1, ..., an]) d’automates. L’exécution de lapremière combinaison conduit à celle des automatesa1 puis à celle dea2 jusqu’à celledean. L’exécution de la seconde combinaison conduit à sélectionner au moyen de lafonctionf un sous-automate puis à l’exécuter (f peut simplement être une fonctionqui choisit aléatoirement un automate) ;

– un ensemble de transitions. Une transition est un triplet(e1, e2, p) où e1 et e2

sont deux états etp est un prédicat portant sur le contexte de la visite.


Attente

Start Approach Arrived(a)

(b)

(c)

IntroductionConclusion

Explication

Start

Approach

Explanation

End

Start

Approach

Explanation

End

Transition

Monologue

Alt

Seq

Figure 3. L’automate hiérarchique utilisé dans notre application. On peut y distinguerle cycle de vie du guide virtuel au travers des différents états d’attente, d’introduction,d’explication et de conclusion. Les états d’attente et d’explication sont des états com-posites comprenant plusieurs sous-automates. Les sous-automates de l’état d’explica-tion possèdent la particularité de pouvoir faire avancer les processus d’explication,alors que les sous-automates de l’état d’attente exécute simplement commandes dedéplacement ou du déclenchement d’animations. Les états gris foncé désignent desétats pouvant être interrompus

Un exemple d’un tel automate est présenté dans la figure 3.

On considère qu’il est possible d’effectuer une transitionà partir deec, l’état cou-rant de l’automate quand :


– ec est un état élémentaire et le script de requêtes qui lui est associé est achevé ;

– ec est un état composite auquel est associée une combinaison séquentielle desous-automatesSeq([a1, ..., an]) dont le sous-automatean est dans son état final ;

– ec est un état composite auquel est associée une combinaison concurrente desous-automatesAlt(f, [a1, ..., an]) dont le sous-automate sélectionné est dans son étatfinal.

Le nouvel état courant est alors l’étate tel que(ec, e, p) soit une transition del’automate et que le prédicatp soit satisfait.

4.3.3. Sélection des explications

A chaque processus d’explication est associé un score. A l’origine d’un calcul desélection le score de chaque processus d’explication est nul. Chaque processus d’ex-plication non encore traité ou interrompu est noté par un « expert ». C’est le processusd’explication ayant la note la plus élevée qui est sélectionné. Parmi les experts utiliséson trouve notamment :

– un expert qui donne une note d’autant plus élevée qu’il existe un objet support del’explication dans la mémoire de travail (par exemple l’explication parle des requinset un objet de la classe requin se trouve dans la mémoire de travail) ;

– un expert qui donne une note en fonction de connaissancesa priori (un ordre depréférence) ;

– un expert qui donne une note en fonction du déroulement de lavisite : c’est leprocessus d’explication interrompu depuis le plus de tempsqui est le mieux noté.

Certains experts peuvent disposer d’un droit de veto sur la sélection de certains proces-sus d’explication. Un tel expert peut par exemple opposer son droit de veto à un pro-cessus d’ explication dont aucun attribut ne correspond à laclasse d’un objet contenudans la mémoire de travail : le guide ne peut expliquer que ce qu’il perçoit. Pourl’instant ces experts sont définis de façon empirique en fonction de l’application.

4.3.4. Interruption d’explication

Il est nécessaire de pouvoir interrompre le déroulement d’une explication afin depouvoir tenir compte de la disparition de l’objet expliqué ou de l’apparition d’un objetplus intéressant à expliquer. Mais pour garder la cohérencedes explications donnéespar le guide virtuel et éviter de passer en permanence d’une explication à une autreces interruptions ne peuvent survenir qu’à des moments précis définis par le créateurde la visite.

Nous proposons de rendre interruptibles certains des étatsqui définissent lecomportement du guide virtuel. Nous imposons que seuls les états élémentairespuissent être interruptibles (c’est-à-dire des états qu’il est possible de considérercomme atomiques).


Lorsque un état interruptible est atteint par l’automate des conditions d’interrup-tion sont évaluées. Ces conditions correspondent aux événements suivants :

– « Début de la visite » ;

– « Fin de la visite » ;

– « Fin du processus d’explication courant » ;

– « Apparition d’un objet dans la mémoire de travail » ;

– « Disparition d’un objet de la mémoire de travail ».

Si aucune de ces conditions n’est satisfaite le processus d’explication se poursuitcomme si l’état n’avait pas été interruptible. Dans le cas contraire :

1) le processus d’explication courant est placé dans l’ensemble des processus d’ex-plication interrompus ;

2) un nouveau processus d’explication est sélectionné ;

3) on observe une transition vers un nouvel état en fonction de la condition d’in-terruption.

Faisons remarquer ici que par construction une interruption ne peut pas survenirpendant l’exécution d’un script d’animation : une explication ne peut donc pas êtreinterrompue pendant l’expression d’un élément d’explication par le guide virtuel.

5. Mise en œuvre et expérimentations

5.1. Mise en œuvre

Un premier prototype du système présenté a été installé à Océanopolis. D’un pointde vue matériel il est constitué par :

– deux caméras IP ;

– trois ordinateurs ;

– un réseau local Ethernet permettant aux ordinateurs de communiquer ;

– une surface semi-réfléchissante et un écran LCD.

Les trois modules sont programmés en C++ (modules de perception et de restitu-tion) et en Common Lisp (module pédagogique). Le module de restitution utilise unmoteur d’animation et de rendu développé par la société Polymorph.

Le module de perception repose sur l’utilisation de la bibliothèque OpenCV4 pourle traitement d’images et le module de restitution sur l’utilisation de la bibliothèqueOpenSteer5 pour la gestion du steering.

4. OpenCV - Open Computer Vision Library: http://www.intel. om/resear h/mrl/resear h/open v/.5. OpenSteer- Steering Behaviors for Autonomous Characters: http://opensteer.sour eforge.net/.


Figure 4. Mise en œuvre à Océanopolis. Le visiteur est face à une vitre semi-transparente au travers de laquelle il perçoit le guide virtuel comme faisant partiede l’environnement réel

5.2. Expérimentation

Lors de cette expérimentation nous avons voulu mettre en évidence les propriétésdu module pédagogique. Pour cela nous avons remplacé le module de perception parun script décrivant l’évolution de l’état de l’environnement nous permettant ainsi decontrôler les paramètres d’entrée du module pédagogique.

L’expérimentation décrit le déroulement d’une session d’explication (une visite)d’une durée de 100 secondes. Le tableau 1 présente les différents événements qui sesont produits durant cette session ainsi que les dates (en secondes par rapport au débutde l’expérimentation) auxquelles ils se sont produits. Ce tableau présente parallèle-ment les différents éléments de discours présentés par le guide ainsi que la durée dechacun de ces éléments.

Le contenu de la représentation de l’environnement évolue de la façon suivante aucours de l’expérimentation :

– l’environnement ne contient aucun objet connu ;

– un poisson de type « Platax » fait son apparition ;


Index Date Évènement Discours0 0 Début de session -1 1, 65−4 Introduction Salut ! C’est moi Didon, le diodon. Je suis un poisson porc-

épic et j’habite ce lagon de l’océan Pacifique. (7,21)2 7, 21 - Ici c’est mon domaine et je connais tout les poissons. (3,12)3 10, 34 - Tu vois, je suis entouré de requins, des petits et des gros avec

de longues dents pointues... mais, qu’ils se méfient, moi aussij’ai des piquants pointus. (8,65)

4 13, 40 Apparition Platax -5 19, 00 Changement de sujet Parlons des platax. (2,22)6 21, 22 - Tu sais les amateurs d’aquariums adorent ces poissons à la

nage majestueuse. Mais le problème c’est que leur croissanceest tellement rapide que... eh bien il ont vite fait de remplirl’aquarium (10,04)

7 31, 28 Fin explication Les juvéniles ont une forme et une coloration très différentesde celles des adultes. (4,85)

8 31, 40 Disparition Platax -9 35, 91 Apparition Platax -10 36, 13 Début explication Les jeunes platax qui vivent dans les mangroves, entre les

racines des arbres sont marrons ou noirs ; ça dépend des es-pèces. (7,00)

11 43, 14 - Avec leurs longues nageoires, on dirait des feuilles mortestombées des arbres... (3,94)

12 44, 41 Apparition Requin -13 47, 10 Changement de sujet Parlons des requins.14 49, 10 Fin explication Le squelette des requins et des raies est fait de cartilage.

(3,29)15 52, 40 Fin explication En arrière de la tête les requins possèdent des ouvertures, cinq

paires en général. (4,98)16 57, 40 Fin explication Les requins sont armés jusqu’aux dents : leur bouche est équi-

pée de plusieurs rangées de dizaines de dents ! (5,35)17 62, 76 Fin explication Parler : De temps en temps, un petit poisson minuscule, le

labre nettoyeur, vient leur faire les dents et la peau. (5,78)18 62, 91 Disparition Platax ; Re-

quin-

19 67, 41 Apparition Naso -20 68, 56 Début explication Ces drôles de poissons avec une bosse sur le front sont des

nasos. Certains ont même une corne et ressemblent à des li-cornes. (6,82)

21 75, 38 - Ne me demande pas à quoi sert cette corne, je n’en sais rien.Mais je ne les ai jamais vu s’en servir pour se battre. (6,43)

22 81, 82 Début explication Les nasos ont une particularité anatomique, très utile. (3,24)23 83, 80 - Ils possèdent 2 paires d’épines en avant de la queue pour se

défendre. (3,80)24 87, 60 - Ces épines osseuses sont des lames tranchantes triangulaires

toujours pointées vers l’avant. (4,69)25 92, 28 - Avec d’énergiques mouvements de la queue, ils peuvent in-

fliger des blessures aux poissons et même aux pêcheurs. Etdire qu’ils appartiennent au groupe des poissons chirurgiens !Drôle de chirurgiens ces poissons. (10,59)

26 94, 41 Disparition Naso -27 100, 23 Fin de session -28 102, 87 Conclusion Au revoir... Si tu veux il y a plein d’autres animaux à décou-

vrir dans les autres bassins du pavillon tropical. (5,78)

Tableau 1.Déroulement de l’expérimentation concernant le module pédagogique


– il disparaît brièvement puis réapparaît ;

– un poisson de type « Requin » vient s’ajouter ;

– le requin et le platax disparaissent au profit d’un poisson de type « Naso ».

Le choix de l’explication courante est influencé par les « experts » suivants :

– un expert définissant un ordre de préférencea priori (Requin > Naso >

Platax) ;

– un expert définissant une préférence pour les explicationsconcernant un poissonprésent dans la représentation de l’environnemt ;

A l’indice 0, l’événement de début de session déclenche le démarrage de la visite.Entre les indices 1 et 3 le guide est dans la phase d’introduction et se présente ainsique son environnement d’une façon générale.

L’apparition d’un poisson de type « Platax » à l’instant 4 entraîne un changementde sujet à l’instant 5. Ce changement de sujet intervient environ 6 secondes après l’ap-parition du poisson dans l’environnement. Ce délai s’explique par la durée de l’élé-ment d’explication en cours d’exécution (8,65 secondes), l’exécution d’un tel élémentne pouvant être interrompu.

Aux indices 8 et 9 le poisson en cours d’explication disparaît brièvement. Cet évé-nement, bien qu’il ait été détecté, n’entraîne pas un changement de sujet ou une modi-fication importante du discours car il intervient pendant l’exécution d’un élément dediscours : le poisson est de nouveau présent dans l’environnement quand l’interruptiondevient possible.

Aux indices 11, 12 et 13 un phénomène similaire à celui s’étant produit aux in-dices 4 et 5 intervient : un requin fait son apparition, celui-ci n’est pris en compte que5 secondes plus tard du fait de l’élément d’explication en cours d’exécution. Ici nouspouvons également noter l’influence des différents expertssur le choix de l’explica-tion. Deux objets (Requin et Platax) sont présents dans la représentation de l’environ-nement, le guide choisit de parler du Requin car celui-ci est« préféré » par l’expertdéfinissant un ordrea priori.

A l’indice 27, l’événement de fin de session est déclenché, celui-ci n’est pris encompte qu’à l’indice 28 du fait de la durée de l’élément d’explication en cours d’exé-cution.

6. Conclusion et perspectives

Le problème que nous avons cherché à résoudre au cours de ce travail concernel’utilisation d’un guide virtuel dans le cadre de la réalitéaugmentée de façon à pouvoirgénérer en temps réel les explications permettant de comprendre un environnement dy-namique non déterminéa priori. Ce travail nous a amené a proposer une architecturegénérique reposant sur trois modules : un module de perception, un module chargéde la restitution tant visuelle que sonore et un module dit pédagogique destiné à défi-


nir les explications à donner. Ce module pédagogique, qui définit en grande partie lecomportement du guide virtuel est architecturé autour d’unautomate hiérarchique etde plusieurs graphes décrivant à la fois la structure des explications et la façon de lesexprimer.

Des expérimentations portant sur le bon fonctionnement destrois modules ont étémenées. Elles montrent que le guide virtuel est capable, dans un environnement dyna-mique peu prévisible, de détecter l’apparition d’un poisson (plus intéressant que celuiqui est en train d’être expliqué) ou la disparition du poisson en train d’être expliqué etd’adapter ses explications à ces événements.

Plusieurs axes de recherche sont envisageables afin de poursuivre ces travaux. Lesplus importants concernent les utilisateurs. Il est en effet nécessaire, maintenant quele démonstrateur est opérationnel de pouvoir mesurer l’intérêt du système auprès dupublic mais également des responsables pédagogiques des musées. Il s’agit d’une éva-luation complexe à mener d’autant plus que les résultats peuvent dépendre autant duprincipe même du logiciel que des contenus des discours. D’où l’intérêt égalementde s’intéresser à la réalisation d’outils auteur. Enfin la prise en compte des utilisa-teurs/visiteurs est nécessaire et ceci aussi bien en ce qui concerne l’utilisation de pro-fils d’utilisateurs qu’en ce qui concerne le dialogue et l’interaction en cours de visiteentre le guide virtuel et un ou plusieurs visiteurs (en particulier en exploitant les com-munications non verbales).

En termes d’applications il est envisageable d’utiliser lemodèle proposé pourd’autres types de musée. En particulier des parcs zoologiques. La principale difficultéconcernerait le module de perception. Il serait peut être possible d’adapter ce modèleà des scènes statiques (musées d’art plastique par exemple)en utilisant le module deperception pour suivre et identifier les visiteurs et non plus les objets à expliquer.

Remerciements

Les travaux décrits ici ont été effectués dans le cadre d’un projet financé par laRégion Bretagne et par l’Agence Nationale pour la Recherche, en partenariat avecOcéanopolis, le centre de découverte de la mer de Brest.

7. Bibliographie

Abowd G. D., Atkeson C. G., Hong J., Long S., Kooper R., Pinkerton M., « Cyberguide : Amobile context-aware tour guide »,Wireless Networks, vol. 3, p. 421-433, 1997.

André E.,Handbook of Natural Language Processing, CRC Press, chapter The Generation ofmultimedia presentations, p. 305-328, 2000.

André E., Binsted K., Tanaka-ishii K., Luke S., Herzog G., Rist T., « Three RoboCup Simula-tion League Commentator Systems »,AI Magazine, 2000.

Braun N., « Storytelling in Collaborative Augmented Reality Environments »,in S. Press (ed.),WSCG Short Papers, 3–7 February, 2003.


Burgard W., Cremers A., Fox D., Hähnel D., Lakemeyer G., Schulz D., Steiner W., , Thrun S.,« The Interactive Museum Tour-Guide Robot »,Proc. of the Fifteenth National Conferenceon Artificial Intelligence (AAAI-98), 1998.

Cassell J., « Embodied Conversational Agents - Representation and Intelligence in User Inter-faces »,AI Magazine, vol. 22, n˚ 4, p. 67-83, 2001.

Chittaro L., Ranon R., Ieronutti L., « Guiding Visitors of Web3D Worlds through AutomaticallyGenerated Tours »,in A. Press (ed.),8th International Conference on 3D Web Technology,2003.

Chou L.-D., Lee C.-C., Lee M.-Y., Chang C.-Y., « A Tour Guide System for Mobile Learning inMuseums »,Proceedings of the 2nd IEEE International Workshop on Wireless and MobileTechnologies in Education (WMTE’04), IEEE Computer Society, p. 195, 2004.

Colineau N., Paris C., « La génération de documents multimédia », In Cognito, vol. 1, n˚ 2,p. 1-22, 2003.

Doyle P., Hayes-Roth B., Guided exploration of virtual worlds, Technical Report n˚ KSL 97-04,Knowledge System Laboratory, Standford University, 1997.

Ibanez J., Aylett R., « Welcome to my virtual place. »,in L. Sheremetov, M. Alvarado (eds),Proceedings of Workshops on Intelligent Computing, MICAI 2004, Instituto Mexicano delPetroleo & Sociedad Mexicana de Intelligencia Artificial, AC., p. 316-323, 2004.

Ibanez J., Aylett R., Ruiz-Rodarte R., « Storytelling in virtual environments from a virtual guideperspective »,Virtual Reality, vol. 7, p. 30-42, 2003.

Joachims T., Freitag D., Mitchell T. M., « Web Watcher : A TourGuide for the World WideWeb »,IJCAI (1), p. 770-777, 1997.

Jonker C. M., Treur J., Wijngaards W. C., « An executable Model of the Interaction bet-ween Verbal and Non-Verbal Communication »,Agent Communication Languages Work-shop (ACL’99), 1999.

Koper R., Manderveld J., « Educational modelling language :modeling reusable, interoperable,rich and personalised units of learning »,British Journal of Educational Technology, vol.35, n˚ 5, p. 537-551, September, 2004.

Kopp S., Gesellensetter L., Krämer N., Wachsmuth I., « A conversational agent as museumguide – design and evaluation of a real-world application. », , Panayiotopoulos et al. (eds.) :Intelligent Virtual Agents, LNAI 3661, pp. 329-343, Berlin: Springer-Verlag, 2005.

Macaluso I., Ardizzone E., Chella A., Cossentino M., Gentile A., Gradino R., Infantino I.,Liota M., Rizzo R., Scardino G., « Experiences with CiceRobot, a Museum Guide Cogni-tive Robot »,AI*IA 2005 : Advances in Artificial Intelligence : 9th Congress of the ItalianAssociation for Artificial Intelligence, 2005.

Malaka R., Zipf A., « Deep Map - Challenging IT research in theframework of a tourist infor-mation system »,Proceedings of ENTER 2000, 7th. International Congress on Tourism andCommunications Technologies in Tourism, 2000.

Mellish C., O’Donnell M., Oberlander J., Knott A., « An architecture for Oportunistic TextGeneration »,Workshop on Natural Language generation, 1998.

Nijholt A., « Making interactive personal guides more attractive »,in V. Cappellini, J. Hemsley,G. Stanke (eds),EVA 2003 Florence : Electronic Imaging, Pitagora Editrice Bologna, 2003.ISBN=88-371-1391-9.


Noma T., Zhao L., Badler N. I., « Design of a Virtual Human Presenter »,IEEE ComputerGraphics and Applications, vol. 20, n˚ 4, p. 79-85, Jl/Aug, 2000.

Panayiotopoulos T., Zacharis N., Vosinakis S., « Intelligent Guidance in a Virtual University »,in S. Tzafestas (ed.),Advances in Intelligent Systems - Concepts, Tools and Applications,Kluwer Academic Press, p. 33-42, 1999.

Pelachaud C., Brafford A., Breton G., Chafai N. E., Gibet S.,Martin J.-C., Maubert S., OchsM., Pelé D., Perrin A., Raynal M., Réveret L., Sadek D., AgentConversationnels : Sys-tèmes d’animation, Modélisation des comportements multimodaux, Applications : Agentspédagogiques et Agents signeurs, Technical report, AS Humain Virtuel, thème 4 : Agentconversationnels, 2004.

Pernin J.-P., Lejeune A., « Dispositifs d’apprentissage instrumentés par les technologies : versune ingénierie centrée sur les scénarios »,Actes du colloque TICE, 2004.

Popovici D.-M., Morvan S., Maisel E., Tisseau J., « Interactive Distributed Guided Toursof Historical Sites »,Proceedings of the 2003 International Conference on Cyberworlds(CW’03), 2003.

Pospischil G., Umlauft M., Michlmayr E., « Designing LoL@, aMobile Tourist Guide forUMTS », Proceedings of the 4th International Symposium on Mobile Human-ComputerInteraction, 2002.

Rayward W.B.and Twidale M., « From Docent to Cyberdocent : Education and Guidance inthe Virtual Museum », , Archives and Museum Informatics, Volume 13, Number 1, 1999 ,pp. 23-53(31), 1999.

Reeves B., Nass C.,The Media Equation : How People Treat Computers, Television, and NewMedia Like Real People and Places, CLSI Lecture notes, 1996.

Reynolds C. W., « Flocks, Herds, and Schools : A Distributed Behavioral Model »,ComputerGraphics, vol. 21, n˚ 4, p. 25-34, 1987.

Stock O., Zancanaro M., « Intelligent interactive information presentation for cultural tourism »,International Workshop on Natural, Intelligent and Effective Interaction in Multimodal Dia-logue Systems, Copenhagen, June, 2004. Invited talk.

Sumi Y., Etani T., Fels S., Simonet N., Kobayashi K., Mase K.,« C-MAP : Building a Context-Aware Mobile Assistant for Exhibition Tours »,Lecture Notes In Computer Science, vol.1519, p. 137-154, 1998.

Tchounikine P., « Quelques éléments sur la conception et l’ingénierie des EIAH »,Actes duGDR I3, p. 233-245, 2002.

Tricot A., Rufino A., « Modalités et scénarios d’interactiondans les hypermédias d’apprentis-sage »,Revue des sciences de l’éducation, vol. 25, n˚ 1, p. 105-129, 1999.

van Es R., Koper R., « Testing the pedagogical expressivnessof IMS LD », Educational Tech-nology & Society, vol. 9, n˚ 1, p. 229-249, 2006.

Veyret M., Maisel E., Tisseau J., « Agent architecture for a real world autonomous virtualguide : interaction between the decision and perception processes and environment repre-sentation »,The International Journal of Virtual Reality, vol. 7, n˚ 2, p. 1-10, June, 2008.

Vlahakis V., Ioannidis N., Karigiannis J., Tsotros M., Gounaris M., Stricker D., Gleue T.,Daehne P., Almeida L., « Archeoguide : An Augmented Reality Guide for Archaeologi-cal Sites »,Computer Graphics in Art History and Archaeology, vol. 2, p. 52-60, Septem-ber/October, 2002.


Yuan X., Chee Y. S., « Embodied Tour Guide in an Interactive Virtual Art Gallery »,in T. L.Kunii, Seah, H.S., S. A. (eds),International Conference on CyberWorlds 2003, IEEE Com-puter Society, Singapore, Los Alamitos, p. 432-439, 2003.

Article reçu le1er octobre 2007Accepté après révisions le 24 juillet 2008

Morgan Veyrettermine un doctorat en informatique au Centre Européen de Réalité Virtuelle.Ses travaux portent sur l’étude de l’interaction entre un acteur virtuel autonome et un environ-nement réel.

Eric Maisel est maître de conférence au Centre Européen de Réalité Virtuelle. Ses centres d’in-térêt sont la réalité virtuelle/augmentée et plus particulièrement les mécanismes de perceptiondes acteurs autonomes.

Jacques Tisseauest professeur des universités. Il est actuellement directeur du Laboratoired’Informatique des SYstèmes Complexes à Brest et directeurde l’Ecole Nationale d’Ingé-nieurs de Brest. Ses domaines d’intérêt sont les agents autonomes et l’expérimentation « invirtuo » dans les processus de modélisation.

ANNEXE POUR LE SERVICE FABRICATIONA FOURNIR PAR LES AUTEURS AVEC UN EXEMPLAIRE PAPIERDE LEUR ARTICLE ET LE COPYRIGHT SIGNE PAR COURRIER

LE FICHIER PDF CORRESPONDANT SERA ENVOYE PAR E-MAIL

1. ARTICLE POUR LA REVUE:RSTI - TSI – 28/2009. Réalités virtuelle et augmentée

2. AUTEURS :Morgan Veyret* — Eric Maisel* — Jacques Tisseau*

3. TITRE DE L’ ARTICLE :Guide virtuel autonome immergé dans un environnement réel dynamique

4. TITRE ABRÉGÉ POUR LE HAUT DE PAGE MOINS DE40 SIGNES:Guide virtuel autonome

5. DATE DE CETTE VERSION:8 juillet 2009

6. COORDONNÉES DES AUTEURS:

– adresse postale :* Centre Européen de Réalité Virtuelle (CERV)25 rue Claude Chappe, 29280 Plouzané

{veyret,maisel,tisseau}@enib.fr

– téléphone : 02 98 05 89 88

– télécopie : 02 98 05 89 79

– e-mail : {veyret,maisel,tisseau}@enib.fr

7. LOGICIEL UTILISÉ POUR LA PRÉPARATION DE CET ARTICLE:LATEX, avec le fichier de stylearti le-hermes2. ls,version 1.23 du 17/11/2005.

8. FORMULAIRE DE COPYRIGHT:Retourner le formulaire de copyright signé par les auteurs,téléchargé sur :http://www.revuesonline. om

SERVICE ÉDITORIAL – HERMES-LAVOISIER

14 rue de Provigny, F-94236 Cachan cedexTél. : 01-47-40-67-67

E-mail : [email protected] web : http://www.revuesonline.com

guide virtuel autonome immergé dans un environnement réel...

Documents