la realite virtuelle et la realite...
TRANSCRIPT
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
LA REALITE VIRTUELLEET LA REALITE AUGMENTEE
POURL’APPRENTISSAGE
DANS LE DOMAINE DU TRANSPORT
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
FINALITE DE LA REALITE VIRTUELLE
permettre à une ou plusieurs personnes des activités sensori-motrices et cognitives dans un monde
artificiel, créé numériquement,qui peut être :- imaginaire- symbolique
- simulant certains aspects du monde réel
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
un monde artificiel, créé numériquement,qui peut être imaginaire.
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
un monde artificiel, créé numériquement,qui peut être symbolique.
Symboles de données à traiter Symboles de phénomènes physiques
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
un monde artificiel, créé numériquement,qui peut être symbolique.
Symboles temporels Symboles spatiaux
T0
+24
27
30
33
36
39
42
45
48
E4
E5
E6
E7
E8
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
un monde artificiel, créé numériquement,simulant certains aspects du monde réel.
Certaines activités en EV proches des
activités correspondantes en
ER
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Qu’une « partie » de la perception du sujet est
similaire à l’ER
(que certains sens stimulés)
un monde artificiel, créé numériquement,simulant certains aspects du monde réel.
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
un monde artificiel, créé numériquement,simulant certains aspects du monde réel.
Qu’une « partie » de la perception du sujet est
similaire à l’ER(substitution sensorielle
efficace)
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Études du geste sportif (IRISA Rennes)
un monde artificiel, créé numériquement,simulant certains aspects du monde réel.
Qu’une « partie » de l’EV est réel
(lois non réelles, …mais efficaces…)
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
un monde artificiel, créé numériquement,simulant certains aspects du monde réel.
Qu’une « partie » de la perception du
sujet est similaire à l’ER
(vision non réelle, … mais efficaces…)
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Les niveaux d’(inter)action en EV :- niveau avec un objectif principalement
sensori-moteur
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
• Simulateurs de formation pour les conducteurs de trainsSerge Jung - Corys• Formation à la manoeuvre maritimeHervé Baudu - ENMM et Transas• GVT : environnement virtuel de formation à la maintenanceMichel Fornos - Nexter Training
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Les niveaux d’(inter)action en EV :- niveau avec un objectif principalement
cognitif
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
• SCANeR : produit logiciel pour des simulateurs de formation à la conduite
Gilles Gallée - Oktal• Méthode de développement de jeux sérieux pour le contrôle aérienSerge Causse - ENAC et Jean-Yves Plantec - IODE Consulting• SIMVIZ : simulation en temps réel de gestion de trafic et
d'accidents à l'attention des concepteurs et exploitants de tunnelsFabrice Carré et Jean-Paul Digeon - SC2X• iCAT : formation du personnel des salles de contrôle à MaastrichtHermann Baret - Eurocontrol et Randall Roberts - KTM Advance• Génération d'environnements synthétiques pour la supervision
d'infrastructures (simulation, prototypage et formation)Fabien Flacher et Christophe Meyer - Thalès Transportation Systems
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
DEFINITIONDE LA
REALITE AUGMENTEE
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
DEFINITION DE LA REALITE AUGMENTEE
• Association visuelle d’une scène réelle avec des entités virtuelles :
• Le monde réel est vu directement et les images de synthèse sont affichées sur un visiocasque à écran semi-transparent,
• Ou les images de synthèse sont affichées sur un écran avec des images vidéo de caméras observant le monde réel.
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Formation en RV etSerious games
• Scénario déterministe ou non ?• Scénario de jeux ou non ?• Immersion et Interaction sensori-motrices (I² s-m) élevées
ou non ?• Mise en scène ou non ?• Aspect ludique ou non ?
• Définition des serious games :Un défi cérébral, joué avec un ordinateur selon des règles spécifiques, qui utilise le divertissement en tant que valeur ajoutée pour la formation et l’entraînement (Michael Zyda)
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Approche de l’activité du sujetet non
Approche communication - langage
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Approche communication
Personne Mondevirtuel
Communication à instant t1
Communication à instant t2
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Approche activité
Personne Mondevirtuel
Action
Perception
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
SujetEnvironnement
virtuelEnvironnementréel
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
SujetEnvironnement
virtuelEnvironnementréel
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
I²Sujet
EnvironnementvirtuelEnvironnement
réel
I² = Immersion & Interaction
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Visualisation d’une planche de bord en position de conduite (orthostéréoscopie et tête traquée)
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Interfaces motrices
Interfaces sensorielles
IMMERSION ET INTERACTION (I²)
FONCTIONNELLES
I²COGNITIVES
REALISATIONPHYSIQUE DU
MONDE VIRTUEL
MODELISATIONCOMPORTEMENTALEDU MONDE VIRTUEL
Activitésde l’homme dansle monde virtuel
Motricité désirée
Perception désirée
Centresnerveux
Réponsesmotrices
Sens
Sens
I²SENSORI-
MOTRICES
L ’HOMMELE MONDEVIRTUEL
Processuscognitifs
Métaphores
Schèmes
LogicielRV
PCV
LogicielTemps réel
ALCog
ALS-M
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
LES DIFFERENTS TYPES D’APPLICATIONS
pourL’APPRENTISSAGE
dans le domaine du transport
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Les simulateurs de formation
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Contrôle et supervision d'infrastructures
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Etude d’assemblage
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Simulation d’assemblage avec retour d’effort et « pops »
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Maintenance
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Avec les techniques RA
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Sécurité
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Formation en environnement virtuelSIMULATEUR DE VOIES A LA SNCF
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
1- Simulateur de Voies (SOFI)
• Situation actuelle Public : conducteurs de TGV SNCF
Contrôle et Manœuvre d’aiguille sur LGV
PAR régule le trafic
Faible probabilité d’exercer cette activité suite à PB rare
Si incident : stress + connaissances théoriques
Ne permet pas de traiter le problème efficacement
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
1- Simulateur de Voies (SOFI)• Formation actuelle
Formation classique : (Formation théorique)Formation sur le terrain
Inconvénients :Trafic perturbé /ligne très fréquentée = coût élevéUn élève actif, les autres regardentL'élève est guidé, pas d’erreurs possiblesDépendance conditions climatiques, circulation, etc..Pas de situations de stress, inattendues, etc.
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
2- Avantages RV/formation
Variabilité des situations
Erreurs possibles
Rejeux
Individualisation
Disponibilité matériel
• Mieux que la formation classique
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
2- Avantages RV/formation• S ’éloigner du réel pour mieux comprendre le réel
Mécanismes cachés
Phénomènes physiques invisibles à l ’œil nu
Représentations schématiques
Points de vue différents
Concepts abstraits
Direction : GAUCHE
Collage : Pointe à droite,Cœur à droite
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
V3S (Virtual Reality for Safe Seveso Substractors) :
Scénarisation en EVF à la prévention des risques sur sites SEVESO
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
43
Contexte
• Formation et aide à la décision– Prévention et management des risques– Interventions sous-traitances sur sites SEVESO– Acteurs :
• manager • opérateurs/exécutants• l’apprenant peut jouer n’importe quel rôle et les
autres sont joués par des personnages virtuels autonomes
– Projet financé par l’ANR/RNTL
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
44
Comment doter les PVA de capacités décisionnelles : Modèles cognitifs
Selon certaines caractéristiques statiques ou dynamiques,les PVA ne perçoivent pas, de décident pas de la mêmemanière et leurs buts changento Traits de personnalité (e.g. prudent/imprudent)o Etats physiologiques (e.g. fatigue, soif, stress)o Expertise (e.g. l’expert sait que les tuyaux sont
rarement vides même si on lui a dit le contraire)
Personnages Virtuels Autonomes
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
45
Besoin Scénarisation adaptative et située
o Déclenchement des événements en lien avec les objectifs de formation, le niveau de l’apprenant et les actions de l’apprenant
Traces de l’activité, explications et indicateurs de performances
Assistances pédagogiques Utilisation des mêmes modèles que pour la génération de
comportements
Suivi de l’apprenant
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Personne
Monde virtuel
Interactivité simulé
Ordinateur
Les trois principaux problèmes scientifiques
Interfacescomportementales
? ??
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
Le traité de la réalité virtuelle• 101 auteurs, volumes, 2000 pages,• Editeur : les Presses de L’Ecole des Mines de Paris
• http://www.ensmp.fr/Presses/
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
L’ATELIER DE RÉFLEXION PROSPECTIVE (ARP)
de l’ANR
Prospective pour la Recherche :Education et Apprentissage à l’horizon 2030
(PREA 2030)Contact : Burkhardt Jean-marie
Philippe FUCHSEcole Mines ParisTech
Centre de Robotique
www.afrv.fr