contribution à l’étude des retours haptique et pseudo...

Contribution à l’étude des retours haptique et pseudo-haptique et de leur

impact sur les simulations d’opérations de montage/démontage en aéronautique

Thèse Anatole Lécuyer

Université Paris XIMercredi 5 décembre 2001

Plan

• Introduction sur le retour haptique en réalité virtuelle • Le retour « pseudo-haptique »• Intégration du retour haptique dans un « démonstrateur haptique » de montage / démontage• Évaluation de l’apport du retour haptique• Conclusion• Perspectives

Soutenance de thèse Anatole Lécuyer, Mercredi 5 décembre 2001 3/45

1. Introduction3. Retour pseudo-haptique4. Démonstrateur haptique 5. Évaluation de l’apport 6. Conclusion

7. Perspectives


6. Perspectives

Introduction


6. Perspectives



7. Perspectives


6. Perspectives

Retour haptique• « Haptique »

– du grec (haptesthai), relatif au sens du toucher

• En réalité virtuelle– retour tactile et retour d ’effort

• 3 approches principales– retour haptique actif– retour haptique passif (props)– substitution sensorielle

Immersion Coorp.


6. Perspectives

CGSD Inc.

[Shimojo et al., 99]

[Shimojo et al., 99]

CGSD Inc.


6. Perspectives



7. Perspectives


6. Perspectives

Le retour pseudo-haptique


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Retour pseudo-haptique• Restituer des informations haptiques sans

interface haptique• Utilisation d ’une interface isométrique

– la Spaceball (Labtec Comp.)– passive, statique, 6ddl– caractéristiques « haptiques » : butée, raideur interne– couplage avec le retour visuel


6. Perspectives

Labtec Comp.


6. Perspectives



7. Perspectives


6. Perspectives

L ’expérience du « marais »• Simulation du frottement

– Modification du gain «visuel»

• Résultats– Test qualitatif sur 18 sujets– 94% de réussite– 83% de sujets trouvent que les sensations sont plus perceptibles avec la Spaceball qu ’avec la souris 2D– … besoin d ’une analyse plus quantitative


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Simulation de la raideur• Simuler la raideur d ’un ressort de manière

pseudo-haptique• Comparer un ressort réel et un ressort virtuel

(simulé avec un retour pseudo-haptique)


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Raideur virtuelle

Force exercéeKv =

Déplacement visuel

Force exercéeKv =

Déplacement du doigt


6. Perspectives

Force Déplacement visuel

Loi de Hooke : FF = K.= K.∆∆x x


6. Perspectives



7. Perspectives


6. Perspectives

Analyse psychophysique

• Méthode « constante » de détermination de seuil de discrimination [Bonnet, 86] [Gescheider, 85]

• Obtention de paramètres classiques– le JND (Seuil relatif de perception / Fraction de Weber)

• Variation perceptible (incrément/décrément) pour un stimulus donné

• Valeurs théoriques : 8% - 22% [Tan et al., 95] [Jones et Hunter, 92]

– le PSE (Point d ’Égalisation Subjective) • Valeur du stimulus de comparaison perçue comme égale

au stimulus de référence

• Si les valeurs trouvées sont proches des valeurs théoriques, notre simulation est « réaliste »


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Résultats g • 27 sujets• 3 ressorts réels• JND moyen = 13 %

– Cohérence avec les travaux précédents– Raideur pseudo-haptique comparable à une raideur

réelle

• PSE moyen = + 9 %– Valeur importante– Forte distorsion de perception entre les deux ressorts– Sous-estimation du ressort virtuel par rapport au ressort

réel


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Illusions haptiques• Phénomènes d’ « illusions haptiques »• Illusion révélée par une question posée aux 10

derniers sujets

• Le sens proprioceptif a été abusé par le retour visuel


6. Perspectives5mm

10mm

32mm

45mm

Déplacement max Spaceball Déplacement max ressentimin maxmoy


6. Perspectives



7. Perspectives


6. Perspectives

Conclusion 1• Nouveau concept de retour haptique : le retour

pseudo-haptique• Il permet de simuler des informations haptiques

(frottement, raideur) avec une interface d ’entrée passive

• Approche axée sur la perception• Combiner le retour visuel avec une information

haptique passive liée à une action de l ’utilisateur• S ’accompagne d ’illusions haptiques• Les sujets ont globalement évalué la raideur de

ressorts simulés par un retour pseudo-haptique en se basant sur le retour visuel


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Nouvelle expérience• Le PSE trouvé exprime une forte distorsion de

perception• Étudier et compléter ces résultats • Lié à la Spaceball ?• ⇒ simulation de plusieurs Spaceball avec une

interface haptique


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Dispositif de test• Stylo à retour d’effort PHANToM Desktop

(SensAble Technologies Inc.)

• Simule 4 Spaceball différentes • Simule également 1 ressort « réaliste »

Ressort de référence

Ressort de comparaison


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Cas de test• 1 ressort réel / 48 ressorts pseudo-haptiques• 48 comparaisons possibles


6. Perspectives

4 Spaceball

12 raideurs virtuelles


6. Perspectives



7. Perspectives


6. Perspectives

ANOVA

• 31 sujets• Analyse de variance (anova) sur les

réponses des sujets en fonction des cas• En situation de conflit sensoriel, le retour

haptique continue d ’influencer les réponses

• Atténue la notion de dominance sensorielle [Srinivasan et al., 96]


6. Perspectives

conflitsensoriel


6. Perspectives



7. Perspectives


6. Perspectives

Variabilité des résultats

• PSE et JND moyens des 31 sujets :

• Les valeurs de PSE trouvés varient fortement en fonction des sujets


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Populations de sujets• Caractérisation descriptive en 4 populations

Population 1 (n=15) : des sujets sensibles à l ’haptique et au visuel

Population 2 (n=10) : des sujets « plutôt visuels »

Population 3 (n=3) : des sujets « plutôt haptiques »

Population 4 (n=3) :

des sujets « marginaux »


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Conclusion 2• Par rapport à des travaux précédents [Srinivasan

et al., 96] :• En situation de conflit sensoriel, au moment

d ’évaluer des raideurs, le retour haptique continue d ’influencer la perception des sujets

• Le retour pseudo-haptique affecte différemmentles sujets

• Certaines personnes réagissent de manière « plutôt haptique » et d ’autres « plutôt visuelle ».


6. Perspectives


6. Perspectives



7. Perspectives


6. Perspectives

Intégration du retour haptique dans un

« démonstrateur haptique »de montage/démontage


6. Perspectives

1. Introduction2. Retour pseudo-haptique3. Démonstrateur haptique4. Évaluation de l’apport 5. Conclusion

6. Perspectives



7. Perspectives


6. Perspectives

Applications aéronautiques• Besoins « haptiques » dans l ’industrie

aéronautique ?– Rencontres avec les opérationnels d ’Airbus – Recueil méthodique de scénarios– Typologie des besoins en retour haptique

• Applications visées 1. Conception/Prototypage virtuel2. Visualisation de données complexes3. Entraînement au geste technique/Formation4. Vérification d ’opérations de montage/démontage


6. Perspectives



7. Perspectives


6. Perspectives

Simulation de montage/démontage

• Analyse fine du processus actuel de simulation• Besoins en retour haptique

– Établir le contact avec la maquette virtuelle– Informer sur les collisions (guidage sur la trajectoire)

• Scénario type : insertion de tuyauteries dans un mât de réacteur d ’avion

Airbus France


6. Perspectives



7. Perspectives


6. Perspectives

Démonstrateur haptique• Simplification du scénario• Besoins en retour haptique

– masse de l’objet manipulé– efforts au moment des collisions

• Interface haptique utilisée– le stylo à retour d ’effort PHANToM– 3 DDL en sortie (forces)– les couples manquent et sont à transposer


6. Perspectives



7. Perspectives


6. Perspectives

Manipulation 3D

• Séparation des mouvements en translation et en rotation

Mode Translation pure :

• 3 DDL en entrée• 3 DDL en sortie


6. Perspectives



7. Perspectives


6. Perspectives

Mode rotation pure• 2 DDL en entrée

– Technique de la sphère virtuelle [Chen et al., 88]– Contrainte de l’extrémité du PHAMToM à la surface

d’une sphère [SensAble Tech., 00]– La rotation manquante est celle autour de (OPh)


6. Perspectives



7. Perspectives


6. Perspectives

Transposition des couples• 2 DDL en sortie

– Simulation d’une trackball à retour d’effort– En cas de choc, la force est transposée au niveau du

point de manipulation

[Engel et al., 94]


6. Perspectives



7. Perspectives


6. Perspectives

Retour Haptique• Retour de la masse

– à travers un effet d ’inertie [SensAble Tech., 00]

• Retour des chocs– détection de collisions continue CONTACT [Redon et al., 01]– pas d’interpénétration visuelle– force de réaction au choc proportionnelle à la pénétration dans

l’objet virtuel [Mark et al., 96] [Zilles et Salisbury, 96] [McNeely et al., 99]


6. Perspectives



7. Perspectives


6. Perspectives

Retour visuel• Vision stéréoscopique• Représentations graphiques

– curseur virtuel, collisions, sphère virtuelle


6. Perspectives



7. Perspectives


6. Perspectives

Évaluation informelle• Conditions

– 41 personnes d’Airbus France (15 ingénieurs de maintenance aéronautique)

– durée des tests : 10/15 minutes

• Appréciation sur le retour haptique– globalement très satisfaits des retours haptiques– facilite la vérification du montage/démontage (guidage)– la maquette est plus « réelle »


6. Perspectives



7. Perspectives


6. Perspectives

Conclusion• Réalisation d’un démonstrateur haptique de

montage/démontage aéronautique• Simulation du retour de couple, avec une

interface haptique ne renvoyant que des forces, en simulant l’utilisation d’une trackball à retour d’effort

• Rendu haptique simplifié des chocs• Une évaluation informelle du démonstrateur par

des opérationnels d’Airbus France a montré l’intérêt de ces technologies pour les applications aéronautiques


6. Perspectives



7. Perspectives


6. Perspectives

1. Introduction2. Retour pseudo-haptique3. Démonstrateur haptique4. Évaluation de l’apport5. Conclusion

6. Perspectives

Évaluation de l’apport du retour haptique



7. Perspectives


6. Perspectives

Objectifs• Évaluer l’apport d ’une information haptique sur une tâche

de montage/démontage – Apport démontré en télé-opération [Hill, 79] [Massimino et

Sheridan, 89]

• Étudier le couplage entre un Plan de Travail Virtuel (PTV) et une poignée haptique portable– L ’intégration d ’un retour haptique avec un PTV a été peu

étudiée [Grant et al., 98]


6. Perspectives



7. Perspectives


6. Perspectives

Plate-forme matérielle• Plan de Travail Virtuel de l’INRIA Rocquencourt• Poignée haptique portable développée par le CEA

LIST• Casque audio


6. Perspectives visuelhaptique

auditif



7. Perspectives


6. Perspectives

Poignée haptique portable• Choix

– grand espace de travail– peu encombrante

• Concept– déplacement sur 6 DDL de la plate-forme supérieure du manche– stimulation tactile à l’intérieur de la main– ne bloque pas le mouvement


6. Perspectives



7. Perspectives


6. Perspectives

Tâche retenue

• Simplification du scénario de montage– Insertion d ’une boule à travers une série de cadres– Translation pure– Pas de simulation des couples

• Information de collision – Ajout d ’informations additionnelles (haptiques, visuelles

ou auditives) pour signaler les collisions


6. Perspectives



7. Perspectives


6. Perspectives

Informations additionnelles

1. Situation (condition) de contrôle

Les informations sont ajoutées tant que l’utilisateur ne s’est pas dégagé de la collision

2. Information visuelle de flèche de contact 3. Information auditive de bip sonore4. Information haptique de vibration5. Information haptique mono-directionnelle6. Information haptique multidirectionnelle


6. Perspectives



7. Perspectives


6. Perspectives

Procédure expérimentale• 24 sujets• Plusieurs séries de cadres• Variables enregistrées

Temps d ’exécution de la tache, Nombre de Collisions, Temps de réaction aux collisions, Pénétration normale et tangentielle

• Questionnaire subjectif


6. Perspectives



7. Perspectives


6. Perspectives

Résultats quantitatifs• Temps total : la situation de contrôle est la plus rapide• Distance de pénétration : la situation de contrôle est la

moins bonne


6. Perspectives



7. Perspectives


6. Perspectives

Résultats subjectifs• Différenciation de l’information haptique de

direction– 65% des sujets ne distinguent aucune différence entre

MultiD et MonoD– 23% des sujets ne savent pas caractériser la différence– Seulement 12% des sujets différencient

• Questionnaire– Les retours haptiques sont jugés comme les plus utiles,

les plus agréables et augmentant le mieux le réalismede la simulation

– Parmi les différents retours additionnels, 88% des sujets choisissent au moins un retour haptique pour une nouvelle expérimentation


6. Perspectives



7. Perspectives


6. Perspectives

Conclusion• Mise en place d ’un banc de test basé sur le

couplage entre un PTV et une poignée haptique• Les performances ne sont pas améliorées par un

retour additionnel(tâche visuelle [Massimino et Sheridan, 94] ? surcharge cognitive ?)

• Difficulté de comprendre l’information de directionde la poignée(mauvaise dynamique de la poignée ? apprentissage nécessaire ?propriétés perceptives de la main pour interpréter des stimulations tactiles ?)

• Le retour haptique reste plébiscité(augmente le réalisme, utile, agréable)


6. Perspectives



7. Perspectives


6. Perspectives


6. Perspectives

Conclusion



7. Perspectives


6. Perspectives

Réalisations• Proposé et étudié un nouveau concept de retour

haptique : le retour pseudo-haptique• Partis d’une analyse du besoin en retour haptique

dans les applications aéronautiques• Prototypé deux solutions pour étudier l’intégration

du retour haptique dans un environnement virtuel (basé soit sur un stylo à retour d’effort, soit sur une poignée haptique portable et un PTV)

• Évalué l’intérêt du retour haptique sur une simulation de montage/démontage, et son apport, en termes de performances


6. Perspectives



7. Perspectives


6. Perspectives


6. Perspectives

Perspectives



7. Perspectives


6. Perspectives

Perspectives• Le concept du retour pseudo-haptique

– modélisation de la stratégie cognitive des populations identifiées

– simulation d ’autres caractéristiques (viscosité, poids)– évaluation sur une tâche industrielle

• Le démonstrateur haptique– développements d ’autres techniques d ’interaction

haptique– amélioration du rendu haptique des chocs

• Évaluation de la poignée haptique portable– étude sur les capacités perceptives humaines – comparaison avec un dispositif à base fixe


6. Perspectives

Contribution à l’étude des retours haptique et pseudo-haptique et de leur

impact sur les simulations d’opérations de montage/démontage en aéronautique

Thèse Anatole Lécuyer

Université Paris XIMercredi 5 décembre 2001

contribution à l’étude des retours haptique et pseudo...

Documents