soutenance de thèse etudiant: van-hanh nguyen · soutenance de thèse etudiant: van-hanh nguyen...

27
ARTS et METIERS ParisTech \ CNRS \ Le2i \ Institut Image \ 2 rue Thomas Dumorey 71100 Chalon sur Saône FRANCE APPORTS DE LA REALITE VIRTUELLE POUR LA REEDUCATION MOTRICE Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR- SIMACTION Réalisée à Institut Image, Arts et Métiers ParisTech 17 Décembre 2010 PLAN Introduction Outil d’évaluation du geste Interaction Homme – Avatar Virtuel Fouille de données de MoCap Conclusion & perspectives 2 Apports de la réalité virtuelle pour la rééducation fonctionnelle 1 2 3 4 5 1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap 4.Fouille MoCap 5.Conclusion

Upload: truonglien

Post on 10-Sep-2018

252 views

Category:

Documents


1 download

TRANSCRIPT

Page 1: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

ARTS et METIERS ParisTech \ CNRS \ Le2i \ Institut Image \ 2 rue Thomas Dumorey 71100 Chalon sur Saône FRANCE

APPORTS DE LA REALITE VIRTUELLE

POUR LA REEDUCATION MOTRICE

Soutenance de Thèse

Etudiant: Van-Hanh NGUYEN

Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ

DANS LE CADRE DU PROJET ANR-SIMACTION

Réalisée à Institut Image, Arts et Métiers ParisTech

17 Décembre 2010

PLAN

Introduction

Outil d’évaluation du geste

Interaction Homme – Avatar Virtuel

Fouille de données de MoCap

Conclusion & perspectives

2 Apports de la réalité virtuelle pour la rééducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 2: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

PLAN

Introduction

Outil d’évaluation du geste

Interaction Homme – Avatar Virtuel

Fouille de données de MoCap

Conclusion & perspectives

3 Apports de la réalité virtuelle pour la rééducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Rééducation motrice

Neurones miroirs

Réalité virtuelle pour la rééducation motrice

Technologie

Avantages

Projet SimAction & problématiques

4

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Page 3: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

5

Actions associées à des objets

Mouvements quotidiens

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Rééducation motrice

Entretenir & améliorer les capacités motrices des personnes âgées

Apports de la réalité virtuelle pour la rééducation fonctionnelle

6

Lobes externes du cerveau humain

Neurones Miroirs: Cortex moteur

Rééducation Motrice: neurones miroirs

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Les neurones miroirs: activés lorsqu'un individuobserveouexécuteune même action

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Principe utilisé pour la rééducation motrice

[Buccino et al., 2004; Rizzolatti and Craighero, 2004; Binkofski et Buccino, 2004, 2006], [Nelles et al., 1999,

2001; Johansen-Berg et al., 2002]

Page 4: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

7

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

RV pour la rééducation motrice: Technologie

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Table virtuelle Ecran 3D CAVE

Equipement d’affichage

Caméras infra-rouges Vidéo caméra MotionPod (Movea Leti)

Système de capture du mouvement

Un outil très puissant pour la rééducation motrice

8

Avantages

Config

Apprentissage configurable

Feedback

Feedback de performance

Motivation

Motivation pour l’apprentissage

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

RV pour la rééducation motrice: Avantages

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Page 5: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Capture de la trajectoire du mouvement pour améliorer l’apprentissage (Jaffe et al. 2004, Flash et al. 1985)

9

Avatar virtuel: point de vue de la 2ème& la 3èmepersonne

Apprentissage par observation et imitation

Améliorer l’interaction en temps réel

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

RV pour la rééducation motrice: Avantages

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Rééducation motrice

Neurones miroir

Empathie posturale

Réalité virtuelle pour la rééducation motrice

Technologie

Avantages

Projet SimAction & problématiques

10

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Page 6: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Projet pluri-disciplinaire: Thérapie physique, Réalité Virtuelle, Sport, Clinique

Labellisé par ANR-2006

Partenaires: U887-INSERM, Le2i, LEAD, VirtuoFacto, EliteImage

11

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction

Apports de la réalité virtuelle pour la rééducation fonctionnelle

12

Système d’immersion permettant lavisualisation stéréoscopique de l’avatarvirtuel en 3D comme dans un miroir

Exemple de jeu physique (attraperdes balles virtuelles avec la main).

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: Environnement en 3D stéréoscopique

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Lunette stéréoscopique

Système MoCap temps réel

Page 7: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

13

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problématiques scientifiques et technologiques

Apports de la réalité virtuelle pour la rééducation fonctionnelle

Apport de la réalité virtuelle pour la rééducation fonctionnelle 14

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problématiques scientifiques et technologiques

Page 8: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Apport de la réalité virtuelle pour la rééducation fonctionnelle 15

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problématiques scientifiques et technologiques

Apport de la réalité virtuelle pour la rééducation fonctionnelle 16

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problématiques scientifiques et technologiques

Page 9: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Apport de la réalité virtuelle pour la rééducation fonctionnelle 17

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Projet SimAction: problématiques scientifiques et technologiques

PLAN

Introduction

Outil d’évaluation du geste

Interaction Homme – Avatar Virtuel

Fouille de données de MoCap

Conclusion & perspective

18 Apports de la réalité virtuelle pour la rééducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 10: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Apport de la réalité virtuelle pour la rééducation fonctionnelle 19

Un évaluateur de geste

Similarité entre

deux gestes

Représentation du

geste

Définition d’une

fonction de distanceValidation

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apport de la réalité virtuelle pour la rééducation fonctionnelle 20

Similarité entre deux gestes

Représentation du geste

Définition d’une fonction

Validation

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

10..1),.

(cos)()(

)()(1 =

×= − k

BB

BBCenter

ik

i

Centeri

kik

i rr

rr

θ

Invariance temporelle et spatiale

Réduction du cout de calcul

θ

Page 11: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Apport de la réalité virtuelle pour la rééducation fonctionnelle 21

Similarité entre deux gestes

Représentation du geste

Définition d’une fonction

Validation

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

LCSS, wLCSS

Méthode pour mesurer la similarité entre deux séquences temporelles

Basée sur des modèles (model-based) Basée sur une fonction de la distance

Modèle de Markov caché Modèle statistique

Réseau de neuronesRéseau bayésien

Machine à vecteur de support

Fonction métrique Fonction non-métrique

Distance euclidienne: L2

Distance Manhattan L1

Distance normalisée L∞

DTW, wDTW

EDR

ERP

TQuEST

DISSIMSwaleSpade

Les meilleures méthodes: Dynamic Time Warping (DTW) & Longest common subsequence (LCSS)

22

LCSS en temps réel

Synchronisation entre le mouvement référence de l’avatar virtuel et celui du sujet

Similarité entre deux mouvements

Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Similarité entre deux gestes

Représentation du geste

Définition d’une fonction

Validation

Page 12: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

23

Posture Mouvement simple

Mouvement complexe

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Expérience & résultat: Préparation de données

Apport de la réalité virtuelle pour la rééducation fonctionnelle

Apport de la réalité virtuelle pour la rééducation fonctionnelle 24

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Expérience & résultat: Vidéos

Suivre un geste simple

Page 13: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Apport de la réalité virtuelle pour la rééducation fonctionnelle 25

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Expérience & résultat: Vidéos

Suivre un geste complexe

26 Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Expérience & résultat9 sujets âgés de 22-43 ans

Résultat: Posture: similarité � 100%

Mouvement simple à suivre: Haute similarité (94% - 99%)

Page 14: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Différence entre mouvement simple et mouvement complexe

27

ANOVA : Les valeurs significatives entre deux groupes p < 0,05

Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Expérience & résultat

Méthode simple et robuste pour mesurer la performance du

sujet à reproduire un geste

Expérience pour valider l’outil

Approche pour évaluer le niveau d’apprentissage du geste

humain

Apport de la réalité virtuelle pour la rééducation fonctionnelle 28

Evaluation du geste: conclusion

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 15: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

PLAN

Introduction

Outil d’évaluation du geste

Interaction Homme – Avatar Virtuel

Fouille de données de MoCap

Conclusion & perspective

29 Apports de la réalité virtuelle pour la rééducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

30 Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Interaction Homme – Avatar virtuel

Rôle de l’avatar virtuel: 2 activités principales pour la rééducation motrice

Apprendre le geste: point de vue de la 2ème& 3ème personne

Contrôler l’avatar à jouer du jeu: point de vue de la 3ème personne

Professeur virtuel

Amélioration de l’interaction

Observation & imitation

Interactif

Motivation

Page 16: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

31 Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Interaction Homme – Avatar virtuel

Evaluation de l’influence de l’avatar virtuel

Evaluation de l’utilisabilité de l’avatar virtuel

Plusieurs types de représentations

32 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Squelette Avatar virtuel

en 2D

Avatar virtuel

en 3D

Face-à-Face

(b) (d)

Face-à-Dos

(c) (e)

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Interaction Homme – Avatar virtuel

Méthode: 5 conditions testées expérimentalement

Page 17: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

33 Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Interaction Homme – Avatar virtuel

Expérience & résultat

Deux niveaux de balle:

� Simple à attraper

� Difficile à attraper

Evaluateur:

� longueur du trajet de balle

Cas d’étude: apprentissage de geste

8 gestes classés en 2 groupes: simple et complexe

Evaluateur: similarité entre deux gestes

34 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Exemple de geste lent et simple Exemple de geste rapide et complexe

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Interaction Homme – Avatar virtuel

Expérience & résultat

Page 18: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Sujet: 9 sujets sains de 22-43 ans

Chacun joue 5 fois

Chacun apprend certains des 40 gestes

35 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Expérience & résultat

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Vidéo: jeu balle

36 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Niveau difficile du jeu

Le mode Face-à-Dos en 3D de l’avatar virtuel a montré la meilleure performance mais pas de signification statistique.

Expérience & résultat

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 19: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

37 Apport de la réalité virtuelle pour la rééducation fonctionnelle

4ème type de représentation de l’avatar (Face-à-face en 3D)montre la meilleure performance

Pas de signification statistique ANOVA: p (<4,1>; <4,2>; <4,3>; <4,5>) = (0.04; 0.31; 0.00; 0.47) < 0.05 � Signification statistique

Expérience & résultat

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Approche nouvelle et quantitative pour évaluer l’utilisabilité de

l’avatar virtuel

Analyse statistique pour confirmer la signification de notre

évaluation

Approche utilisable pour analyser les effets d’autres aspects de

l’avatar virtuel

Perspective: évaluer d’autres aspects de l’avatar virtuel

38 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Conclusion & perspective

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 20: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

PLAN

Introduction

Outil d’évaluation du geste

Interaction Homme – Avatar Virtuel

Fouille de données de MoCap

Conclusion & perspective

39 Apports de la réalité virtuelle pour la rééducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Fouille de données de MoCap: 3 aspects principaux

Représentation de données MoCap

Fonction de distance

Techniques d’accélération de la recherche

40

Fouille de données de MoCap: Problématique

Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 21: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

41

10..1),.

(cos)()(

)()(1 =

×= − k

BB

BBCenter

ik

i

Centeri

kik

i rr

rr

θ

{ } 10..1,),...,( 21 == kCM km

kkk

kθθθ

Apport de la réalité virtuelle pour la rééducation fonctionnelle

Fouille de données de MoCap: Représentation de MoCap

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Apport de la réalité virtuelle pour la rééducation fonctionnelle 42

Fouille de données de MoCap: Fonction de distance - DTW

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

C

U

γ(i,j) = d(qi,cj) + min{ γ(i-1,j-1) , γ(i-1,j ) , γ(i,j-1) }

d(q,c): distance de Manhattan

Complexité: O(n2)

),(),( nmCQDTW γ=

Page 22: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Apport de la réalité virtuelle pour la rééducation fonctionnelle 43

Fouille de données de MoCap: Techniques d’accélération de la recherche

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Avec des techniques d’accélération de la recherche: une fonction de borne (LB) pour filtrer rapidement des candidats négatifs

V

B1 B2Bd

LB(V, B 1) � �?

LB(V, B 2) � �?

LB(V, B d) � �?

Vrai Vrai Vrai

C1CdC2

DTW(V, C1) DTW(V, C1) DTW(V, C1)

O(n)

O(n2)

Apport de la réalité virtuelle pour la rééducation fonctionnelle 44

Fouille de données de MoCap: Techniques d’accélération de la recherche

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Autre technique d’accélération de la recherche ?

Technique de réduction dimensionnelle de la courbe

Algorithme de Lowe

Simple

Efficace

Page 23: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Lowe modifiée pour les bornes

45

U

LL

U

Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Fouille de données de MoCap: Techniques d’accélération de la recherche

46

L

U

V

LB_Keogh > LB_Keogh_Lowe

Apport de la réalité virtuelle pour la rééducation fonctionnelle

Nouvelle fonction de borne: LB_Keogh_Lowe

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Plus stricte

Fouille de données de MoCap: Techniques d’accélération de la recherche

Page 24: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

47 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Gain de 68% en efficacité en termes de temps pour retrouver le plus long mouvement

Fouille de données MoCap: expérience & résultat

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Fouille de données de MoCap par la correspondance de courbe

Nouvelle fonction de borne proposée

Expérience pour évaluer l'efficacité et l’efficience de notre

méthode sur des données de MoCap réelles

48 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Conclusion

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 25: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

PLAN

Introduction

Outil d’évaluation du geste

Interaction Homme – Avatar Virtuel

Fouille de données temporelles

Conclusion & perspective

49 Apports de la réalité virtuelle pour la rééducation fonctionnelle

1

2

3

4

5

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Conclusion

Apport de méthodes et outils (technologie, scientifique) de

développement d’un environnement virtuel pour la rééducation motrice

Avatar virtuel

Outil d’évaluation du geste

Fouille de données de MoCap pour améliorer l’autonomie de

l’utilisateur

Méthode quantitative pour évaluer l’utilisabilité de l’avatar virtuel

50 Apport de la réalité virtuelle pour la rééducation fonctionnelle

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Page 26: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

Appliquer notre approche avec des patients

Elargir ces travaux à un système plus immersif

51 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Perspectives

1. Introduction 2. Outil 3.Avatar virtuel 4.Fouille MoCap4.Fouille MoCap 5.Conclusion

Publication

Revues internationales à comité de lecture

Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2010). Training-Based on Real-Time MotionEvaluation for Functional Rehabilitation in Virtual Environment. In the special issue “Image and graphicsfor virtual reality in medicine”, International Journal ofImage and Graphics (IJIG), Vol. 10, No. 2, 1-16.

Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2009). Effects of Virtual Avatar Characteristicson Performance of Healthy Subjects Training Tasks, Journalof CyberTherapy & Rehabilitation. Fall 2009.Virtual Reality Medical Institute, Rue de la Loi B-1040 Brusseles, Belgium, Vol. 2 (Issue 3), pp. 221-233.

Conférences internationales à comité de lecture

Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2010). An Efficient Approach for HumanMotion Data Mining Based on Curves Matching. Lecture Note, Springer, ICCVG2010, Warsaw, Poland.

Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, Thierry Pozzo, (2010). An Approach forMeasuring Human Gesture Learning Ability in Third-Person View Virtual Environment for MotorRehabilitation. WINVR2010, Ames, USA.

Van-Hanh Nguyen, Frédéric Mérienne, Jean-Luc Martinez, (2009). Effects of Virtual Avatar Characteristicson Performance of Healthy Subjects Training Tasks. In Proceeding of “International Symposium onNeurorehabilitation. From basics to future”, Valencia, Spain.

52 Apport de la réalité virtuelle pour la rééducation fonctionnelle

Page 27: Soutenance de Thèse Etudiant: Van-Hanh NGUYEN · Soutenance de Thèse Etudiant: Van-Hanh NGUYEN Encadrant: Frédéric MERIENNE, Jean-Luc MARTINEZ DANS LE CADRE DU PROJET ANR-SIMACTION

ARTS et METIERS ParisTech \ CNRS \ Le2i \ Institut Image \ 2 rue Thomas Dumorey 71100 Chalon sur Saône FRANCE

MERCI DE VOTRE ATTENTION

Apport de la réalité virtuelle pour la rééducation fonctionnelle