CONSERVATOIRE NATIONAL DES ARTS ET METIERSCENTRE REGIONAL DE RHONE-ALPES
---Mémoire présenté par
Gaël DUPERREY---
Brain Computer Interaction (BCI)étude des dispositifs, choix, installation et mise en
œuvre d’un ensemble de cas d’étude et leur évaluation
Soutenu le 10 juin 2015---
JURY
PRESIDENT M Christophe PICOULEAU Professeur des Universités CNAM ParisMEMBRES M Bertrand DAVID Professeur des Universités EC Lyon
M René CHALON Maître de conférences EC LyonM Claude GENIER Enseignant CNAM LyonM Franck TARPIN-BERNARD Professeur des Universités Grenoble
Plan• Contexte• Hypothèses• Choix d’un matériel• Expérimentations• Usages• Conclusion
2 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
3 / 31
Contexte
• LIRIS (Laboratoire d’InfoRmatique en Image et Systèmes d’information)
• SICAL (Situated Interaction, Collaboration, Adaptation and Learning)• Trois thématiques de recherche :
• EAIH (Environnements Informatiques pour l’Apprentissage Humain)
• IHM (Interfaces Homme-Machine)
• Systèmes interactifs adaptatifs
• Volonté explorer / évaluer nouvelle interaction
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
4 / 31
Principe de fonctionnement
Source : brainpainting.net
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
5 / 31
Cartes cognitives
Source : Impact Epilepsy
Source : pinterest.com
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
6 / 31
Histoire• 1875 : Richard Caton 1er enregistrement
cortex à nu• 1929 : Hans Berger 1er enregistrement sur
cuir chevelu• 1969 : Fetz, Schmidt & Baker : singes
peuvent apprendre à contrôler entraînement par punition / récompenses
• 1980 : Apostolos Gorgopoulos • loi mathématique traduisant direction
déplacement du bras en fonction de l’activité cérébrale
• Mouvement commandé par plusieurs zones du cerveau
• 1990 : Phillip Kennedy : 1ère ICO intracorticale sur un singe
• 1999 : décodage activité cérébrale des chats (Berkeley) : reproduire images vues
Richard CatonSource : svs.kz
Hans BergerSource : archee.qc.ca
Source : Wikipedia
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
7 / 31
Histoire• 2000 : William H Dobelle : IND semi-
invasive couplée caméra / ordinateur rend la vu à la un aveugle
• 2005 : Matt Nagle : tétraplégique. Commander main artificielle
• 2007/2008 : Kyoto : reconstruire images captées dans le cerveau
• 2014 premier message télépathique entre deux humains
Jens NaumannSource : Wikipedia
Matt NagleSource : quotesays.com
Source : nouvelobs.com
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
8 / 31
Objectifs / Hypothèses• Universalité
• La BCI fonctionne t-elle avec tout le monde ?• Activons-nous les mêmes zones cérébrales pour les mêmes
activités ?• Pouvons-nous identifier les zones cognitives ?
• Utilisabilité• Reproductibilité
• Peut-on reproduire le fonctionnement dans le temps ?
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
9 / 31
Types d’Interfaces Neuronales Directes
• Invasives
• Semi-invasives
• Non-invasivesSource : Graimann et al - 2011
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
10 / 31
Choix du matériel• Investissement initial peu élevé• Contraintes
• Le moins contraignant possible (simple d’utilisation)• Rapidement disponible• Compatible OpenVibe
• Solutions• OpenVibe propose 16 constructeurs
• Choix• Solution sans gel• Amplificateur intégré• Grand public : Neurosky / Emotiv
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
11 / 31
Emotiv EPOC• EPOC / EPOC + / Insight• Choix : EPOC
• 14 électrodes• Solution saline• WIFI• 2 semaines• 700 $• Applications
• Panneau de contrôle• Kit de développement• Ludiques
Source : Emotiv
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
12 / 31
Expérimentations• Contraintes
• Début rapide• Projet d’Etude 50 (PE50)• Découverte de la technologie• Ne pas abuser du temps des testeurs
• Choix• Utilisation applications d’Emotiv
• Panneau de contrôle• Démonstration (Montagne aux esprits)
• OpenVibe : Visualisation topographique
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
13 / 31
Protocole expérimental : 1• Première session
• Premier contact (suite expressive)• Mouvements du cube (suite cognitive)
• Choix des mouvements• Entraînement par paliers
• Démonstration (montagne aux esprits)• Suite cognitive• Questionnaires
• Deuxième session• Reproduire mouvements du cube• Re-entraînement / Re-initialisation• Démonstration• Suite Cognitive• Questionnaires
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
14/ 31
Extrait d’une expérimentationContexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Vidéo sur Youtube : https://youtu.be/LJ6iCIroE2c
Panel utilisateur
• 17 personnes• 14 hommes / 3 femmes
• Membres du PE50• Membres du laboratoire• Des volontaires (Ecole Centrale, EM)
• Origines diverses (France, Chine, Togo)• Classes d’âges variées de 18 à plus de 50 ans)
15 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
SUS (System Usability Scale)
• Système normalisé• Comparer des systèmes/interfaces• Evaluation quantitative• 10 questions issues de 50• Echelle de Likert (5 points)
• « pas du tout d’accord (1) » à « Tout à fait d’accord (5) »
• Si on ne sait pas, on répond « 3 »• Méthode de calcul définie• Score sur 100
16 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
SUS : Résultats• Score : 62,35
• Minima 35• Maxima 80
• Moyenne générale : 68• Equivalent à un D : ok ou bien
• Echantillon succinct• Plus adapter pour comparer
• Interfaces entres elles• IHM
• Pas pour évaluer une technologie seule
17 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Résultats Impressions• Casque peu confortable• Demande beaucoup de concentration• Frustration facile• Technologie « amusante »• Difficile à appréhender initialement• Applications ludiques plus simples, plus
appréciées• Perspectives :
• Aide au handicap• Jeux vidéo• Contrôle d’appareils
• Remarque : questionnaire trop immature
18 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Résultatsdonnées brutes SUS
• Le score SUS n’étant pas probant, analyse des données brutes
• Répartition des notes
• Problème pour la note 3 suite instructions SUS
• Un autre questionnaire plus adapté serait plus pertinent
19 / 31
• Q2 : Je trouve ce système inutilement complexe.• Q3 : Je pense que ce système est facile
d’utilisation.• Q4 : Je pense que j’aurais besoin d’une assistance
technique pour utiliser ce système.
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
20 / 31
Protocole expérimental : 2• Suite cognitive
• Pousser / gauche
• Visualisation d’images (16)• Imagination / Visualisation
• Images• Serrer la mâchoire• Mouvements du cube (pousser/gauche)
• Yeux ouverts/fermés
• Panel réduit : 5 personnes• 2 séances : comparaison
des observations
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
RésultatsNombre d’action / utilisateur
• Maximum de 2 à 4• 4 : association d’expressions faciales
• Optimal de 2• 2/3 des testeurs ont du ré-entrainer• 1/3 a du réinitialiser et entrainer
• Problème sans stimulus• Très peu de réussite dans l’application « Suite
cognitive » d’affichée.21 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Usages actuels et à venir
• Médicaux• Sondages / marketing• Récréatifs• Artistiques• Autres
22 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Médicaux• Imagerie cérébrale
• EEG peut réaliser un premier diagnostic (Brainscope)
• Aide au handicap• Accompagnement santé
• Gestion du stress par détection et diffusion de musique. Neuroplasticité. (myBrain)
23 / 31
Source : BrainScope
Source : myBrain
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Récréatif / Artistiques
• Mindflex (Mattel)
• Stillalive : Son of Nor• Supplément d’âme
24 / 31
Source : Mattel
Source : Studio Stillalive
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Récréatif / Artistiques• Humain augmenté
• Necomimi
• Shippo
• Lisa Park « Eunoia »
25 / 31Source : Lisa Park
Source : braincorner.com.tw
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Evolutions• Domotique
• Commander des appareils• Allumer/Eteindre une machine,• Programmer des cycles…
• Big Data• Stocker profils
• Usage médical• Sondages / Marketing
• Smartcities• Adapter la ville en fonction
des ressentis usagers• Complément d’interaction
avec des mobiliers urbains (Abribus interactif…)
26 / 31
Abribus Interactif de la ville de ParisSource : cio-online.com
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Exemple d’application lampe• Actions
• Pousser• Gauche• Serrer la mâchoire
• Limiter à une lampe
• Pour plus, penser menus déroulants offrant des choix• Validation suivant un délai
27 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Limitations de notre projection
• On se limite et on conçoit l’interface en fonction des possibilités• Menus déroulants avec validation de choix• Multimodalité
• Géolocalisation
• Adaptation de notre besoin à la technologie et non l’inverse
28 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Conclusion• Universalité
• Oui, mais…• Degrés de réussite très variés
• Utilisabilité• Oui, mais…
• Pas assez d’actions (vocabulaire)• Latence• faux positifs
• Reproductibilité• Oui, mais…
• Aléatoire suivant publics• Beaucoup d’entrainements nécessaires (manque de naturalité)
19 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Conclusion• Hors handicap, technologie trop immature• Côté ludique plait, mais encore beaucoup de travail• Approches :
• multimodale• Supplément d’âme
• Fonctions cognitives : résolution trop faible (appareil et EEG)• Guide apprentissage / Méthodologie utilisation• OpenEEG / OpenBCI
• Electrodes manquantes pour utiliser plus pleinement OpenVibe et ses démo• Cibler fonction cognitive pour limiter usage à quelques électrodes, à un
signal précis• On perçoit les utilités, possibilités.
30 / 31
Contexte Choix du MatérielHypothèses Expérimentations ConclusionUsages
Merci de votre attention.
31 / 31
Annexes
Neurosky
Source : Neurosky
Emotiv Insight
Source : Emotiv
ECoGélectrocorticographie
• Électrodes entre la dure-mère et le cortex
Sources : Wikimedia - Wikipedia
Système 10/20
Electrodes Emotiv EPOC
SUS : 10 questions• Q1 : Je pense que je vais utiliser ce système fréquemment• Q2 : Je trouve ce système inutilement complexe• Q3 : Je pense que ce système est facile d’utilisation• Q4 : Je pense que j’aurais besoin d’une assistance technique pour utiliser ce système.• Q5 : Je trouve que les nombreuses fonctions de ce système ont été bien intégrées• Q6 : Je trouve qu’il y a trop d’incohérences dans ce système• Q7 : J’imagine que la plupart des personnes pourrait apprendre à utiliser ce système rapidement• Q8 : J’ai trouvé ce système très lourd à utiliser• Q9 : Je suis très confiant(e) dans l’utilisation de ce système• Q10 : J’ai dû apprendre beaucoup de choses avant de pouvoir faire fonctionner ce système.
SUS : Méthode de calcul• Pour les questions 1, 3, 5, 7 et 9, le score est la
valeur moins 1• Pour les items 2, 4, 6, 8 et 10, le score est 5
moins la valeur• Faire ensuite le total des scores et multiplier
par 2,5 pour obtenir le score SUS qui varie de 0 à 100
SUS : Résultats
SUS : Score / Mercantile / Adjective
Source : uxpajournal.org
Scénario OpenVibe• Temporal filter : 12 Hz à 24 Hz (Bêta)• Simple DSP : x²
Application Puzzle