L’ÉVALUATION DE LA QUALITÉ D’UN SITE WEB EN COMBINANT LA POURSUITE OCULAIRE, LA RÉPONSE PHYSIOLOGIQUE ET L’EXPRESSION SPONTANÉE DES ÉMOTIONS RESSENTIES

UNE RECHERCHE EXPLORATOIRE

Sandrine Prom Tep, Chaire RBC*

Aude Dufresne, UdeM

Julie Saulnier, Bell CanadaMarion Archambault, Bell canada

12 novembre 2009Utilisabilité QuébecJournée mondiale de l’utilisabilité

Table des matières

• INTRODUCTIONCRÉDITS, OBJECTIFS DE RECHERCHES ET BÉNÉFICES POUR L’ENTREPRISE

• CONTEXTE ET INTÉRÊT DE LA RECHERCHEINTERACTION HOMME-MACHINE ET COMMERCE ÉLECTRONIQUE

• MÉTHODOLOGIEPROTOCOLEENVIRONNEMENT DE TEST

• QUESTIONS ET HYPOTHÈSES DE RECHERCHE

• ANALYSES ET RÉSULTATS

• CONCLUSION ET RECHERCHES FUTURES

• RÉFÉRENCES

3

INTRODUCTION

4

INTRODUCTION

• Un projet d’évaluation de site web relié à l’industrie des jeux de hasard. Ceprojet de recherche fut réalisé grâce à un partenariat entreprise-milieuacadémique (*Chaire de commerce électronique RBC Groupe Financier de HEC Montréal, U de M et Bell Canada)

• Le but de la recherche: Combiner différentes méthodes d’évaluation et utiliserdifférents outils afin d’étudier les interactions homme-machine

– Triangulation cognitive, physiologique et avec la mesure des émotions exprimées.– Développement de méthodologie innovatrice dans la recherche en utilisabilité.

• Les bénéfices de la recherche:- Théorique : Une meilleure compréhension des aspects cognitifs et affectifs reliés à

l’expérience utilisateur.

- Pour l’entreprise : Permet d’assoir davantage les décisions de design sur des

données scientifiques.

- Commercial : Permet une optimisation de l’expérience utilisateur et de maximiser

le RSI.

5

CONTEXTEET

INTÉRÊTS DE LA RECHERCHE

6

CONTEXTE ET INTÉRÊT DE LA RECHERCHE

• Interaction homme-machine– Les recherches entourant l’interaction homme-machine se sont souvent limitées à la

mesure de l’efficience, de l’efficacité et de la satisfaction, ‘omettant’ le côté émotionnel de l’expérience utilisateur (Norman, 2004).

– La mesure du comportement reliée à l’évaluation de systèmes interactifs s’est limitéesouvent à l’accomplissement de tâches cognitives

– La qualité affective d’un design et l’évaluation d’un système interactif (Zhang & Li, 2005)

• Domaine d’appplications: ex. Secteur du jeuPertinence particulière pour les sites web commerciaux.– Des choix de consommateurs pas toujours rationnels et l’aspect utilitaire pas toujours derrière leur motivation de

consommation (Childers, Carr, Peck and Carson, 2001). – Le consommateur qui navigue sur le web traite bien plus que les informations cognitives (Ethier, Hadaya, Talbot,

Cadieux, 2006).– Les émotions se retrouvent à des niveaux conscient, préconscient et non-conscient (Hirschman and Holbrook,

1982)

Les modèles de recherches combinant l’aspect émotio nnel et cognitif sont peu nombreux ou se limitent souvent à l’expression verbal isée des émotions, négligeant celles qui sont non-conscientes (Chamberlain and Broderick, 2007).

7

MODÈLE DE LA RECHERCHE ET MÉTHODOLOGIE

8

LE MODÈLE DE LA RECHERCHE

Nous combinons des mesures subjectives et objectives afin d’évaluer l’ensemble de l’expérience utilisateur:

Préférencesindividuelles

EsthétiqueJeux

Contexte:Stimuli3 pages de contenu

Évaluation de performanceUtilisabilitéEsthétique

+Émotion

MesuresPoursuite oculaire(Tobii):

- Dilatation de la pupille- Fixations

RéponsePhysiologique(Biograph Infiniti):

- SC- HRV- Temp

Mesures concourantes

9

MÉTHODOLOGIE – PROTOCOLE D’EXPÉRIMENTATION

• Recherche exploratoire• Entrevues individuelles et scénarios d’utilisation– 12 participants (6 regroupements de données)

• 2 profils de joueurs : cartes et machines à sous

– Sesssion de 60 min/participant• Introduction et installation: 10 minutes

• Questionnaire de profilage (incluant le type de joueur et l’échelle de propension à l’esthétique).

• Accomplissement de tâches (3 tâches), évaluation (utilisabilité et esthétique) et l’expression spontanée des émotions ressenties: 40-45 minutes

• Retour sur l’expérience: 5 minutes

• Protocole de verbalisation à voix haute

10

MÉTHODOLOGIE

Préférences individuelles: Propension à l’esthétique

11

MÉTHODOLOGIE- ENVIRONNEMENT DE TEST

Outils permettant de montrer et d’enregistrer les déplacements oculaires

• Volet matériel: Tobii Technology, T120 unit (60 Hz)• Volet logiciel: Tobii Studio 1.1

12

MÉTHODOLOGIE- ENVIRONNEMENT DE TEST

Outils de mesures physiologiques

• Volet matériel: ProComp Infiniti, 4 capteurs– Conductivité cutanée, Pouls (BVP), température cutanée, respiration

• Volet logiciel: Biograph Infiniti 3.5– Instruments :

Éditeur d’écran (modules affichés)

Éditeur de flux (échelles)Éditeur de script

(protocole de tâches)

MÉTHODOLOGIE- ENVIRONNEMENT DE TEST (laboratoire d’utilisabilité)

Facilitator

Usability expertControl monitor

Observation roomExperimentation room

Tobii T120User

Observator

Usability expert

Biograph

Infiniti

Tobii computer

VGA Input

VGA Output2

Vidéoprojecteur

VGA

Optic Fiber

DVI

VGA Output1

Observation

computer

USB

VGAtoUSB

Observators

TVVideoprojector

screen

Switch VGA

VGA

VGA

Procomp

Infiniti

Les données provenant de Tobii et de Biograph ont été manuellement synchronisées.

14

MÉTHODOLOGIE

Questionnaire suivant l’accomplissement des tâches : Expression spontanée des émotions ressenties

- Les résultats des émotions positives et négatives ont été combinés

15

LES QUESTIONS ET

LES HYPOTHÈSES DE RECHERCHE

16

LES QUESTIONS DE RECHERCHE

Est-ce qu’il existe une relation entre le profil de l’utilisateur, son évaluation du site, ses émotions rapportées et ses mesuresphysiologiques enregistrées pour chacune des pages présentées?

• Est-ce qu’un utilisateur ayant un profil de joueur de cartes sera davantage enclin àdonner une meilleure évaluation à une page correspondant à son profil de joueur?

• Est-ce qu’un utilisateur ayant un profil de joueur de cartes aura une réponsephysiologique plus marquée lorsqu’il naviguera sur une page correspondant à son profil de joueur?

• Est-ce qu’un utilisateur ayant un profil de joueur particulier (cartes ou machine à sous) passera plus de temps à regarder une page correspondant à son profil de joueur oufixer certains éléments de la page qui correspondent à son profil de joueur?

Est-ce que l’utilisateur s’habitue au stress que pourrait engendrerl’environnement de test?

• Après la phase des questions de profilage (entrée en matière de réchauffement), nousdevrions percevoir une augmentation du niveau de confort dans les données de réponse physiologique de l’utilisateur (ex. respiration qui ralentit avec le confort).

17

HYPOTHÈSES

PréférencesindividuellesPropension esthétiqueProfil de joueur

Contexte3 pages (stimuli)-1 accueil-2 pages de jeux

Mesures directesPoursuite oculaire(Tobii):

- Dilatation de la pupille- Fixations

Réponsephysiologique(Biograph Infiniti):

- Galvanique- Respiration- Température

Notez qu’il n’y avait pas assez de sujets dans cette études pour faire ressortir les éléments sociodémographiques

Évaluation rapportéeUtilisabilitéEsthétiqueÉmotion

18

UN APERÇU DES ANALYSES ET DES RÉSULTATS

ANALYSES ET RÉSULTATS

Nos observations pour la réponse galvanique:

• la réponse physiologique à un stimuli sera différente d’un sujet à l’autre

• mais on observe une cohérence dans la réaction à un stimuli pour chaque sujet

Pour chaque personne, nous avons corrigé toutes les réponses physiologiques avec la moyenne et l’écart-type de la mesure de l’état par défaut correspondant.

Con

duct

ivité

cuta

née

Participants

Stimuli : Contenu de la page

Cartes

AccueilMachines à sous

( ( ( ( µµ µµS

) S

) S

) S

)

ANALYSES ET RÉSULTATSPréférence et mesures physiologiques

Préférencede jeux

La dilatation dela pupille

conductivitécutanée(NB: tient compte de labaseline individuelle pour le calcul de la moyenne)

Interprétation basée sur le protocole verbal:Page poker: ambigüe p/r au référentPage machines à sous: non- ambiguëDilatation = confusion par rapport ambiguïté visuelle

���� Importance de la triangulation pour informer le design

Poker

Accueil

Machines àsous

Poker

Machines à sous

Accueil

vsvsvsvsContradiction des résultatsSujets ne réagissent pas nécessairement en concordance avec leur

préférence de jeux

Stimuli visuel au-delà de l’intérêt de départ

Évaluation rapportée de l’aspectesthétique des pages

Expression spontanée des émotionspositives du contenu des pages

ANALYSES ET RÉSULTATSPréférence et évaluation du site + émotions rapportées

Résultats similaires entre ce qui est dit (mesures rapportées) MAISOpposées avec ce qui est ressenti (mesures directes objectives de l’acétate précédente) � rationalisation consciente?

Préférence de jeux

PokerMachines à sous

PokerAccueil

Machines àsous

Concordance entre profil et évaluation

22

CONCLUSION&

RECHERCHES FUTURES

23

CONCLUSION

• Approche qui permet d’informer le design via des perceptions non-conscientes

• Développement méthodologique: définition et mise à l’épreuve de protocole de rechercheEx. Problématique d’intrusion

• Triangulation de différentes mesures: cognitives, affectives ainsi que conscientes et non-conscientes, afin de mieux comprendre l’expérienceutilisateur dans son ensemble

–> En route vers une approche d’évaluation de site web plus holistique!

24

RECHERCHES FUTURES

• Identifier l'évolution de patterns de réponses physiologiques correspondant àdes états émotionnels importants (exemple la frustration, le manque de confort, l’excitation, l'indifférence, etc.) dans un processus d'acomplissement de tâche.

• Établir la carte de la réponse physiologique par rapport au stress et àl’excitation: confirmer avec la littérature sur les données médicales ex: la température qui diminue aux extrémités quand on est en situation de stress parce que le sang se regroupe au centre du corps délaissant la périphérie (voir problèmes d’interprétation: ex Police et détecteur de mesnonges)

• Valider le nouveau protocole d’expérimentation avec différents contextes de tâche.

25

RÉFÉRENCES• Chamberlain, L. and Broderick, A.J. (2007). The application of physiological

observation methods to emotion research, Qualitative Market Research: An International Journal 10 (2): 199-216.

• Childers, T. L., Carr, C.L., Peckc, J., and Carson, S. (2001). Hedonic and utilitarian motivations for online retail shopping behavior. Journal of Retailing, 77(4): 511-535.

• Ethier, J., Hadaya, P., Talbot, J., Cadieux, J. (2006). B2C web site quality and emotions during online episodes: An empirical study, Information & Management, 43: 627–639.

• Hirschman, E. C., & Holbrook, M. B. (1982). Hedonic Consumption: Emerging Concepts, Methods and Propositions. Journal of Marketing, 46: 92-101.

• Holbrook, M.B., Batra, R. (1987). Assessing the Role of Emotions as Mediators of Consumer Responses to Advertising, Journal of Consumer Research, 14(3): 404-419.

• Mahlke, S. (2007, March). Usability, Aesthetics, Emotions and the User Experience, HOT Topics, 6 (2).

• Norman, D. (2004). Emotional Design: Why we love (or hate) everyday things. New York. Basic Books.

• Zhang, P., & Li, N. (2005). The importance of Affective Quality. Communications of the ACM, 48 (9): 105-108.

• http://www.thoughttechnology.com/• http://www.thoughttechnology.com/french/manual.htm

QUESTIONS

Merci! ☺☺☺☺

sandrine.prom-tep@hec.caBlogue: http://www.ergonomia.ca

julie.saulnier@bell.caRéponse physiologique et tests d’utilisabilité chez Bell Canada