journée thématique ateliers ux - evaluation ux - carine lallemand
Post on 30-Nov-2014
328 Views
Preview:
DESCRIPTION
TRANSCRIPT
L’évaluation de l’expérience utilisateur
Carine LallemandCentre de Recherche Public Henri Tudor
Université du Luxembourg@carilall
Journée Thématique Ateliers UX FLUPA - Paris, le 20 juin 2014
@assoflupa #JTFLUPA
Carine
« J’aide à concevoir des systèmes ayant
une bonne expérience utilisateur ! »
Travaille à Luxembourg
Fait une thèse sur l’UX
Pratique la montgolfière
Aime les bonbons et les mots fléchés
Voyage partout, souvent
Que doit-on évaluer ? Les facteurs constitutifs de l’UX
Les facteurs constitutifs de l’UX
Contexte
Utilisateur Système
Les facteurs constitutifs de l’UX - Système
Qualités pragmatiques
Qualités hédoniques
Contexte
Utilisateur SystèmeAttractivité globale
Focus sur le produit (utilité, utilisabilité, réalisation des tâches)
Focus sur le soi (pourquoi on possède et on utilise un produit)Stimulation, Evocation, Identité
Découle de l’évaluation des qualités hédoniques et pragmatiques et donne naissance à des comportements et émotions
Les facteurs constitutifs de l’UX - Contexte
Contexte Social
Contexte Technique
Contexte
Utilisateur Système
Contexte Temporel Contexte de la Tâche
Contexte Interne
Contexte Physique
Les facteurs constitutifs de l’UX - Utilisateur
Avant l’interaction = produit perçu
Pendant l’interaction = produit expérimenté
Contexte
Utilisateur SystèmeAprès l’interaction = produit évalué
Attentes / Besoins / Expériences antérieuresConnaissances / Humeur
Motivation / Ressources / Etat mentalCompétences / Emotions / Humeur
Attractivité / Satisfaction / ComportementIntention d’usage / Humeur
Dynamique temporelle de l’UX
L’expérience utilisateur après usage est une reconstruction mentale.!Elle subit des biais cognitifs.
Avant usage
UX anticipée
Expérience imaginée
Pendant l’usage
UX momentanée
Expérience
Après l’usage
UX épisodique
Reflection sur expérience
Au fil du temps
UX cumulative
Recueil de plusieurs périodes d’usage
Quand
Quoi
Comment
UX White Paper, 2010
Les différentes phases temporelles se superposent et s’intercalent, il n’y a pas de séquence fixe entre anticipation et rappel de plusieurs périodes d’usage.
Concevoir et évaluer l’expérience temporelle
Souvent, nous considérons les produits que nous concevons et évaluons dans leur contexte d’usage. Il faut aussi penser à l’objet dans le temps.
Contexte temporel Après usageAvant usage
Un produit fabriqué
Un produit acheté Un produit
déballé Un produit utilisé
Un produit aimé et adopté
Un produit qui devient
obsolète
Un produit jeté ou recyclé
Un produit amélioré
Un produit transmis à une
autre générationL’accessoire d’un produit
Kolko, 2014
Panorama des méthodes d’évaluation UX Découvrir l’existant
Type de méthode
Phase de développement Période de l’expérience
Evaluateur / Source
Type de méthode
Etudes de terrain
En laboratoire
Etudes online
Questionnaire
Evaluateur / Source
Experts
Utilisateurs
Groupes d’experts
Groupes d’utilisateurs
Phase de développement
Prototypes
Phase conceptuelle
Produits sur le marché
Prototypes fonctionnels
Période de l’expérience
Durant l’usage
Avant l’usage
Après l’usage
Méthodes qualitatives vs. méthodes quantitatives
« If you cannot measure it, you cannot improve it »
“… la réduction de l’expérience a un certain nombre de facteurs ou de
processus… ces approches peuvent être utile pour des analyses
expérimentales mais elles peuvent manquer des éléments qui résistent à de telles réductions … les données qualitatives offrent une richesse et des détails qui peuvent être absent
des recherches quantitatives” !
Swallow, Blythe & Wright, 2005
“… de riches descriptions d’expérience pourraient nécessiter un
expérimentateur remarquablement attentif et réflectif… Je soupçonne les
expériences avec les technologies (comme de nombreuses autres) d’être beaucoup moins uniques et variables que ce que soutiennent les tenants de
l’approche phénoménologique. Les descriptions d’expériences peuvent
différer en qualité, mais l’expérience en elle-même ne diffère pas.
!Hassenzahl - 2008
Exercice Pratique : dynamique temporelle de l’UX
Dynamique temporelle de l’UX
Avant usage
UX anticipée
Expérience imaginée
Pendant l’usage
UX momentanée
Expérience
Après l’usage
UX épisodique
Reflection sur expérience
Au fil du temps
UX cumulative
Recueil de plusieurs périodes d’usage
Quand
Quoi
Comment
UX White Paper, 2010
Le questionnaire AttrakDiff Une mesure standardisée de l’UX
Les questionnaires standardisés
Ensemble de questions présentées dans un ordre spécifique, selon un format spécifique, et suivant des règles spécifiques pour produire des métriques basées sur les réponses des participants
Les questionnaires standardisés ont des qualités psychométriques (validité, fidélité)
Les questionnaires « fait maison » peuvent quant à eux poser problème au niveau de leur qualité et leur capacité à mesurer le construit visé.
Le modèle de l’UX d’Hassenzahl
Pour Hassenzahl, les gens perçoivent les produits interactifs selon deux dimensions :
Qualités pragmatiques
Qualités hédoniques
Capacité à soutenir l’accomplissement de « do-goals » Focus sur le produit (utilité, utilisabilité, réalisation des tâches) !Exemples « do-goals » : passer un appel, trouver un livre dans une librairie online, commander un article
Capacité à soutenir l’accomplissement de « be-goals » Focus sur le Soi (pourquoi on possède et on utilise un produit particulier ?) !Exemples « be-goals » : être compétent, être en relation avec les autres, être spécial,…
Modèle d’Hassenzahl (2003)
Ce modèle théorique illustre comment les qualités
pragmatiques et hédoniques in6luencent la perception subjective de l'attractivité donnant naissance à des comportements et des
émotions. (© User Interface Design GmbH). http://
attrakdiff.de/sience-‐en.html
Le questionnaire AttrakDiff
Développé en allemand (traduit en anglais et en français) par une technique de génération participative d’items par des experts
Evalue les qualités pragmatiques et hédoniques des systèmes interactifs
Composé de 28 items7 items pour les aspects pragmatiques7 items pour les aspects hédoniques - identification7 items pour les aspects hédoniques - stimulation7 items pour l’évaluation de l’attractivité
10 items en version abrégée (abridged AttrakDiff)
Types d’évaluation AttrakDiff
Evaluation unique : adaptée pour une évaluation unique ou temporaire d’un produit ou système !!Comparaison avant-après : ce type d’évaluation permet de tester le produit 2x : avant et après l’implémentation de changements. Vous aurez ainsi un résumé détaillé des effets des changements. !!Comparaison Produit A - Produit B : ce type d’évaluation implique deux produits qui sont évalués et comparés. Vous serez en mesure de voir comment les utilisateurs perçoivent les différents produits.
Exercice pratique : passation et scoring AttrakDiff
Codage des items
Représentation des résultats
Diagramme des valeurs moyennes
Graphique des paires de mots
Représentation des résultats
Calcul de l’intervalle de confiance
1. Réalisez votre étude AttrakDiff sur un échantillon d’utilisateurs 2. Calculez les moyennes et écarts types des échelles hédoniques (QH-‐I et QH-‐S ensemble) et de
l’échelle pragmatique (QP). 3. Choisir votre intervalle de con;iance. Généralement on choisit des intervalles de 90% ou 95%. !4. Calculez votre marge d’erreur selon la formule de calcul suivante. Marge d’erreur = Za/2 * σ/√(n) !
!! ! Marge d’erreur = ! Valeur critique * Erreur standard! Valeur critique * écart-type / racine carrée de la taille de l’échantillon
!Les valeurs critiques peuvent être trouvées sur le tableau des Z scores. Pour plus de facilité, voici les valeurs les plus courantes : Valeur critique intervalle de confiance 90% = 1,65 / valeur critique intervalle de confiance 95% = 1.96. !5. Calculer votre intervalle de con;iance : pour cela, prenez la moyenne de votre échantillon et
écrire +/_ la marge d’erreur. Exemple : 5 +/-‐ 1 !Vous pouvez également connaître les limites supérieures et inférieures de votre intervalle de conUiance en ajoutant et en soustrayant la marge d’erreur de votre moyenne. Exemple : 5-‐1 = 4 et 5+1 = 6. L’intervalle de con6iance est compris entre 4 et 6.
Exercice pratique - portfolio résultats
Représentez le portfolio des résultats suivants.
Voici les scores de l’AttrakDiff d’un produit. Le questionnaire a été administré à 15 personnes en une évaluation unique.
!
!
!
Calculez les intervalles de confiance à 90% pour dessiner les rectangles de confiance.
Qualité Pragmatique Qualité Hédonique
M = 1,5 SD = 0,5 M = -1,2 SD = 0,8
AttrakDiff utilisé dans une étude longitudinale
Lallemand (2012)
Le UEQ : le « petit frère » de l’AttrakDiff
User Experience Questionnaire (Laugwitz, Held & Schrepp, 2008)
Repose sur le même modèle théorique que l’AttrakDiff
A été crée après ce dernier, pour palier au fait que l’AttrakDiff mettrait trop l’accent sur les aspects hédoniques de l’interaction au détriment des aspects pragmatiques
Ce déséquilibre nuirait à l’évaluation de l’UX de systèmes professionnels
Comprend 6 sous-échelles : Attractivité, Clarté, Efficacité, Fiabilité, Stimulation et Nouveauté
Entretien Corpus iScale - UX Curve
Etudier la dynamique temporelle de l’UX
Maintenir un usage prolongé : un enjeu actuel
Les systèmes et produits sont de plus en plus intégrés sous forme de services
Le focus passe donc de favoriser l’acceptance initiale (l’achat) à maintenir un usage prolongé !
De nombreux projets appellent désormais des études longitudinales de l’UX
Plus l’impact envisagé sur l’expérience des gens et leurs pratiques sociales est ambitieux, plus le besoin est fort d’étudier l’UX sur de longues périodes
Temporalité de l’UX Modèle de Karapanos
Trois phases dans l’adoption d’un produit : - orientation- incorporation- identification!La temporalité de l’expérience consiste en 3 forces principales, qui motive la transition entre les 3 phases :- familiarité- dépendance fonctionnelle- attachement émotionnel!A chaque phase, diverses qualités du produit sont appréciées.
Expériences initiales dominées par sentiments d’excitation et de frustration au fur et à mesure que l’on expérimente de nouvelles fonctionnalités et rencontre des problèmes d’apprenabilité
L’anticipation d’une expérience donne lieu à des attentes.
Le produit commence à prendre du sens dans le quotidien. L’utilisabilité à long terme devient
ici plus importance que l’apprenabilité initiale et l’utilité du produit devient le facteur majeur
impactant les jugements d’évaluation.
Le produit est accepté dans la vie, il participe
aux interactions sociales, communique des parts de
notre identité, qui nous différencient ou nous
rapprochent des autres.
Temporalité de l’UX Modèle de Karapanos
Evaluer l’UX à long terme : paradigmes possibles
Transversal
Longitudinal
Mesures répétées
Retrospective
Karapanos, Martens & Hassenzahl, 2010
Evaluer l’UX à long terme : paradigmes possibles
Transversal
Longitudinal
Mesures répétées
Retrospective
Karapanos, Martens & Hassenzahl, 2010
Journaux de bord Experience Sampling Method
Day Reconstruction Method CORPUS iScale UX Curve Analytical Scale
AttrakDiff comparaison avant-aprèsToute évaluation unique appliquée à deux populations
Entretien structuré CORPUS
CORPUS = Change Oriented Analysis of the Relation between Product and User
1. On demande aux participants de comparer leur opinion actuelle sur une qualité donnée du produit (ex : utilisabilité) à celle qu’il avaient juste après l’achat.
2. Si des changements ont eu lieu, on demande aux participants d’évaluer la direction et la forme du changement (rapide amélioration, brutale détérioration)
3. Enfin, on demande aux participants d’expliquer les raisons qui ont mené à ces changements sous le forme de courtes narrations, appelées « change incidents ».
von Wilamowitz-Moellendorff, Hassenzahl & Platz (2006)
Entretien structuré CORPUS
S’adresse à des utilisateurs « experts » (ayant utilisé le produit depuis au moins 1-2 ans)
Etudie le changement selon 5 dimensions : utilité, utilisabilité, stimulation, beauté, identité+ évaluation globale!Durée d’un entretien : +/- 45 min!2 types de données recueillies :- des rapports d’expériences expliquant les changements de l’UX à travers le temps- un pattern de changement remémoré sous forme de courbe
von Wilamowitz-Moellendorff, Hassenzahl & Platz (2006)
Exercice pratique - Entretien structuré CORPUS
Procédure
Au moment présent, comment évaluez vous l’utilisabilité de votre produit sur une échelle de 0 (pas du tout) à 10 (extrêmement) ?
Au début de l’usage, comment évaluiez vous l’utilisabilité de votre produit sur une échelle de 0 (pas du tout) à 10 (extrêmement) ?
Si les deux évaluation diffèrent, alors on explore la forme de la courbe et les incidents éventuels.
Exemple étude sur téléphones mobiles (n=8)
Validité et fiabilité des méthodes retrospectives
A quel point ces données rétrospectives souffrent-elles de biais liés à la mémoire ?
Le côté véridique et réaliste (validité) des expériences reconstruites est finalement peu important car ces « souvenirs »
• vont guider les comportements ultérieurs des individus
• vont être communiqués à autrui
En revanche, il est important que ces méthodes soient fiables : Il importe peu que ce dont on se souvient diffère de ce que nous avons vécu tant que ces souvenirs sont consistants à travers de multiples rappels, alors ils donnent une information pertinente.
Analytic Scale
Repose sur la « Value Account Theory »
Postule que les gens peuvent se souvenir d’une évaluation émotionnelle globale à un moment donné sans pour autant se souvenir exactement des détails de leur expérience
On demande aux participants, de manière analytique, de caractériser le « pattern » de leur UX à travers le temps
2 temps : amélioration, détérioration ou stabilité ? puis précision de la forme de la courbe.
Analytic Scale peut être utilisée sur une échelle macro (longue période d’usage) ou
micro (session unique d’interaction)
UX Curve
• Vise à aider les utilisateurs à rapporter rétrospectivement comment et pourquoi leur expérience avec un produit a changé au fil du temps
• Plusieurs types de courbes :• UX générale• Attractivité• Facilité d’usage• Utilité• Volume d’usage
Utilisation d’une courbe UX en mode longitudinal
Les heuristiques UX Une évaluation experte
Evaluation experte Origines
Origine : Nielsen, 1990’s Discount usability engineering methods
Principe : inspection de l’interface par des évaluateurs pour juger de sa compliance avec des « heuristiques » d’utilisabilité
But : détecter des problèmes d’utilisabilité
Avantages : rapide, peu chère, facile à appliquer
Evaluation experte de l’UX Challenges et limites
Peut-on appliquer une évaluation experte à l’UX ?
Challenges :
- évaluer quelque chose d’aussi subjectif qu’une « expérience »
- adopter le point de vue de l’utilisateur, et mettre de côté son propre ressenti
- prendre en compte les facteurs contextuels ET temporels
Recommandations :
Utiliser un outil souple qui adopte un point de vue de haut niveau
Travailler avec des personas
Ne pas oublier le contexte temporel
Les 10 heuristiques pour une UX optimale de Colombo & Pasch (2010)
Dérivées de la théorie du flow et appliquées aux IHM
1. Objec)fs clairs
2. Feedback approprié
3. Concentra)on ciblée
4. Transparence ergonomique
5. Appropria)on technologique
6. Equilibre entre challenges et compétence
7. Contrôle poten)el
8. Suivre le rythme
9. Connaître les mo)va)ons des u)lisateurs
10. Innova)on conservatrice
Les 10 heuristiques UX d’Arhippainen (2013)Propose une approche plus holistique de l’UX, non uniquement basée sur l’expérience optimale du flow.
!1. Garan)r l’u)lisabilité
2. Fournir une u)lité correspondant aux valeurs de l’u)lisateur
3. Dépasser les aTentes de l’u)lisateur
4. Respecter l’u)lisateur
5. Concevoir le produit ou le service pour s’adapter au contexte prévu
6. Fournir plusieurs façons d’interagir, laisser le choix à l’u)lisateur
7. Respecter la vie privée et la sécurité de l’u)lisateur
8. Soutenir les ac)vités de l’u)lisateur, ne pas imposer
9. Optez pour un design visuel parfait
10. Offrir un cadeau surprise
Les UX Cards
Outil en cours de développement
Peut servir pour l’évaluation ou pour la conception de l’UX.
Chacune des 7 cartes UX représente un besoin psychologique fondamental à épanouir à travers l’usage de la technologie
Pour l’évaluation, on demande à un expert d’identifier les principaux éléments du système qui impactent positivement ou négativement l’UX sur l’un ou plusieurs des besoins.
Lallemand, Koenig & Gronier, 2014
Les UX Cards
Quand ils utilisent les cartes, les experts listent 75 % d’éléments positifs et 25 % d’éléments négatifs.
C’est tout l’inverse d’une évaluation experte de l’utilisabilité !
Ici, il faut penser l’évaluation par grandes étapes : 1) Le niveau général / conceptuel2) Le contenu3) L’interaction4) Le niveau fonctionnel5) La présentation6) Ce qui est absent!On va également pondérer l’impact potentiel de chaque élément.
Lallemand, Koenig & Gronier, 2014
Conclusion
Utilisation d’outils spécifiques pour l’UX et non d’outils d’utilisabilité « remaniés »
Réflexion sur le choix d’une méthode en fonction des objectifs de l’étude
Importance de l’utilisation d’outils quantitatifs valides
Vers une perspective plus dynamique de l’UX avec une prise en compte nécessaire de la dimension temporelle
Merci de votre attention !
Commentaires ?Questions ?
Suggestions ?
carine.lallemand@gmail.com @carilall
RéférencesAll About UX : www.allaboutux.org !Arhippainen, L. (2013) User Experience Heuristics. Tutorial in MUM Conference, Luleå, Sweden. 3.12.2013. !Colombo, L. and Pasch, M. 10 Heuristics for an Optimal User Experience. Proc. CHI2012 Altchi. ACM Press (2012). !Desmet, P.M.A. (2003). Measuring emotion; development and application of an instrument to measure emotional responses to products. In: M.A. Blythe, A.F. Monk, K. Overbeeke, & P.C. Wright (Eds.), Funology: from usability to enjoyment (pp. 111-123). Dordrecht: Kluwer Academic Publishers.!Gegner, L. and Runonen, M. 2012. For What it is Worth: Anticipated eXperience Evaluation. 8th International Conference on Design and Emotion (London, UK, 2012). https://reseda.taik.fi/Taik/jsp/taik/Publication_Types.jsp?id=23583813!Karapanos, E., Martens, J.-B., Hassenzahl, M. (2012) Reconstructing Experiences with iScale. International Journal of Human-Computer Studies, 70 (11), pp. 849-865, http://dx.doi.org/10.1016/j.ijhcs.2012.06.004!Karapanos, E., Zimmerman, J., Forlizzi, J., & Martens, J. (2010). Measuring the Dynamics of Remembered Experience Over Time. Interacting with Computers, 22 (5), doi: 10.1016/j.intcom.2010.04.003!Karapanos, E., Martens, J.-B., Hassenzahl, M. (2010) On the Retrospective Assessment of Users’ Experiences Over Time: Memory or Actuality?. CHI’10 extended abstracts on Human factors in computing systems. Atlanta, ACM Press.!Karapanos E., Zimmerman J., Forlizzi J., Martens J.-B. User Experience Over Time: An Initial Framework, In Proceedings of the 27th international Conference on Human Factors in Computing Systems (Boston, MA, USA, April 04 – 09, 2009). CHI’09. ACM, New York, NY, 729-738. DOI= http://doi.acm.org/10.1145/1518701.1518814 !Hassenzahl, Marc (2013): User Experience and Experience Design. In: Soegaard, Mads and Dam, Rikke Friis (eds.). "The Encyclopedia of Human-Computer Interaction, 2nd Ed.". Aarhus, Denmark: The Interaction Design Foundation.!Hassenzahl, M., Burmester, M., Koller, F. (2003) AttrakDiff: Ein Fragebogen zur Messung wahrgenommener hedonischer und pragmatischer Qualität. In: Ziegler, J., Szwillus, G. (eds.) Mensch & Computer 2003. Interaktion in Bewegung, pp. 187–196. B.G. Teubner, Stuttgart. / AttrakDiff. Internet Resource http://www.attrakdiff.de. !
RéférencesHassenzahl, M. (2003). The thing and I: Understanding the relationship between user and product. In M. A. Blyth, A. F. Monk, K. Overbeeke, & P. C. Wright (Eds.), Funology: From usability to enjoyment, 1-12 (chap. 3). Kluwer Academic Publishers.!Kujala, S., Roto, V., Vaananen-Vainio-Mattila, K., Karapanos, E., Sinnela, A.: UX Curve: A Method for Evaluating Long-Term User Experience. Interacting with Computers (2011). http://dx.doi.org/10.1016/j.intcom.2011.06.005!Lallemand, C., Gronier, G., Koenig, V. (2014) User Experience Design and Evaluation Cards: designing interactive systems able to support users’ psychological needs.!Lallemand, C., Koenig, V., & Gronier, G. (soumis) Création et validation d’une version française du questionnaire AttrakDiff pour l’évaluation de l’expérience utilisateur des systèmes interactifs. !Lallemand, C. (2012) Dear diary: Using diaries to study User Experience, User Experience, Vol 11, Issue 3.!Laugwitz, B., Held, T., Schrepp, M. (2008). Construction and evaluation of a user experience questionnaire. In: Holzinger, A. (Ed.): USAB 2008, LNCS 5298, pp. 63-76, 2008. http://www.ueq-online.org/ !Roto, V., Law, E., Vermeeren, A., & Hoonhout, J. (2011). User Experience White Paper: Bringing clarity to the concept of user experience. Result from Dagstuhl Seminar on Demarcating User Experience, Finland.!Sheldon, K. M., Elliot, A. J., Kim, Y., & Kasser, T. (2001). What is satisfying about satisfying events? Testing 10 candidate psychological needs. Journal of Personality and Social Psychology, 89, 325-339!Uyl, M. den, Kuilenburg, H. van & Lebert, E. (2005). FaceReader: an online facial expression recognition system. Measuring Behavior 2005, 5th International Conference on Methods and Techniques in Behavioral Research, 30 August - 2 September 2005, Wageningen, The Netherlands.!Vermeeren, A, Lai-Chong Law, E., Roto, V., Obrist, M., Hoonhout, J., Väänänen-Vainio-Mattila, K. (2010). User Experience Evaluation Methods: Current State and Development Needs. In Proceedings of NordiCHI’10, ACM Press. !von Wilamowitz-Moellendorff, M., Hassenzahl, M., and Platz, A. (2006). Dynamics of user experience: How the perceived quality of mobile phones changes over time. In User Experience - Towards a unified view, Workshop at the 4th Nordic Conference on Human-Computer Interaction, pp. 74-78.
top related