1

Évaluation des logiciels interactifs

M2-IFL/DU-TICE, UPMCElisabeth.Delozanne@upmc.fr

Méthodes d’Inspection(évaluation sans utilisateur)

partie 1 (Cf. cours 1 bis)

Méthodes impliquant les utilisateurs

partie 2

2

Méthodes d’évaluation

Méthodes d’inspection Des gens expriment une opinion

Tests utilisateurs Des utilisateurs accomplissent une

tâche

3

Plan du cours 5

Évaluation des logiciels interactifs partie 1 :

Évaluer ? Votre projet IHM

• Évaluation heuristique (septembre)• Mise en place d’une revue de conception

(aujourd’hui)• Évaluation coopérative (atelier fin janv.)

Méthodes d’inspection ?• Revue de conception• Évaluation heuristique

partie 2 : Méthodes des tests utilisateurs Quelles méthodes choisir ?

Évaluation et conception itérative

(cours de James Landay)

5

Projet1 : Évaluer la concurrence

Quand ? Moments d'évaluation : en amont (sept. Cours 2)

Pourquoi ? Objectifs : lister les bonnes et mauvaises pratiques

Quoi ? Variables cibles : rapidité de prise en main, temps

de saisie des informations, résumé des saisiesComment ?

Inspection heuristique (critères, scénarios) Évaluation coopérative

À quel coût ? Rapide : quelques heures Bon marché

6

Projet2 : Évaluer un scénario de conception

Quand ? Moments d'évaluation : en cours de conception

(aujourd’hui) Pourquoi ?

Objectifs : détecter des problèmes d’utilisabilitéQuoi ?

Un scénario de conception, logique de travailComment ?

Revue de conception (Design Walkthrough) Évaluation par des pairs

À quel coût ? Rapide : une heure Bon marché

7

Projet3 : Évaluer un prototype

Quand ? Moments d'évaluation : fin d’une itération (Fin

Janvier) Pourquoi ?

Objectifs : tester l’utilisabilitéQuoi ?

Variables cibles : temps de prise en main, nombre de tâches complétées/abandonnées, nombre d’erreurs/hésitation, satisfaction

Comment ? Évaluation coopérative

À quel coût ? Rapide : quelques heures Assez bon marché

8

Évaluation : Définitions

étudier les rapports entre la conception et l'utilisation

a priori, formative (conception) identifier ou prévoir les besoins, les scénarios

d’utilisation, les difficultés potentielles ou réelles des utilisateurs

donner et évaluer des idées

a posteriori, sommative (usage) caractériser les points forts et les points faibles

d'un système interactif préparer les évolutions produire des connaissances

Moments & Objectifs

en cours de conception analyse de besoins, compréhension des situations, étude de

l’existant sélection d'alternatives de conception conception itérative de maquettes/prototypes faisabilité et acceptabilité

en cours de réalisation détection et correction de défauts, contrôle qualité, test de

performanceavant diffusion

tests de déverminage, d'acceptabilité, vérification des performances

intégration dans l’activitéen cours de diffusion

satisfaction, améliorations, incidents, support à l'utilisateur, maintenance, image du produit

avant d'acheter comparaison de logiciels : technique/utilisabilité

Évaluer quoi ?

Les dimensions d'évaluation dépendent des objectifs et du contexte

utilité la fiabilité, la qualité technique les temps de réponse

utilisabilité la facilité d'apprentissage, la flexibilité, la

robustesse l’utilisation des fonctions la tolérance aux erreurs la qualité de la documentation et de l’assistance la logique du travail les opinions ou les attitudes

Évaluer comment ?

Sans utilisateurs : approche analytique a priori, ne nécessitant pas un système fondée sur des modèles

• implicites (méthodes d’inspection)• explicites (formels, approches automatiques)

Avec utilisateurs : approche expérimentale (empirique) nécessitant un système (ou un prototype) recueil de données comportementales auprès

d'utilisateurs (en situation réelle ou en laboratoire)•Méthode d'évaluation coopérative (cours 5.2)• Tests d'utilisabilité, expérimentation contrôlée (N.

Mandrian, W. Mackay)

12

Évaluer à quel prix ?

Temps, argent, compétences Méthodes « low cost »

• Culture de l’évaluation chez les informaticiens• Détection des gros problèmes, pas les

problèmes subtils• Informelles, qualitatives, évaluation formative

Méthodes scientifiques et rigoureuses• Gros projets, projets à risques, recherche• Informations fiables, quantitatives

Quel retour sur investissement pour les études d’utilisabilité ? (ROI)

Approches analytiquesComparaison avec un "modèle de référence" (sans utilisateurs)Modèles implicites : approches informelles

Méthodes d’inspection (cours 1)• Méthodes « low cost »

Modèles explicites : approches formelles (ou semi-formelles) modèles prédictifs

• analyse de tâches (KLM et GOMS)• modèle linguistique (ALG et CLG)• modèle de complexité cognitive (Kieras et Polson)

modèles de qualité de l'interface• approche cognitive• recherche des qualités optimales

14

Les méthodes d’inspectionInventaire

jugements d’experts grilles d’évaluation revues de conception (design walkthrough)

Techniques scénarios heuristiques, des recommandations ou des critères

Avantages Pas cher et rapides (~ une journée) Faciles à utiliser (détecter les erreurs flagrantes en 2

à 4 h)Inconvénients

Ne permettent pas de détecter des erreurs subtiles (liées à l'analyse du travail, au contexte)

15

Combien d’experts ? [Nielsen 1993]

% Problèmes détectés

Nombre d ’évaluateurs

0

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

150

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

150

1 2 3 4 5 6 7 8 9 10 11 12 13

20

40

30

10

50

10090

80

70

60

Évaluateurs spécialistes du domaine

Évaluateurs généralistes

Évaluateurs novices

15

16

ROI (Return On Investment)problems found benefits / cost

[Canny 2004]

Revue de conception (Design Walkthrough ) Examen du produit par des pairs (entre 3 et 7) en cours de conceptionObjectif : identifier des problèmes (pas les résoudre)Durée : limitée à 1 h (fatigue)5 rôles :

Présentateur : déroule un scénario Scribe : note tous les commentaires Modérateur/ Gardien des standards :

• centre la discussion sur l'utilisation, sur le cahier des charges

• veille au respect de l'horaire Observateurs :

• prennent le rôle de l'utilisateur, posent des questions,

• font des remarques ou critiques (constructives) sur l'utilisation

Grilles d'évaluationprincipes

Évaluation d'après une liste des propriétés d'une bonne interface

Notation systématique sur une échelle de valeur (3 à 7 points)problèmes

état de l'art en ergonomie, diversité des systèmes => grille spécifique à une application ?

interprétation, niveau d'expertise de l'évaluateur, cohérence des réponses

notation• hétérogénéité de ce qui est noté : règle des 80/20 (ou

90/10) • ne permet pas

- de comprendre la nature du problème rencontré- de hiérarchiser les difficultés

Avantages : utile pour faire des comparaisons

19

Retenir

Les différentes méthodes d’évaluation sans utilisateurs Jugement d’experts Inspection heuristique (critères) Revue de conception (scénarios)

Au moins un jeu de critères ergonomiques Par exemple ceux de l’INRIA

Exercez-vous à étudier les interfaces que vous utilisez du point de vue utilisabilité et faites-vous des catalogues

20

Take home messages (partie 1)

Méthodes d’évaluation sans utilisateurs Indispensables en cours de conception évaluer les

maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de

type « amateur » En projet

• Évaluation heuristique (inspection avec un jeu de critères)

• Revue de conception (scénarios)Méthodes d’évaluation avec utilisateurs

Indispensables pour les problèmes liés au domaine, à l’activité, aux usages

21

Méthodes d’évaluation

RetenirMéthodes d’inspection

Des gens expriment une opinionTests utilisateurs

Des utilisateurs accomplissent une tâche

22

Évaluation des logiciels interactifs (2)

M2-IFL/DU-TICE, UPMCElisabeth.Delozanne@upmc.fr

Méthodes impliquant les utilisateurs

Cours 5 (partie 2)

23

Évaluation

Cours 5.1 : Évaluation sans utilisateursÉvaluer ?Méthodes d’inspection

Cours 5.2 : Évaluation avec utilisateursTests avec utilisateurs

Les méthodes Recueil de données

Quelles méthodes choisir ?

24

Tests d’utilisabilité

Qu’est-ce que c’est ? Expérimentations pour obtenir des informations

sur un problème de conceptionQuand ?

Tout au long du cycle de conceptionEn savoir plus ?

En ligne sur le site du cours : Cours de N. Mandran (IHM2009) Cours de W. Mackay et M. Beaudoin Lafon Cours de A. Giboin Van Duyne et al. 2006, annexe A, BA la bibliothèque A. Boucher 2009, chapitres 9 et 11 E. Brangier et al. 2003, chapitre 5

Comment ?

A l’origine méthodes de psychologie expérimentale protocoles et des analyses statistiques rigoureuses

Maintenant techniques plus « légères » pas de certitudes scientifiques informations qualitatives ou quantitatives

indispensables à la conceptionPrincipe simple :

Trouver des utilisateurs Étudier comment ils utilisent le produit et recueillir

des données Analyser les données et en dégager des décisions

25

26

Les différentes méthodes

Expérimentations contrôléesQuasi-expérienceÉtude de casÉtudes de terrain (ergonomiques, ethnographiques)

Évaluation coopérative (Giboin)

27

Évaluation coopérative (Giboin)

Méthode conçue par des ergonomes pour être mise en œuvre par des non ergonomes (informaticiens)

Objectif : détecter des problèmes potentiels pour améliorer la

conception informer la conception observer les utilisateurs agir, pas leur demander leur avis

Étapes1. Recruter des utilisateurs2. Préparer l’évaluation3. Réaliser l’évaluation : interagir avec les utilisateurs4. Analyser les résultats de l’évaluation5. Tirer les conséquences de l’évaluation6. Rédiger le compte rendu de l’évaluation

28

Recruter des utilisateurs

Dimensions des utilisateurs Statut, niveau d’expérience, préférence

Typologie des utilisateurs Occasionnel, intensif, répété

Nombre d’utilisateurs Entre 1 et 5 à chaque itération

Recrutement Annonces, financement, autorisations

29

Préparer l’évaluation

Définir les tâches :1. Représentatives des tâches réelles2. Permettre une exploration minutieuse de l’interface

Rédiger une feuille de tâches à effectuer par l’utilisateur Donnée à l’utilisateur au début de la séance Tâches précises

• Contre Ex : Faites ce que vous faites normalement

• Ex : Inscrivez-vous en ligne au Master Tâches réalisables avec le prototype

Préparer une grille d’observation avec les points que vous voulez observer

Exemples/contre-exemple de tâches

Armoire à pharmacie électroniqueExemple :

Vous revenez de chez le pharmacien avec les médicaments de l’ordonnance de votre bébé de 6 mois et du renouvellement de vos médicaments contre la tension et le cholestérol

Voici les deux ordonnances et le sac de médicaments. Rentrez ces médicaments dans la pharmacie électronique

Contre-exemple : Cliquez sur « saisir les données » ; choisir le nom du

médicament dans la liste déroulante …

30

31

ConseilsÉnoncer clairement les tâches

De préférence dans un scénario Apporter des accessoires de la vie courante

Évaluer le temps nécessaire Décider d'un temps maximum pour chaque tâche

Préparer des questions Distinguer

• découverte et utilisation courante Double examen des tâches importantes

• Tester la prise en main • puis tester une nouvelle fois en fin de séance

Livrable 3.1 m’adresser la feuille de tâches que vous envisagez de

communiquer aux utilisateurs

32

À Vérifier

1. Les tâches choisies sont-elles réalisables à l'aide du prototype ?

2. Les tâches amènent-elles l'utilisateur à se centrer sur les parties de l'interface qui intéressent ?

3. Combien de temps est alloué pour chaque utilisateur ?

4. À combien estimez-vous le temps nécessaire à chaque utilisateur pour réaliser les tâches ?

5. Le temps imparti dépasse-t-il d'au moins 50 % le temps nécessaire pour réaliser les tâches ?

6. L'énoncé des tâches est-il suffisamment clair pour un utilisateur qui découvre ?

7. L’énoncé est-il trop directif ?

33

Avant l’évaluation

Vérifiez que tout est en place Le prototype est-il prêt ? Avez-vous testé vous-même la feuille de tâches pour

la vérifier ? L’environnement est-il tranquille ? Le matériel est-il prêt pour enregistrer ce que dit

l’utilisateur ? Ce qu’il fait ? Vérifiez le fonctionnement

Chronomètre ? Une feuille préformatée est-elle prête pour prendre

des notes ? Liste des questions à poser ? Phrase pour accueillir l’utilisateur ?

34

Déroulement (1/2)

Introduction (5 min) Pourquoi évaluer, pourquoi vous, quelle suite

Présentation du déroulement de l’évaluation (3 min) Donner la feuille de tâches, lui demander de

commenter à voix haute ses actionsScénario de tâches pour l’exploration de l’activité (60 min maxi)Debriefing avec l’utilisateur Debriefing sans l’utilisateurObservations et prise de notes

sur les commentaires, le comportement, les réactions, l’interaction

chronométrer ou compter (erreurs, clics, mouvement de la souris, soupirs, sourires ) ou filmer

35

Déroulement (2/2)

Debriefing (10 min) Fonctionnalité non couvertes, points positifs et

négatifsConclusion (10 min)

Points forts, points faibles, ce qu’il faut impérativement garder/changer

Listes des difficultés et propositions de solutions Questions spécifiques Remercier

Temps maxi : 1 h 30 utilisateur

36

Conduite de la séance

Mode informel (discussion libre)Pas de feuille de consignesSi possible 2 observateurs :

Un conduit l’entretien L’autre prend des notes et s’occupe de la

techniqueStatut des utilisateurs :

évaluateurs et non sujets d’expérience Ce n’est pas le participant qui est évalué mais le

système

37

À l’arrivée des utilisateursMettez les participants en confiance

Présentez vous et énoncez vos objectifs• Regarder en quoi le système leur facilite ou leur

complique la tâche, peut les induire en erreur• Et non relever leurs erreurs

Garantissez l’anonymat et la sécurité Décrivez les équipements et la façon dont vous allez

étudier et utiliser les données recueilliesPrécisez au participant

qu’il peut à tout moment arrêter l’observation ce qu’il doit faire (penser à haute voix, chercher de

l’aide etc., la tâche ou le scénario)Demander s’il y a des questions préalablesDémarrer l’enregistrement (autorisation)

38

Votre attitudeEntretien de type apprenti/maître

L’utilisateur est l’expert qui vous explique ce qu’il faitLaisser parler les utilisateurs

Être attentif à ce qui se passe Encourager les utilisateurs à parler à voix haute

pendant qu'ils utilisent le système Demander aux utilisateurs de commenter en diirect

ce qu'ils font Poser des questions

Interdiction de• Suggérer

- sauf sur demande expresse de l’utilisateur perdu

• Critiquer, juger• Se défendre

39

Exemples de questions

Comment vous faîtes ça ?Pourquoi vous faites ça ?Que voulez-vous faire ? Qu'arrivera-t-il si... ? Que vient de faire le système ? Que veut vous dire le système avec ce message ? Pourquoi le système a-t-il fait cela ? À quoi vous attendiez-vous ? Qu'êtes-vous en train de faire maintenant ?

Contre-exemples

Mais pourquoi tu fais-ça ?

Tu ne vois pas que… ?

C’est pas du tout comme cela qu’il faut faire !

Non là faut que tu cliques…

Laisse moi faire tu vas voir …

Avec tout le travail que ça m’a demandé, ça ne te plaît pas

Rappelez-vous Vous êtes là pour apprendre Pas pour défendre votre bébé

40

41

Points à observer

Comportement inattendu Ex: L'utilisateur tape une série imprévue de

commandesCommentaires

« C'est chouette de pouvoir faire ça sans avoir à retaper tout. »

« Encore, faut que je retape tout... » Soupirs, sourires, impatience etc.Mesurer

Le temps, les clics, les trajets de la souris, le nombre d’étapes, le nombre d’erreurs, le nombre de sourires/soupirs

Attention

Objectif prioritaire Obtenir des informations de l’utilisateur

Moyen Créer un dialogue avec l'utilisateur

Conséquences Arrêter la prise de notes si elle gêne le dialogue Ne pas défendre ses idées, ses scénarios

42

43

Debriefing avec l’utilisateur

Principe : discussion avec l’utilisateur (pas questionnaire)Sur le prototype

Points forts, points faibles, points à améliorer impérativement

Facilité d’exécution des tâches, de compréhension des libellés

Suggestions Spécifiques au prototype : menus, valeurs par

défaut etc.Sur l’évaluation coopérative

L'enregistrement vous a-t-il gêné ? Est-ce que les tâches étaient semblables à ce que

vous avez l'habitude de faire ? Avez-vous trouvé le prototype réaliste ?

44

Debriefing avec le co-évaluateur

Immédiatement après la séance Échanger Prendre des notes sur les impressions générales,

les incidents etc. Très important on oublie très vite

Revoir les utilisateurs une deuxième fois Pour vérifier les interprétations Étudier les changements possibles

45

Analyser les résultats

Classez les résultats Objets d’interface, navigation, conception générale

Faites ressortir les points positifs et les points négatifsTirez les conséquences des évaluations

Modifications à apporter Module d’aide

Rédiger un rapport Présenter l’état du système avant Présenter l’évaluation (les utilisateurs, les tâches, les

données recueillies et leur analyse, les résultats ) Présenter les améliorations à apporter (et une

nouvelle maquette)

46

Évaluations avec utilisateurs

47

Critères de choix d’une méthode

Temps, budget, moments, compétencesTriangulezMéthodes légères

Interviews Inspection heuristique, scénarios (+ expert du

domaine) Évaluations coopératives

• Recommandées pour les non ergonomesProjet à risque : méthodes rigoureuses

Faire appel à des spécialistes : ergonomes, sociologues, voir ethnologues

48

Quelle méthode choisir ?

Utiliser plusieurs méthodes pour croiser les résultats et les interprétationsDépend des objectifs de l’évaluation, du budget, du tempsAnalyse de l’existant

Méthodes d’inspection Évaluation coopérative Enquêtes, études de terrain

En cours de conception Méthodes d’inspection Évaluation coopérative Expérimentations contrôlées (alternative de

conception)

Atelier d’évaluation du projet

Pour début janvier : rendre un plan d’évaluation Vos objectifs et ce que vous voulez mesurer Déroulement

• Introduction• Feuille de tâche, le(s) scénario(s) proposé(s) et Grille

d’observationPour l’atelier fin janvier:

Disposer d’un prototype et mettre en œuvre le plan d’évaluation

Présence obligatoire (à l’heure)Pour le 30/1 : dossier d’évaluation

Qu’avez-vous appris des tests ?

49

50

En résumé

Méthodes d’évaluation sans utilisateurs Reposent sur des appréciations Indispensables en cours de conception évaluer les

maquettes et prototypes Rapides, pas chères et efficaces Permettent d’éliminer les erreurs de conception de type

« amateur »Méthodes d’évaluation avec utilisateurs

Reposent sur la réalisation de tâches Indispensables pour les problèmes liés au domaine, à

l’activité, aux usages Évaluation coopérative : méthode pour non ergonome

51

Évaluation et cycle de développement

un état d'espritprocessus qui débute dès la spécification du logiciel

dès le début • se préoccuper des utilisateurs, de leurs

activités• construire des maquettes et des prototypes

- les critiquer- les faire critiquer

• mener des tests exploratoires informels

plus le cycle de développement avance plus les tests doivent être rigoureux

52

Take Home Messages

L’évaluation au cœur de la conceptionPensez aux critères d’évaluation du logiciel dès la phase de spécificationOrganisez très tôt des tests informels avec des utilisateurs finaux, même sur des petits projets

Le temps perdu au début est regagnéMieux vaut des tests informels que pas de tests du toutTriangulez, croisez méthodes et résultatsÉvaluation

Ne vous contentez pas des opinions Observez des gens qui accomplissent des actions

Utilisez Les inspections (critères, scénarios) Les revues de conception (design walkthrough) L’évaluation coopérative