normal.dot - unigetecfaetu.unige.ch/staf/staf-h/miriano/staf26/s8seancen7mb_mrp… · web...

Miriano Romualdi 16.05.202301.200423:17

O8_lastCompte Rendu de la Séance 07 du 05.02.2004

prochaine séance le 06.04.2004 14:00

Objectif: Définition du titre, du plan expérimental et Workpackages du mémoire de Miriano Romual-di Participants: Mireille Bétrancourt/Miriano Romualdi

Présentation MR:Après la lecture de la documentation à sa disposition et la séance n. 3-4-5 avec Mme MB, MR pré-sente à Mme MB un plan expérimental qui détaille aussi, sous forme de listes, les grilles, les mo-dèles pour le verbalisation V1, V2 et les modèles pour les observations ( directes ou à travers les enregistrements) et les questionnaires Q1 Q2a Q2b,Q3 et les hypothèses opérationnelles.

Schéma du plan avec VISIO 5.0

Titre (provisoire):

De la planification à la recherche dans un système d'aide. La fonction de la verbalisation dans la RI pour des cibles simples et complexes.

Séance Mardi 06.04.2004 14:00 heure- résultats bruts- graphiques

Excel: 1 ligne par personnec1 c2 c3 c4 cycle c1 cycle c2 cycle c3 cycle 4

Partic. 1 KC

Partic. 2 MR


TEST (4 participants):

Durée expérience 22 Min. 25 Min. 26 Min. à 31 Min.

cible 1:30 sec--->3 Minutes

cible 2 1 Minutes ---> 3 Minutes

cible 3 2 Minutes---->5 MAX

cible 4 30 sec---> 2:30 Minutes


Schéma plan expérimental 25.01.2004


Workpackages:

- 05.02 Plan expérimental

- 05.02---->10.02 Correction Plan

- 05.02---->25.02 Pré-test terminé Matériel-Questionnaire-8 cibles avec parcours

- 01.03/31.03 Faire passer les expériences

- pour le 20.04 Premiers résultats RdV avec MB (cours STAF)

- 10.05 Résultats semi-définitifs

- 31.03/20.05 Rédaction semi-définitive


Chapitre 1

1 Introduction :

1.1 de l'informatique aux aides en ligne

Les hypermédias se sont fortement développés depuis la fin des années '80. Ce succès est lié à la grand diffusion des ordinateurs mais aussi au marketing (Hypercard Macintosh) et à l'ergonomie.

Les premiers Hypermédias semblaient faciles à concevoir et à utiliser, au moins apparemment. Ils ont permis ainsi de développer des applications dans tous les domaines, surtout quand l'opéra-teur ne peut définir clairement son but par avance.

Les hypermédias se sont donc transformés à partir des années 90 en systèmes expert ou aides en ligne. Ils sont très utilisés pour de programmes grand public, dans lesquels en général, selon tous les études, on ne connaît en moyenne que entre le 10 et le 20% de fonctionnalités du programme et dans lesquels l'utilisateur a des grandes possibilités de choix et il ne connaît pas ses buts d'avance.

Avec l'expérience de ces 14 dernières années on peut sans doute affirmer que les aides n'ont pas eu le même succès que les programmes où ils sont, quand même, régulièrement implémentés.

Dans la réalité, si l'utilisateur ne connaît pas la solution à un nouveau problème, la recherche dans l'aide devient rapidement très complexe, les insuccès découragent l'utilisateur, qui à long terme peut arrêter d'utiliser l'aide.

1.2 RI dans les aide en ligne et l'ergonomie des hypermédias

Évidemment les facilités des systèmes d'aide évoquées par le marketing ne répondent pas toujours à la réalité vécue par l'utilisateur moyen.

Un système d'aide en ligne devrait par exemple: assister les novices et les experts au même temps faciliter l'acquisition de savoir-faire sans perturber la réalisation des tâches qu'il envisage favoriser un apprentissage rapide, facile et durable

Ces objectifs ne sont pas réalistes et de toute façon ils ne pourraient pas tous seuls garantir la qua-lité du système, ni la réalisation de la tâche envisagée par l'utilisateur.

Beaucoup des questions restent donc ouvertes: Avant tout: Pourquoi les aides en ligne ne sont pas si efficaces comme promis par le développeurs?

Et plus en détails: Les fonctionnalités pas connues dans le programme sont-elles peut-être trop nombreuses pour

une recherche optimale? Le système d'aide est-il en général trop flexible et/ou contient-il trop d'informations? Dans de nombreuses situations de recherche de l'information dans les aides le but peut évoluer,

et n'être cerné que progressivement, l'aide est adapté à ça? De plus peut-il ainsi engendrer une surcharge de la mémoire de travail de l'utilisateur?


La recherche d'information (RI) est selon nous le point faible des aides en ligne actuels. Les mécanismes cognitifs en œuvre pendant la recherche d'information (RI) dans des documents complexes ne sont pas assez bien connus par les développeurs et les concepteurs d'aides en ligne, qui considèrent la recherche comme une activité cognitive univoque et probablement simple.

On fera un excursus pour mettre en évidence les résultats des recherches dans le domaine de la RI dans les aides en ligne, en se concentrant surtout sur la RI du point de vue de la psychologie cogni-tive. On sous-évalue souvent les interactions entre traitement des information de l'environnent et planification de l'action.La RI met en œuvre des mécanismes d'exécution et de gestion distincts les uns des autres.

À part la complexité du système d'aide, sa structure, la quantité d'informations qui contient, ainsi que la complexité de la tâche/cibles à réaliser, des questions fondamentales se posent avant de rentrer dans le spécifique des aides. Dans la RI le passage entre planification et recherche se passe-t-il comment? Aurait-il la verbalisation un rôle pour résoudre les problèmes liés à ce passage et ensuite pour

faciliter la recherche dans l'aide? Si oui quel type de verbalisation le favorise? Une verbalisation intérieure ou une discussion avec

un interlocuteur? Et la forme linguistique de cette verbalisation a-t-elle une influence sur ce pas-sage?

Avant d'essayer de répondre à ces questions à travers notre expérience on fera le point sur l'his-toire des aides en ligne et en bref sur la RI en Psychologie cognitive, en essayant ensuite de faire la liaison entre ces deux domaines


2. De l'aide de l'expert aux aides en lignes Les novices confrontés à des problèmes informatiques préfèrent par défaut faire appel à l'aide d'ex-perts ou solliciter le vendeur.Les aides comme avant les notices d'utilisation sont d'abord feuilletées puis souvent complètement abandonnées.Sur le plan de la terminologie avant d'analyser les aides dans leur parcours diachronique il faut tout de suite faire le point.Les termes aide et assistance sont ambigus, car il sont utilisés pour désigner indifféremment, d'une part l'assistance qu'un logiciel est susceptible de fournir aux activités de l'utilisateur dans un do-maine d'application spécifique et/ou d'autre part, celle dont celui-ci dispose pour interagir avec le lo-giciel efficacement et maîtriser sa mise en œuvre.

On parlera dans les chapitres suivants de coopération homme-machine pour faire référence à l'ac-ception à l'assistance qu'un logiciel est susceptible de fournir aux activités de l'utilisateur dans un domaine d'application spécifique, un terme bidirectionnel différent de la mono-directionalité par exemple d'un didacticiel classique "du programme vers l'utilisateur".

2.1 La manipulation directe et le mirage de la transparence avant les "aides".Le paradigme de l'interaction gestuelle et graphique (cf. l'interface Macintosh) a suscité à partir des années '80 l'espoir d'atteindre à la transparence, c'est à dire d'offrir à tous la possibilité d'utiliser et d'apprendre sans effort tout programme informatique."Assurer une manipulation intuitive, et donc une maîtrise quasi immédiate de la mise en œuvre d'un logiciel, permet une diminution de la charge mentale induite par son utilisation (capobianco p.2).

Les avantages des interfaces WYSWYG sont évidentes, mais on voudrait brièvement revenir à leurs limites. La syntaxe et les icônes sont arbitraire notamment en l'absence d'une utilisation régulière, de

plus elle change selon les différents programmes et entreprise. Un nombre élevés d'utilisateurs ne développent qu'une maîtrise médiocre des logiciels avec la

manipulation directe et exploitent à peine le 10% de potentialités du programme. Les novices peuvent avoir des problèmes avec la souris. Dans la conception de programmes souvent la modélisation des comportements cognitifs des

utilisateurs pour concevoir de guides d'utilisation Utility et usability n'est pas prise en compte. Et même si elle l'était trop de variables sont liées au vécu personnel pour aboutir à des résultats assez généralisables.

On peut ensuite faire une distinction entre sources externes et internes de difficultés des pro-gramme avec interfaces graphiques.

Sources externes de difficultés: conjoncturels: rapidité d'évolution des logiciels commercialisés structurelles: limite de l'interface et du contexte

Sources internes de difficultés: difficile de passer du manuel/aide au programme manque de pré-requis de la part du novice pour hiérarchiser la masse d'in-

formations d'aide à disposition ou les détecter interpréter de façon erronée les informations généraliser par induction idée d'avoir compris trop rapidement démotivation pour les raisons précédentes


difficile d'anticiper ou d'interpréter les résultats et "effets de bord" de leur exécution

Ces difficultés son bien connues par l'ergonomie et les experts en usability qui sont en quête constante des solutions, mais bientôt après les succès des interfaces graphiques on est revenu vers le manuel et les aide en ligne pour soutenir les utilisateurs en difficulté.

2.2 Conception d'aides en ligne et problèmes et comportements des utilisateurs.La conception des aides en ligne a été pourtant du départ très complexe. Une des raisons de cette complexité était sans doute la multiplicité des objectifs visés:1. assister les novices2. faciliter l'acquisition de savoir-faire sans perturber la réalisation des tâches qu'il envisage3. favoriser un apprentissage rapide, facile et durable4. aider les plus experts

Chaque groupe a évidemment des points en commun, mais aussi des besoins et des temps très dif-férents.En général le comportement des utilisateurs dans les aides en ligne (Carroll 15) indique que le comportement des utilisateurs, sur tout les profanes, procède d'un double paradoxe, qui a donc une forte influence sur les 4 objectifs visés.Le premier est un paradoxe de motivation (motivational paradox). Le but premier de l'utilisateur profane est de faire et non d'apprendre à faire, ce qui conduit à tenter d'effectuer les tâches même s'il manque de connaissances nécessaires à leur réalisation. Il cherche dans l'aide seulement s'il se trouve dans une impasse ou face à des difficultés pour lui insolubles.Le deuxième paradoxe est le paradoxe cognitif. lI s'agit de la tendance de l'utilisateur à générali-ser de façon abusive les connaissances dont il dispose. Le novice en particulier fait appel à des pro-cessus de généralisation.D'après Carroll et ses collègues: un utilisateur novice ne peut réussir à maîtriser un logiciel sans se donner comme objectif prioritaire l'acquisition de cette maîtrise plutôt que l'utilisation immédiate du logiciel. Donc l'aide est souvent plus adapté à un expert.

D'autres études ont essayé de modéliser certains comportement et confirme inderectemtn ces 2 pardoxesGRAY DILLON 90 91 paradoxe cognitifont montré que les util. essaient de se raccrocher à une structure usuelle hiérarchique, linéaire, grille ou à une structure de texte usuelle (par ex. celle des articles scientifiques)

GRAY 90:a voulu étudier le modèle que le participant se fait de la structure et des relations internes d'un sys-tème. Elle montre que cognitive + motivationnell: les catégories et les mots peuvent avoir un autre sens que ceux qu'ils ont au moment de leur

ouverture certains utilisateurs sortent d'une recherche et vont à des endroits non appropriés croyant trou-

ver l'information pertinente certains utilisateurs explorent à fond un endroit en espérant de trouver la solution les util. oublient ce qu'ils ont consultés ou pas consultés ils considèrent que la navigation est illogique. sans avoir l'idée de la taille de la base la recherche est plus difficile les utilis. ils attendent une représentation classique des documents pour se faire une idée de la

base - linéaire - hiérarchique - réseaux -...


Les systèmes d'aide posent en outre des problèmes spécifiques d'utilisation et pour toute typolo-gie d'utilisateur. Ils concernent en particulier: 1. la difficulté à trouver l'information2. la non pertinence de l'information recherchée3. la difficulté à passer de son activité de travail à l'interaction avec l'interface d'aide et vice

versa4. la complexité de l'interface d'aide5. la difficulté à comprendre les messages d'aide6. le message dans l'aide textuel ou graphique interfère avec l'activité

Dans l'impasse la difficulté d'utilisation de l'aide devient une charge cognitive supplémentaire. Par conséquent la réalisation d'un système d'aide ne peux en aucun cas se limiter à l'élaboration d'une base d'infos pertinentes.

Ergonomie pour une meilleure coopération.Donc sur la base d'une documentation avec des contenus pertinents, il faut améliorer le contenant. Pour ce qui concerne les aides il faut entre autre et on a beaucoup progressé en cette direction:a) définir des modes d'accès efficaces à l'information b) avoir un coût cognitif minimum pour tout type d'utilisateurc) les informations doivent être exploitables d) la pertinence et l'intelligibilité de l'information donnée est aussi fondamentale.

Les concepts d'utilisabilité et la lisibilité, qui sont désormais très connus et dans le cycle de déve-loppement des programmes d'informatique et contiennent les différents points cité ci-dessus.Ils représenteraient donc des aspects fondamentaux de la phase de conception à la phase d'utilisa-tion des aides, dans laquelle le feed-back des utilisateurs permettraient encore d'améliorer le sys-tème. Mais souvent dans le développement des aides défini le contenu on oublie l'ergonomie et par conséquence l'utilisateur.

Les recommandations ergonomiques pour la conception de manuel d'aide électronique existant ne sont pas beaucoup peuvent se regrouper selon ces catégoriesUne première approche naturelle et simple consiste à considérer une situation d'interaction comme une situation didactique classique.Or lorsque les connaissances à acquérir portent sur la maîtrise de l'utilisation d'un logiciel, une as-sistance interactive à visée didactique risque de s'avérer inefficace. L'acquisition de savoir faire né-cessite une expérimentation, une mise en pratique: les didacticiels MICROSOFT ont quasiment dis-parus, on procède donc vers la coopération plutôt que vers l'activité d'apprentissage du vieux didac-ticiel.

Une autre approche est l'approche de conception "centrée utilisateur" (user-centred design) dans lequel en simplifiant un système d'aide doit avoir 3 objectifs principaux:

1. fournir à l'utilisateur les informations nécessaire pour surmonter l'obstacle et lui donner les moyens de faire

2. l'utilisateur doit être capable de se représenter le problème, de rechercher et trouver l'information3. faciliter à l'utilisateur l'élaboration d'une représentation exacte des fonctionnalités du logiciel

Carrol et ses collègues proposent une approche minimaliste.Ils définissent un modèle minimaliste des qualités ergonomiques qui doit posséder un manuel d'initiation à l'utilisation d'un logiciel destinés aux utilisateurs profanes et ainsi d'un aide en ligne.Manuel Minimum (Carrol et collègues):

1. Initiation orientée tâche: donner au novice les moyens pour réaliser des tâches effectives dès ses premières interactions avec le logiciel. Les Informations sont organisés par tâche, pas de


présentation hiérarchique des connaissances en accord avec la structure hiérarchique des objec-tifs didactiques.

2. Clarté et concision de l'information: réduire au minimum le volume de texte. texte concise, proscrire tout jargon informatique, utiliser la langue naturelle courante.

3. Détection et correction des erreurs: faciliter au novice la détection et la correction des ses er-reurs d'utilisation. Il faut en effet réussir à déterminer pour chaque type d'erreur un ensemble dis-criminant d'indices fiables qui permettent au novice de découvrir facilement la présence d'une er-reur et de le classer correctement en fonction de son origine. Or nombre d'erreurs d'origine diffé-rente sont susceptibles de produire des effets identiques. L'aide il peut englober un historique des actions précédant l'occurrence de l'erreur. Fournir aux utilisateurs outre les connaissances procédurales nécessaire à la réalisation des tâches un modèle du fonctionnement interne du lo-giciel. D'autre études seraient nécessaire pour déterminer l'influence effective de ce type de connaissances.

L'application des trois principes de conception améliore l'efficacité de ces supports. Cette améliora-tion se traduit notamment par une réduction du taux d'erreurs, un temps moyen de réalisation des tâches plus court, une diminution des recherches d'informations infructueuses, un temps d'appren-tissage plus faible, une meilleure maîtrise générale du logiciel, et sont en partie appliqué dans les aides classiques MICROSOFT, mais avec quel résultat les chiffres ne sont pas très encouragent, entre autre aussi dans notre recherche.

2.3 Manuel en ligne avantages commerciales.Les aides en ligne présentent évidemment plusieurs avantages contingents par rapport aux manuel sur support papier pas exemple: Le Manuels papier, distribué à un grand nombre d'utilisateurs, sont plus cher. Pour un Manuel papier la modification et la mise à jour est plus complexe. Les Problèmes de versions, avec le système d'aide électronique, sont plus facilement maîtri-

sables.

Les Manuels en ligne ont donc les mêmes potentialités de diffusion, d'adaptabilité et de portabilité que tout logiciel. Le support électronique modifie surtout la RI. La recherche d'un terme sur une page devient la routine

De la tâche à la rechercheLa grande nouveauté des hypermédias et ensuite des aides modernes c'est de permettre aux utili-sateurs d'avoir de buts mal définis. Dans l'activité de browsing (to browse= explorer, butiner, en quelque sorte "flâner parmi les don-nées"), c'est en fonction des réponses du système que le participant va cerner progressivement son problème.Les modèles de l'activité de RI expliquent mieux les différents style de recherche.Les Modèles de l'activité de RI sont assez peu étudiée. selon Canter/Rivers/Storrs 1985 5 straté-gies sont idéntifiables 1. scanning: couvrir en largeur sans profondeur2. browsing: suivre un chemin jusqu'à ce que le but soit atteint3. searching: s'efforcer de trouver un but explicite4. exploring: se rendre compte de l'étendue de l'information donnée5. wandering: ballade sans intention

Rouet 92 il reprend le modèle de Gutrie


Schéma p 33

La Navigation dans des hypertextes ou des documents hypermédias est en général une forme d'ac-cès associatif donc flexible et simple.Le système d'aide qui on active souvent pendant une tâche de travail guide mais il n'oblige pas, ce qui apparaît donc un compromis pertinent entre les impératifs d'efficacité et la simplicité d'utilisationL'ergonomie à amené vers la création et utilisation d'un historique des interactions offre des possi-bilités d'auto-guidage dans la sélection des thèmes, pour les fragments de la base d'aide visités an-térieurement.

Ensuite on va désormais, même dans des aides pas grand public, vers une organisation des infor-mations orientées tâche (au sens du manuel mi

L'Étude Roestel/MCLellan fait clarté aussi sur les type de demande d'aide formulées par les utilisa-teurs d'aides et ça aide sans doute les concepteurs. La taxonomie issue de cette étude empirique comprend différentes classe de demandes par exemple: comment faire? qu'est-ce que cela? Ensuite que puis-je faire? Utilisation de l'aide? Explication d'un terme demande de documentation auxiliaire demande Help-desk numéro de version

On peux réduire les résultats de l'étude 45 classes spécifiques à 4 classes principales: demandent d'information procédurales précises demande d'information sémantiques (pourquoi?) expression d'une volonté d'exploration (est-il possible de...? demande de guidage global (quel est l'objet/commande permettant de...?)

Multimodalité vs multimédia: la multimodalité exige une connaissance de la sémantique des infor-mations transmises par les différents médias. texte modalité privilégiée pour l'expression des connaissances syntaxiques les représentation graphiques en revanche, seules comme icône, ou associé a un texte (sche-

mas/diagramme) peuvent faciliter la compréhension des information sémantiques. animation fixe ou animé pas de diff. étude Palmiter/Elkerton parole de synthèse pas trop développé

La présence d'aide en ligne vs. livre facilite la compréhension d'un texte: plusieurs recherches l'in-diquent nettement (Mas Arthur et Haynes 1995)

Coopération oui mais trop tardOn connaît encore mal la structure du dialogue humain, et dans le spécifique de la RI pour pouvoir ensuite créer de systèmes d'aide interactifs et avec un taux d'utilisation très élevé.La lisibilité des messages dépend fortement des modalités de présentation utilisées; pourtant les messages oraux interfèrent moins avec l'activité principale de l'utilisateur que des messages tex-tuels ou graphiques. La RI dans les aides s'effectue de plus trop souvent quant on est coincö dans le problème, l'utilisa-teur est trop rarement proactive.


3 Les base cognitives de la recherche d'informations RI: mémoire compréhension et résolu-tion des problèmes.Plusieurs activités humaines reposent à la fois sur le traitement d'informations complexes et sur la construction de structures de buts hiérarchisées. L'étude de ces activités à progressivement mis l'accent sur les interactions entre traitement des informations de l'environnement et planification de l'action.Parmi les nombreux domaines concernés, on peut citer la résolution des problèmes arithmétiques (KIN 85), la conduite de processus industriel (SAM 96), la conception architecturale (VRI 94), ou en-core la conception de logiciel (ROU 95).Un dénominateur commun à tous ces domaines est l'obligation constante dans laquelle se trouve le sujet d'obtenir dans son environnement les informations nécessaires à l'accomplissement de la tâche, en écartant les information non pertinentes.On analysera les mécanismes cognitifs à l'ouvre dans la RI dans le documents complexes, avec les objectifs principaux de:- mettre en évidence sa nature cyclique, dynamique et opportuniste- le caractère hiérarchisé de cette activité, qui met en œuvre des mécanismes d'exécution et de gestion distincts les uns des autres.- mettre en évidence son indépendance de la nature des informations considérées pour la RI

La définition de RI en psychologie cognitive diffère de celui que lui donnent habituellement les in-formaticiens.Il s'agit non pas de décrire les propriétés d'algorithmes ou des programmes, mais d'élucider l'en-semble des représentations et des processus cognitifs effectivement mise en œuvre par un humain pour mener à bien une activité de RI dans le contexte d'une certaine tâche (voir définition d'"infor-mation seeking" de Marchiorini ou Kintsch).La RI présente 3 caractéristiques essentielles selon ROUET:- il s'agit d'une activité complexe qui fait appel aux connaissances individuelles et donc à la mé-moire (MLT, MDT)- cette activité passe par le traitement d'informations (le plus souvent textuelles) et fait donc appel à la compréhension- la RI implique l'exécution d'un certain nombre d'actions successives visant à transformer la situa-tion de son état initial vers le but et s'apparente à la résolution de problèmes

KIN 78 théories de psy cognitive.

Tout comme la résolution de problèmes la RI demande la construction de buts et de méthodes pour atteindre ces buts. Comme la compréhension de textes, la RI demande la construction pro-gressive d'une représentation de contenu.La construction du but et son maintien lors du traitement d'informations demandent de nombreuses opérations en mémoire de travail.

Dans un article antérieur ROU 95 il propose de faire la distinction entre la tâche et l'activité de re-cherche des informations. Un modèle de tâche décrit les composants de la situation de recherche d'informations: buts, moyens et environnement.Un modèle d'activité décrit la mise en œuvre dynamique des ces composants (déroulement dans le temps et interactions).


3.1 Les processus élémentaires de recherche d'informations: évaluation, sélection et traite-ment

A partir de modèles antérieurs (ARM 93, GUT 88) on peut déjà distinguer 3 processus de base de la RI: l'évaluation, la sélection, le traitement.Ces processus peuvent ensuite être décomposés en processus plus élémentaires. L'exécution des modules se déroule de fa4on séquentielle, chaque module passant un certain nombre de para-mètres au module suivant.

L'Évaluation est la première étape de la R. Si on considère la RI comme une résolution des pro-blèmes, alors il faut admettre que l'individu commence par construire une représentation de la tâche sans disposer immédiatement des moyens pour la réaliser (HOC 87). Évaluer signifie ainsi identifier les informations qui manquent.Évaluer revient à identifier les informations qui manquent pour pouvoir effectuer la tâche (ou cibles), elle comporte:

a) La construction d'une représentation de but: identification des informations requises par la tâche. Es: "date de telle invasion?"

b) La comparaison des informations immédiatement disponibles (dans l'env. perceptif ou par recherche en mémoire) avec représentation du but. Déterminer s'il faut ou non enga-ger la recherche dans l'environnement.

c) La production des critères qui "guident" la recherche proprement dite. Déclaratifs ou Procéduraux: procédure à suivre pour opérer la sélection des catégories d'informations (connaissance interface, temps disponible, niveau d'exigence de la tâche)

d) la construction d'une représentation de but: identification des informations requises par la tâche.(Date de l'invasion)

e) la comparaison des infos immédiatement disponibles avec la représentation du butf) la production des critères qui guident la recherche proprement dite: Critères déclaratifs (re-

présentation en terme de buts) et procéduraux (qui caractérisent la procédure à suivre pour opérer la sélection des catégories d'informations- représentation en terme de moyens)

Le chercheur d'information doit maintenir simultanément 1. le but initial 2. les critères de recherche 3. l'information acquise au cours des précédents cycles-->telle surcharge cognitive peut porter à désactiver la représentation du but.Le regroupement des textes et des menus engendrent des problèmes chez les novices (ROU 90) et peut être un élément facilitateur chez les expertes

3.1.1 Facteurs influençant le processus d'évaluationLe processus d'évaluation se prolonge au-delà de la phase initiale de la RI. Il intervient également durant les phases de sélection et de traitement des informations. a la fin de chaque cycle sélection-traitement le sujet doit évaluer en quoi l'information acquise au cours du cycle correspond à la re-présentation initiale de but.En gros 3 cas de figures sont possibles:

a) l'information trouvée correspond exactement au but visé, ainsi la recherche peut s'arrêterb) l'information trouvée ne correspond que partiellement au but visé, alors un nouveau

cycle de recherche doit commencer à partir de l'écart entre état actuel et but visé.c) l'information trouvée ne correspond pas du tout au but visé, alors un nouveau cycle de

recherche doit commencer à partir d'une réévaluation de la tâche

(pour forme linguistique V1 *** pour analyser les résultats)Le processus d'évaluation diffère selon que la représentation de la tache s'exprime plutôt en termes de but (le sujet se représente le contenu de ce qu'il cherche selon des critères déclaratifs) ou en


terme de moyens (le sujet se représente comment il doit conduire sa recherche selon des critères procéduraux).En effet une représentation axée sur le but (i.e sur le contenu) va pouvoir conduire à un jugement fin sur la pertinence du contenu sélectionné sans forcement être capable d'anticiper à long temre sur la pertinence d'une stratégie.A l'inverse une représentation axée sur le moyens (i.e. sur la procédure utilisée) va permettre d'anti-ciper à long terme sur la pertinence d'une stratégie sans forcement être capable d'un jugement fin sur le contenu.*** Ce type de représentation ( en termes de but-contenu ou en terme de moyen procédure) dépend généralement du degré d'expertise du sujet dans le domaine traité (pour ce qui concerne le but) et dans l'utilisation de ce type d'information (pour ce qui concerne les moyens)(GRAY 90 ) il a montré qu'une représentation peu élaborée en terme de moyens peut entraîner un phénomène "de poursuite sur la même route" très inefficace et très coûteuse.

3.1.2. Sélection des catégories d'informationQuel que soit l'environnement considéré l'accès à l'information requiert une opération de sélection.Dans une bibliothèque classique: le lecteur sélectionne un ou plusieurs ouvrage à partir des cata-logues ou directement sur le rayons; dans bc. d'ouvrages la lecture est sélective et elle passe par l'utilisation d'outils que table de matières ou index.Dans le systèmes d'information électroniques la sélection des informations souhaites se fait plus souvent par l'intermédiaire de liste d'items ou menus. menus explicites s'ils sont présentés séparé-ment et enchâssés s'ils sont intégrés à un texte.

La sélection peut donc être défini comme: la décision d'examiner une catégorie d'informations par opposition à toutes les autres catégorisés disponibles. Ce processus prend comme entrée l'en-semble de critères déclaratifs et procéduraux issus du processus d'évaluation. sélectionner revient alors à calculer une valeur d'intérêt pour chaque catégorie d'informations (exhaustif-->examiner toutes les catégories, auto-terminatif--->décision prise si une catégorie dépasse une certaine va-leur- seuil d'intérêt).Dans tous les cas le processus de SEL est complexe car il requiert l'activation de 3 types de repré-sentation mentales: 1 la représentation de buts, 2 la représentation des catégories précédemment visitées, 3 la représentation des catégories disponibles à un instant t.

Facteurs influençant le processus de SELOrganisation sémantique: Giroux, Bergeron et Lamarche GIR 87: montrent que les temps de sélection moyen est plus court lorsque le menu est organisé de façon sémantique ( à part le tâches à catégorisation multiple).

Profondeur de l'arbre de choix: nombre de menus à franchir avant d'atteindre la catégorie souhai-tée. La profondeur est facteur d'erreur et lenteur.Ainsi quand les utilisateurs ont le choix entre passer d'u nœud à l'autre par des lignes directes (ou menu enchâssés); souvent ils repassent par la table de matières ( en baissant pourtant le coût cog-nitif)

Les traitement des unités d'informationsDéfinition: l'ensemble des processus qui se déroulent lorsque l'utilisateur examine une unité de contenu ou "page" du système d'informations. Le participant il cherche à extraire certains éléments pour résoudre son problème.

Ce filtrage: on peut supposer de micro cycle de traitement, l'util. élabore une représentation locale du passage traité, puis il évalue en quoi ce passage contribue à son but (données trouvées, ré-ponses trouvées, prochaines étapes).


3.3. Facteurs influençant le traitement: Problèmes 1. Les informations rencontrées peuvent contaminer la représentation de but même si elles ne sont pas directement pertinentes, et même se substituer à la représentation de but initiale.Problèmes 2. Caractère fragmenté, décontextualisé de l'information présentée dans un hypertexte.Facilitant: maintien d'un représentation de but - traceur - arbre dynamique - enregistrement du par-cours (mémoire externe) - techniques d'annotation, qui renvoient automatiquement à l'unité de dé-part. Voir ici: FIGURE 1

3.4 Gestion cognitive de la recherche d'informationLe modèle cyclique de la RI dont les trois processus élémentaires sont l'évaluation, la sélection et le traitement. Ce modèle comporte également un second niveau que nous appelons "gestion cognitive " de la RI.Trois mécanisme de gestion sont définis: la planification, le contrôle, la négociation.Ce modèle hypothétique explique certains résultats empiriques concernant l'utilisation de systèmes hypertextes. Ainsi les problèmes classiques de surcharge cognitive et de désorientation peuvent x'expliquer lar la nécessité de maintenir actives en mémoire des représentations du but poursuivi, des informations déjà traités, des options disponibles et de l'information perçue à l'instant t:.Par ailleurs, le fait que la stratégies de recherche repose sur une connaissance de l'environnement explique pourquoi la plupart du temps, les systèmes proposant un nouveau format et/ou de nou-veaux outils d'accès é l'information donnent de moins bons résultats - à contenu informatif constant - que des systèmes classiques objectivement moins performant (pour ça on s'oriente vers Word 97)

3 méta-processus: 1. décider du moment, de la séquence, et des conditions= Planificationmise en ouvre de plan lors de la réalisation de la tâche - connaissance du domaine +connaissance de l'environnement de recherche2. vérifier leur résultats = Contrôle estimer qu'aucune des options proposées n'est intéressante

et décider de revenir en arrière dans l'arbre de choix. Glenberg GLE 82 montre que les utilisa-teurs tendent généralement à surestimer leur performance (illusion of knowing), et ont du mal à contrôler la cohérence globale ou à remettre à jour leur représentation quand des nouvelles in-formations sont présentées.

3. et entreprendre les actions requises en cas de problème=Régulation modifier le décours de l'activité afin d'améliorer le résultat.

3.5 DiscussionL'étude des processus de RI à été jusqu'ici dominée par une approche formelle, qui privilégie la dé-finition de méthodes optimales à l'étude des méthodes naturelles employées par les utilisateurs.L'approche psychologique tient compte des caractéristiques du système cognitif humain et notam-ment de la capacité de traitement limité de la MDT.

Tout système d'informations se doit d'abord d'assister l'utilisateurs dans chacune des phases de la recherche: 1) évaluation de ressources disponibles pour élaborer un plan de recherche (pour le concepteur

donc exploiter les techniques de visualisation globale du contenu)2) Faciliter la sélection (catégorisation qui soit intelligible pour l'utilisateurs) et qui réalise un com-

promis entre longueur et profondeur des niveau de choix + contenu explicite pas d'iconographie obscure)


3) Faciliter le traitement du contenu. respecter tous les paramètre de lisibilité d'ergonomie (Caro et Bétrancourt): les pages du système comportent des organisateurs typo-dispositionnels offertes interprétables par les utilisateurs et pas de pages séduisantes mais rapidement illisibles)

Terminer la dernière page

5 Un point sur la modélisation des tâches de recherche d'informations dans le domaine des hypermédias

définition de tâche

Description de tâches de recherche d'informations dans le domaine des hypermédias

La tâche de RI n'est pas un but en soi, mais un moyen de réaliser une autre tâche, comme l'appren-tissage par exploration d'une notion, la conception d'un document, la résolution d'un problème, la constitution d'une documentation. Ce statut de tâche secondaire pourrait gêner l'élaboration d'une tâche spécifique.voir Nanard Nanard 93

Formalisme MAD pour la description de tâches

L'analyse d'hoc ça peux nous aider dans le passage entre le recherche en Psy Cognitive et sur la RI et la pratique du travail en situation dynamique ou à l'intérieur de flux de travail assez rapidement qui forcements ont une influence sur le utilisateurs soit dans l'exécution de leurs tâche que dans leurs recherches dans le système d'aides. ça m'aide dans la mise en place d'une expédier qui asso-cie c certains méthodes de la psy cognitive et de l'analyse du travail.

6. Vérification de la pertinence la validité de techniques employées

Objectifs généraux et méthodes: on simule une vraie tâche (tâche réaliste) et sous pression tem-porelle, sur le lieu de travail. Identifier les modèles et les catégories pour la verbalisation et les opé-rationnaliser pour l'analyse de données.

Supervision et contrôle de processus -

La cognition en situation dynamique J.M. HOC

Analyse de la tâche vs analyse de l'activité (ou tâche effective= la représentation d'un but et de ses conditions d'obtention par l'opérateur)

L'autoconfrontation amène l'opérateur à verbaliser ce qu'il se souvient de ce qui lui a traversé l'es-prit au cours de l'exécution de la tâche.

Pour une meilleure observation il convient d'échantillonner les conditions d'observation dont on de-vra traiter la représentativité: ex. opérateurs avec expérience variée/ des conditions de réalisation des tâches.

L'entretien et le questionnaire. entretien au cours du déroulement de l'activité


entretien non directif vs très directif et systématique (à partir des grilles préconçues visant à dé-finir le comment et le pourquoi de chaque action)

questionnaire = entretiens très dirigés

Observationen situation réelle ou simulée avec validité écologiques avec une prédominance de comportements spontanés.Comment: prise de note/ critères de choix selon la densité et la précision des recueilsa) faisabilité (moyens disponibles) b) les objectifs de la rechercheChercher d'éviter l'explosion des enregistrements!Verbalisation spontanée vs provoquéeanticipée = avant l'exécution de l'activitéautoconfrontation = devant la reproduction de la traceconsécutive = après

Régulation par le connaissances (KB)

Ochanine (1978)image cognitive ---> conn. générales livresques ou académiquesimage opérative---->conn. opérationnelles assez directement exploitables dans l'activité de travail

Echelle double de Rasmussen p 115-117 Schéma p 116

Modèle de résolution de problème en situation dynamique HOC AMALBERTI 1995 p.127

Cause de faute:les ratés (de l'action) - inattention - fondé sur les automatismesles lapsus ( de la mémoire) - fondé sur les automatismes60% dans les recherches expérimentales

les fautes fondées sur les règlesa) application de la règle générale à une exception (similarity matching REASON 93)b) application d'une règle fréquente à une situation rare, où elle n'est pas valide (frequency gam-bling)

La stratégies de détection des erreurs- par rétroaction diffuse au cours du déroulement de l'action- par rétroaction précise (++exepertise)- par rétroaction à partir du résultat


CITATIONS et EXPLICATIONS TERMINER

2.8. Modèles de l'activité de RIpeu étudiée5 stratégies de Canter/Rivers/Storrs 1985:6. scanning: couvrir en largeur sans profondeur7. browsing: suivre un chemin jusqu'à ce que le but soit atteint8. searching: s'efforcer de trouver un but explicite9. exploring: se rendre compte de l'étendue de l'information donnée10. wandering: ballade sans intention

Rouet 92 il reprend le modèle de GutrieSchéma p 33

Les modèles de la tâcheSi l'on sait à peu près dans quelles situations les hypermédias peuvent être utilises (buts flous, pas de langage d'utilisation, accès te contextes différents pour une même connaissance), on ne sait par décrire les tâches pour lesquelles un hypermédias est adéquat.Une telle description permettrait de déterminer des variables dépendantes pour des expérimenta-tion, de décrire des stratégies de navigation et des environnements particulièrement adéquats à tel type de tâche.WRIGHT 90 a ébauché à une telle description. Elle distingue: la recherche d'une cible simple et totalement connue la recherche d'une cible simple et partiellement connue la recherche d'une cible complexe et totalement connue la recherche progressive d'un cible à partir des retours à l'ordinateur la recherche d'une cible simple et mais non spécifiable pour un ordinateur la recherche d'une cible où l'on ne peut pas définir une fin de la recherche d'information


MR Partie à contrôler:

5 Questions de recherche.En admettant que les aides en ligne ne soient pas toujours ergonomiques, même si des aides comme Word 2000 atteignent un haut niveau de sophistication technique, et qu'ils ne soient trop uti-lisés, on suppose qu'une grosse partie des problématiques d'utilisation des aides soit liée au fait que ces systèmes ne facilitent pas les passage de l'exécution de la tâche à la planification d'un ob-jectif de recherche et ensuite à la recherche et en effet ils ne sont pas conçu avec ce but.

Le fait que ce passage a lieu très souvent pendant la résolution d'une situation problème (et au tra-vail sous pression temporelle), et que cette situation est prioritaire pour l'utilisateur qui n'est pas vraiment intéressé à apprendre les nouvelles fonctionnalités du programme, complique ultérieure-ment l'activité de planification de la recherche d'information dans l'aide. On va donc étudier com-ment un utilisateur devant un problème à l'écran planifie ses objectifs et ensuite, grâce à une verba-lisation dirigée, si sa formulation de la recherche dans l'aide est pertinente.


5.1. Hypothèse (1) [ correspond plus précisément à une situation concrète facile à envisager/ cette hypothèse doit être opérationnelle, donc elles se réfèrent aux opérations concrètes à mettre en place pour voir apparaître les événement auxquels on s'intéresse et qu'on veut mesurer / l'énon-cé d'une hypothèse ne peut être tout a fait opérationnel que lorsque les variables sur lesquelles il porte ont été clairement identifiées Michele Robert 1988 p. 71 ]

Pendant l'exécution d'une tâche de transcription à l'ordinateur, si l'utilisateur ne connaît pas la fonc-tionnalité requise pour transcrire une cible donnée, il ne pourra pas exécuter la tâche, de plus il aura des difficultés à planifier ses objectifs et définir les critères de sa recherche.Le participant passe de l'exécution, à la planification et à la recherche pour toutes les cibles avec difficulté. La difficulté est accrue pour les cibles "complexes" (grille), pour lesquelles la planification est évidemment plus longue et la verbalisation pas immédiate ou incertaine.

Si l'élément à transcrire ou à reproduire contient un indice verbalisable, (oui une lettre grecque ou delta comme la voiture), le passage de la planification à la recherche à travers une verbalisation di-rigée est simplifié, car tel indice peux être utilisé à plusieurs niveaux (planification, verbalisation, re-cherche). Par contre l'absence d'un tel indice complique le passage de la planification à la re-cherche et donc l'exécution de la tâche.

5.2. Hypothèse (2)Le facteur nombre de clicks n'affecte pas la difficulté de la tâche. Influence VD 1 et 3 et non pas 2 et 4.

6. opérationnalisation des concepts

Définition cible simple et complexe à travers pré-test (explicite), définition de page cible

Hypothèse opérationnelles VI * VD: Variable indépendantes - Type de cible VI (modalité VIa item simple/ VIb item complexe) Variable dépendante – VD1 TC temps pour recherche page cible dans l'aide - VD2 échec/réussite recherche page cible – VD3 nombre de nœuds ouverts pendant la recherche d'une cible – VD4 cycle de recherche pendant la recherche de la même page cible. 1 et 3 variables de performance

Hypothèses opérationnelles IO1 / IO2 /IO3/ IO4:Unique: la complexité de la tâche affecte la performance à la tâche, dans les cibles simples im-plique meilleures performances.

IO 1 - VI*VD1 Si la cible est considérée simple le temps pour la recherche de la page cible sera plus court.IO 2 - VI*VD2 Si les cibles sont considérées simples le taux de réussite dans la recherche de la page cible sera plus haut. IO 3 - VI*VD3 Pour le cibles simples on ouvre moins de nœuds.IO 4- VI- VD4 Si la cible est simple il aura moins de cycles de recherche pendant la recherche de la même page cible.


Chapitre 2 - recherche expérimentale2.1 Méthode

2.1.1 Participants:

Le 10 participants sont de collaborateurs d'une entreprise Genevoise. 5 hommes et 5 femmes, leur niveau informatique est à considérer comme assez élevé. Aucun d'entre eux s'occupe du dévelop-pement des programmes ne travaille ou a jamais travaillé sur des aides en ligne. Choisis d'une ma-nière aléatoire dans le liste de collaborateurs de l'entreprise, ils ont un âge moyen de [35.....ou ....].Chaque participant passe dans une passation individuelle la même condition expérimentale. L'expérimentateur est toujours présent pour assister à l'expérience et diriger les verbalisations.

2.1.2 Matériel: Feuille à transcrire: crée avec Word 97 imprimée couleurs et contenant un texte à transcrire avec 4 éléments critiques cibles 1-4. On a testé le cibles et on suppose qu'elles soient très probablement connues mais pas reproductibles avec des connaissances moyennes du programme. Les points cri-tiques sont mis en évidence en gras sur la feuille donnée aux participants. Cibles:la cible est définie avec précision à travers des sondage (10 participants). Cible simple: plusieurs dénominations de la cible existent. Ces dénominations sont connues par un groupe test d'utilisateurs (au moins deux), ainsi que plusieurs indices verbaux liés à la cible et qui peuvent aider à trouver les dénominations dans l'aide.Cible complexe: la dénomination est unique. La dénomination exacte est connue par une minorité des sujets ou ils connaissent un indice qui peux conduire à l'exacte dénomination dans l'aide. (Ces indices sont moindres que les indices des cibles simples.)

Page cible: il s'agit de la page de l'aide en ligne dans laquelle l'expérimentateur et, pendant le pré-test, les participants, trouvent les dénominations exactes des cibles et les informations pour trans-crire les cibles données.

Cibles C1, C2, C3 , C4C1 Si la page cible a été trouvée dans l'aide alors la tâche C1 est réaliséeC1.1 la vraie transcription de la cible dans le texte n'est pas prise en compte pendant notre expé-rience, car l'eexécution dépend d'autres facteurs: contenu de la page, motivation, capacité de lec-ture - variables pas analysées dans notre expérience

Pour neutraliser le nombre de click nécessaire à atteindre les pages cibles des cibles simples ou complexes dans l'aide, on a choisit de cibles simples avec le même nombre de niveaux dans la na-vigation dans l'aide que le cibles complexes dans l'ordre qui suit:1 simple C1 3 niveaux (2 book/1 topic) / une complexe C2 3 niveaux (2 book/1 topic), 1 simple C4 4 niveaux (2 book/1 topic + une fenêtre) / 1 complexe C3 4 niveaux (2 book/1 topic + une fenêtre)

Ordre de présentation des cibles : simple - complexe - complexe - simple Exemple:1) lettre grecque (simple - grecque connu) 2) indice (complexe - on connaît pas la vraie définition)


3) lettrine 4 10 centimètres (complexe) 4) Bordure au tour de la page (simple)

Cibles: (pour chaque cible définir les mots clés utiles, la démarche, la/les pages qui contiennent les informations nécessaire pour réaliser la tâche). Formalisme MAD (Tricot, Nanard 1999) But, Etat Initial, Préconditions, le Corps de la Tâche, Postcondition, Etat final Annexe exemple cible 1/2/3/4

Outils techniques: 1) RoboDemo Version 4.1: pour les enregistrements des activités des utilisateurs à l'écran/ et seule-ment dans l'aide en ligne.Programme RoboDemo 4.1, licence de Monsieur Romualdi, programme en général utilisé pour créer de la documentation sur les fonctionnalités de programmes informatique assez complexe.2) Word 97 avec aide ouvert en fenêtre réduite pour l'exécution de la tâche


2.1.3 Verbalisation V1 et V2 2.1.3.1 Verbalisation V1: On fait verbaliser les participants entre la planification et la recherche de la cible dans l'aide.But de cette verbalisation semi-dirigée est de déterminer ce qu'ils vont chercher dans l'aide et d'analyser la forme linguistique de leurs affirmations (groupe contrôle sans verbalisation).On veut comprendre ensuite si en effet ils vont chercher ce qu'ils disent ou pas, et si le type de for-mulation linguistique peut avoir une influence sur les résultats VD 1/2/3/4. Verbe/action (comme dans le langage naturel vs Nom/Statique plus utilisé pour la recherche ex. Google)Voir Annexe V1.

1) Est-ce que vous sauriez le faire sans l'aide?

2) Que est-ce vous allez chercher dans l'aide?

Points à faire verbaliser: Le problème dans la tâche - pour cible C1/C2/C3/C4... Qu'est ce que ils vont chercher dans l'aide... (et la forme de leurs affirmations)

2.1.3..2 Verbalisation V2:On fait verbaliser les participants après leur recherche (verbalisation dirigée).On veut comprendre si ils se rendent compte de leur type de navigation et du nombre de nœuds ou-verts et surtout de leurs difficultés dans la recherche.Voir Annexe V2.

On pose des questions sur la tâche globale: Comment vous avez trouvé la recherche? Expli-quez moi vos méthodes! Parlez moi des vos impressions et des vos émotions!

On va définir un type de verbalisation entre entretien non directif et très direcif/systématique à partir des grilles préconçues (en bas) visant à définir le comment et le pourquoi de chaque action.

2.1.4. Questionnaire Q1/Q2En détail dans procédure et annexes

2.1.4.1 Q1Un premier questionnaire Q1 nous permet de récolter des données sur l'âge, le sexe, le niveau in-formatique et la fonction dans l'entreprise, ainsi que leur niveau de connaissance des aide en ligne.Voir Annexe Q1.

2.1.4.2 Q2Un questionnaire d'évaluation subjectif de la tâche (pour chaque cible et pour sa recherche dans l'aide) termine l'expérience et permet sur la base d'une échelle de Lickert de 1 - 4 sur 12 centi-mètres de savoir s'ils jugeaient la cible très facile, facile, moyenne difficile très difficile et /ou ensuite la recherche correspondante.Q2a évaluation avant la recherche de la cible dans l'aideQ2b évaluation après la recherche de la cible dans l'aideVoir Annexes Q2a/b.

2.14.3 Q3Un questionnaire du genre Connaissiez vous les indices/dénomination des cibles?Voir Annexe Q3.


2.1.5 ObservationsSoit pendant l'expérience soit à travers le film RoboDemo enregistré par chaque utilisateur.But: analyser le chemin idéal et les stratégies de recherche sur la base de:

a)utilisation de la Navigation1. chemin2. anneaux3. boucles4. pointes5. degré d'exploration6. ....

b)stratégies de navigation11. scanning: couvrir en largeur sans profondeur12. browsing: suivre un chemin jusqu'à ce que le but soit atteint13. searching: s'efforcer de trouver un but explicite14. exploring: se rendre compte de l'étendue de l'information donnée15. wandering: ballade sans intention (Tâche donc complexe à l'exécution)recherche optimale avec les indices définis


2.2 Procédure: Les participants étaient installés individuellement devant l'ordinateur Word 97 et l'aide est déjà ou-vert. Q1: Un premier questionnaire Q1 nous permet de récolter des données sur l'âge, le sexe, le niveau informatique et la fonction dans l'entreprise, ainsi que leur niveau de connaissance des aide en ligne Likert 1-4 très utilisé - pas utilisé.On lit ensuite la consigne et on montre comme prévu les fonctionnalités de l'aide (Navigation, In-dex, recherche), la présentation est identique (RoboDemo).Session expérimentale 1 participant même condition ou VI en intrasujetDurée: 20/25 minutes.Le participant commence à transcrire, il s'arrête devant une cible et doit aller chercher la réponse- procédure dans l'aide, entre sa planification et la recherche le participant est interrogé: - on doit déterminer pour C1/C2/C3/C4 ce que il cherche et la forme de sa recherche- Pendant la recherche; les actions des utilisateurs sont aussi observés à l'aide d'une grille (style de recherche, le tout est enregistré,…)- les temps pour chaque recherche de cibles sont pris avec un chronomètre, RoboDemo pas fiable à 100%. Q2 enfin un questionnaire d'évaluation subjectif de la tâche (pour chaque cible et pour sa recherche dans l'aide) terminait l'expérience et permettait sur la base d'une échelle de Licket de 1 - 4 sur 12 centimètres de savoir s'ils jugeaient la cible très facile, facile, moyenne, difficile très difficile et /ou ensuite la recherche correspondante. Q2a avant recherche Q2b après recherche cibleV2 et Q3 avant de terminer

2.2.1 Consigne donnée aux participants: on fait une recherche sur l'utilisation des aides en ligne et des manuels d'aide pour le labo TECFA de l’UNIGE, le programme RoboDemo enregistre les données. Vous devez copier, sauf interruption de ma part, le document papier avec une police à votre choix dans une feuille Word 97.Toutes les fonctionnalités pour la transcription sont présentes dans le menu de la barre de naviga-tion. Je ne pourrai pas répondre à vos questions, mais toute réponse est contenue dans l'aide en ligne Word.Avant de transcrire chaque élément en gras, signalé par C1/C2/C3/C4 (pas à reproduire) et dans cet ordre, vous devez le trouver sur une page de l'aide. A chaque fois il s'agit d'une fonctionnalité unique et pas plusieurs, donc recherche unique.Vous avez un maximum de 5 minutes par élément ou cibleJe me permettrai de vous poser des questions pour mieux comprendre ce que vous faites et préve-nez moi avant de commencer à chercher dans l'aide et dites moi quand vous avez trouvé l'informa-tion cherchée. (On montre l'Aide navigation/index/recherche [conseillée] / et fonctionnalités de base).


2.3 Phase Pré-TestDans une phase de pré-test on a mis au point le matériel de l'expérience et aussi les grilles pour le verbalisation V1 V2 .

On a testé avec 5 sujets: 8 cibles pour définir ---> 2 cibles simples et 2 complexes la Verbalisation V1 - la Verbalisation V2 l'outil technique RoboDemo

Le pré-test se sont déroulés sans problèmes et ont permis de définir les cibles et d'affiner la consigne.


3 Analyse de résultats Selon les enregistrements/entretien et observation on codifie les réponses avec des grilles qualita-tives - quantitatives (minutes, taux d'échec/ temps en fonction de la complexité)

Interprétation des données (voir 1.0--->2.0) : conclusions préliminaires: ces résultats montrent que....

Quantitatif Temps- Participants temps pour chaque cible Quantitatif Participants - Échec Quantitatif rapport cibles simples vs complexes par participant Quantitatif rapport cibles simples vs complexes total Qualitatif - Résultats verbalisation entre planification -recherche Qualitatif - Résultats verbalisation pendant recherche Qualitatif pour catégoriser rapport entre cible et difficulté de recherche Qualitatif: grille de recherche 2.1 recherche dans l'aide Qualitatif relation item simple complexe - recherche simple complexe Quantitatif : Rapport temps entre les 4 cibles

VD

Participant 01(Qualitatif V1 C.S./CC pour le participant)

(Qualitatif V2 pendant la recherche)

C1S C2C C3C

C4S

Temps TC 170 300 300 300TTT 1070

Èchec Réussite CE/CR CR CR CE CE (cible échec)

TE/TR TE

Navigation aideNNO 4 3 2 3

(Cycle de re-cherche)

2 3 2 2


Données Grille VD:Les temps de la cible 4 sont pire que la C1 et comme la moyenne de le cible complexe, effet de désorientation après recherche infructueuse.

Données Grille V1:on connaît ou pas et on va chercher.Liste pour catégoriser la verbalisation V1:I. Demande de "guidage" global. Quel est l'objet/commande ...permettant de...? II. Info procédurale précise. Comment faire pour ? III. Info successive Que puis-je faire ensuite? (il a réalisé la tâche en partie)IV. Info sémantique Pourquoi?V. Volonté d'exploration du logiciel Est-il possible de...? VI. Demande d'aide sur l'aideVII. (Explication d'un terme)???

Données Grille V2:Question ouverteListe pour catégoriser la verbalisation V2 et en spécifique le rapport entre type de cibles et type de recherche I. cible simple et totalement connue - recherche simple ou complexe. Ex. recherche com-

plexe on commence la recherche avec un autre terme ou le participant se trompe dans la saisie ou il ne suit pas la direction/démarche prédéfinie.

II. cible simple et partiellement connue - recherche complexe ou simple Ex. recherche com-plexe on commence la recherche avec un autre terme ou le participant se trompe dans la saisie ou il ne suit pas la direction/démarche prédéfinie.

III. cible complexe et totalement connue - recherche complexe ou simple Ex. recherche complexe on commence la recherche avec un autre terme ou le participant se trompe dans la saisie ou il ne suit pas la direction/démarche prédéfinie.

IV. cible complexe et partiellement connue - recherche complexe ou simple Ex. recherche complexe on commence la recherche avec un autre terme ou le participant se trompe dans la saisie ou il ne suit pas la direction/démarche prédéfinie.

V. cible complexe et pas connue (si recherche) - recherche complexe ou simple Ex. re-cherche simple on commence la recherche avec un bon indice ou le participant suit directe-ment la direction/démarche prédéfinie.

VI. la recherche progressive d'un cible à partir des retours à l'ordinateur- recherche com-plexe ou simple Ex. recherche complexe on commence la recherche avec un autre terme ou le participant se trompe dans la saisie ou il ne suit pas la direction/démarche prédéfinie.

Données Grille Q1:ÂGE BAC + Utilisation d'aide F 01 M 02

Données Grille Q3:On connaît la dénominations et les indices et on les a utilisés

Données Grille Analyse qualitative:sur 12 centimètre de très difficile à très facile


Plan factoriel:

Complexitésimple complexe

niveaux navig. 3 lettre delta - C1 indice - C2niveaux navig. 4 bordure - C4 lettrine - C3


Test Cibles:Pour chaque cibles définir: Page/ Pages cibles Parcours idéal Mots clés pour recherche positive Mots clés pour recherche pas positive Nombre de click pour arriver à page cible Définir cibles simples ou complexes

NOM Cible 1 SIMPLE - lettre grecque/delta - Navigation niveau 3ETAT INITIAL:symbole à reproduire dans Word 98

ETAT FINALsymbole reproduit/page trouvée

BUT:réel avec le menuouvrir et lire le nœud symbole, grec, lettre, caractères spéciaux/.. arriver à la page définie par ..... pour avoir la solution

PRÈCONDITION:comprendre qu'il s'agit d'un symbole on d'une lettre en grec

Mot clés:lettre (Lettre) (dénomination)symbole/s (dénomination)grec/sgreekcaractèrespéciaux

Actions:[insertion (Insertion)][appliquer]

DONNEES UTILISEES:contenus d'écrans (2 nœuds pertinents) barre d'outilOUTILS UTILISES:aide, menu, rienSTRUCTURE DE LA TACHE: parallèleTACHE ELEMENTAIRE: TACHE COMPOSITE:

T1: ouvrir l'aideT2: chercher symbole ou lettreT 2.1: navigation:- BOOK Information de ref.- BOOK Type de champ et...- TOPIC Codes des champs car. spéciauxT 2.3: indexT 3 avoir les pages suivantes à dispositionT4: cliquer les pagesT5. identifier les mots clés sur la pageT6 : exécuter dans la barre de navigation


Annexe exemple cible 2NOM Cible 2 COMPLEXE - indice - Niveau 3ETAT INITIAL:symbole à reproduire dans Word 98

ETAT FINALsymbole reproduit/page cible dans l'aide trouvée

BUT:réel avec le menu

PRÈCONDITION:comprendre qu'il s'agit d'un symbole mathéma-tique ou il s'appelle indice et ou exposant

Mot clés:indice (Dénomination)exposant (faux mais efficace)policeattributformat

Actions:[application]

DONNEES UTILISEES:contenus d'écrans (2 nœuds pertinents) barre d'outilOUTILS UTILISES:aide, menu, rienSTRUCTURE DE LA TACHE: parallèleTACHE ELEMENTAIRE: TACHE COMPOSITE:

T1: ouvrir l'aideT2: chercher symbole, indice ou exposantT3 Navigation:- BOOK Mise en forme- BOOK Mise en forme de car.- TOPIC Application...


Annexe exemple cible 3 NOM Cible 3 Complexe Lettrine - Navigation niveau 4ETAT INITIAL:symbole à reproduire dans Word 98

ETAT FINALtableau CLASSIQUE 2 dans le texte comme sur la feuille

BUT:réel avec le menu- Ouvrir le menu Insertion - cliquer Lettrine- définir le type de lettrinePRÈCONDITION:connaître la définition grandes initiales ou lettrine

Mot clés:lettrine (dénomination)grandes initialesformat

Action:[Création]

DONNEES UTILISEES:contenus d'écrans (2 nœuds pertinents), barre d'outilOUTILS UTILISES:aide, menu, rienSTRUCTURE DE LA TACHE: parallèleTACHE ELEMENTAIRE: TACHE COMPOSITE:

T1: ouvrir l'aideT2: chercher tableauT 2.1: T 2.3: T 3 : Navigation- BOOK Mise en forme- BOOK Mise en forme de caractères- TOPIC création et suppression des grandes ini-tiales- FENETRE créer une lettrineT5. T6 :


Annexe exemple cible 4 NOM Cible 4 SIMPLE - Bordure de page - navigation niveau 4ETAT INITIAL:symbole à reproduire dans Word 98

ETAT FINALHeure pieds page à la fin de la tâche/ page cible dans l'aide

BUT:réel avec le menuouvrir le menu tableau sans être dans un tableau - cliquer insérer tableau- cliquer Format auto

PRÈCONDITION:connaître le tableau automatique dans WORD

Mot clés:bordure (dénomination)contour (dénomination)cadre (dénomination)pagetrameformatfondcôtédocument

Actions:[appliquer][ajouter]

DONNEES UTILISES:contenus d'écrans (2 nœuds pertinents), barre d'outilOUTILS UTILISES:aide, menu, rienSTRUCTURE DE LA TACHE: parallèleTACHE ELEMENTAIRE: TACHE COMPOSITE:

T1: ouvrir l'aideT2: chercher tableauT 2.1: T 2.3: T 3 : Navigation- BOOK Mise en forme- BOOK Ajout de bordure- TOPIC Bordure et trames- FENETRE placer les bordures au tour de pageT5. T6 :


Tableau mésurations des variables:

Instruments de me-sure

Questionnaire Techniques d'obser-vation

RoboDemo

Méthodes d'acquisi-tion des connais-sancesQualitatif - Q1 Niveau informa-

tique (pas dévelop-pement)

- Q2a Difficulté cible avant la recherche (Likert)

- Q2b Difficulté tâche après recherche (Li-kert)

- Q3 conn. dénomi-nation / indices

- Verbalisation V1 Ce qu'on va cher-cher dans l'aide pour chaque cible

- (V1) définition sub-jective de la cible (facile et difficile)

- Verbalisation V2 pendant la re-cherche dans l'aide pour chaque cible

- V2 ordre dans la re-cherche pour cible (subjectif)

- V2 stratégies de re-cherche (type de participants)

Expérimentale - VD1 Temps cible- VD2 Èchec/réussite

page Cible- VD3 Nœuds ouvert

pour cible- VD4 cycles de re-

cherche


Annexe 1. Questionnaire 1 Profils Utilisateurs

Le profil utilisateur :

Age :

Sexe :

CSP (profession)

Niveau d’étude :

Origine géographique :

Familiarité avec Internet (hypertexte):

Utilisation d'aides en ligne:

1 jamais util. 2 assez rarement util 3 assez souvent util. 4 souvent util .

Aides en ligne utilisés et évaluation des mêmes::


Annexe 2. Grille d’observations Globale et V1 pour analyse données

Parcours attendus :

Cible 1 : aller chercher C1 delta

Cible 2 : aller chercher C2 indice.

Cible 3 : aller chercher C3 lettrine

Cible 4 : aller chercher C4 bordure

*Ce que nous appelons action parallèle correspond à une action qui n’est pas une erreur mais qui ralentit l’atteinte de l’objectif (lire sur la page des informations qui ne concernent le but ex: bordure de paragraphe à la place de page).*Nous avons défini l’erreur comme tout clic qui écartera le sujet de son objectif avec obliga-tion de retour, ce qui diffère de l’action parallèle qui rallonge la durée d’atteint de l’objectif mais qui ne constitue pas réellement une erreur


Modèle enregistrement données RoboDemo:

V1 + C1: cycle 1 (pour chaque cycle ou tous ensemble???)

a)V1 Oral:mot clés cités pas utilisés pour rech.

b) V1 Oral:mot clés cités utilisés pour rech.

c) Parcours idéal:(dénomination-in-dices)

d)Action paral-lèle:(plus long)

e)Erreur

Est-ce que vous sauriez le faire sans l'aide?

Que est-ce vous allez chercher dans l'aide?

lettre (Lettre) symbole/s -grec/sgreekcaractèrespéciaux

Actions:[insertion (Inser-tion)][appliquer]

T1 TAP 1 ou TE 1

T2 TAP 2 ou TE 2

T 3.1 (même fe-nêtre)

+++-

T 3.2 (même fe-nêtre)


C4 / Participant Jour:

a)V1 Oral:mot clés cités pas utilisés pour rech.

b) V1 Oral:mot clés cités utilisés pour rech.

c) Parcours idéal:(dénomination-in-dices)

d)Action paral-lèle:(plus long)

e)Erreur

Est-ce que vous sauriez le faire sans l'aide?

Que est-ce vous allez chercher dans l'aide?

lettre (Lettre) symbole/s -grec/sgreekcaractèrespéciaux

Actions:[insertion (Inser-tion)][appliquer]

T1TAP 1 ou TE 1

T2TAP 2 ou TE 2

T 3.1 (même fenêtre) +++-

T 3.2 (même fenêtre)


Annexe 3. Questionnaire 2 Q2a: Questionnaires subjectifs


Annexe 3. Questionnaire 2 Q2b: Questionnaires subjectifs


Annexe 3. Questionnaire 3 : Questionnaires subjectifs

Cible 1: Connaissiez vous la dénomination lettre, symbole/s?

L'aviez vous déjà utilisé pendant vos activités professionnelles?

Connaissiez vous les indices grec/s, greek, caractère, spéciaux?

Les aviez vous déjà utilisés pendant vos activités professionnelles?

Cible 2: Connaissiez vous les dénominations Indice?


Connaissiez vous les indices exposant (faux mais efficace), police, attribut, format?


Cible 3: Connaissiez vous les dénominations lettrine ?


Connaissiez vous les indices grandes, initiales, format?


Cible 4: Connaissiez vous la dénomination bordure, contour, cadre?


Connaissiez vous les indices page, trame, format, fond, côté, document?



Verbalisation 2:On pose des questions sur l'activité globale: Comment vous avez trouvé la recherche? Expli-quez moi vos méthodes! Parlez moi des vos impressions et des vos émotions!

normal.dot - unigetecfaetu.unige.ch/staf/staf-h/miriano/staf26/s8seancen7mb_mrp… · web...

Documents