mémoire miriano romualdi staf 2004 de la planification à la recherche dans un système...

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

De la planification à la recherche dans un système d'aide. La RI pour des cibles simples et complexes à deux différents niveaux de navigation.

Miriano Romualdi STAF 2004

Miriano Romualdi Directrice du mémoire Mme Mireille Betrancourt

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


Q1 /

Tâche de transcription/ConsigneIntroduction Help on L ine

Q3/V2

C1

C2

C3

C4

1 compréhesion

2 planification

V1/Q2a

3 recherchenoeuds

pl. cycles de recherche

4 page cible trouvée oupas

5 retour à la tâche detranscription

Q 2b

pour C1/C2/C3/C4

Fin

Loop

Début

Retourtranscrip.

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

Questions de recherche.

Même si les systèmes d’aide comme celui de Word 2000 atteignent un niveau technique très sophistiqué, ils ne sont pas toujours ergonomiques, et en général ne sont pas souvent consultés. On suppose que la majeure partie des problématiques d’utilisation des aides soit liée au fait que ces systèmes ne facilitent pas le passage de l'exécution de la tâche à la planification d'un objectif de recherche et ensuite à la recherche. En effet les difficultés liées à ces processus cognitifs ne sont pas prises en compte explicitement par les développeurs.Vu que ce passage a lieu très souvent pendant la résolution d'une situation problème (au travail sous pression temporelle), et que cette situation est prioritaire pour l'utilisateur qui n'est pas vraiment intéressé à apprendre les nouvelles fonctionnalités du programme, cela complique ultérieurement l'activité de planification de la recherche d'information dans l'aide. On va donc étudier comment un utilisateur devant un problème à l'écran planifie ses objectifs et ensuite, grâce à une verbalisation dirigée, on va analyser sa formulation de la recherche dans l'aide et si elle est pertinente.


M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


Hypothèse 1Pendant l’exécution d’une tâche de transcription à l’ordinateur, sous contrainte temporelle, si l’utilisateur ne connaît pas la fonctionnalité requise pour transcrire une cible donnée et on lui demande d’interrompre la transcription et de rechercher cette fonctionnalité dans l’aide : - il aura des difficultés à planifier ses objectifs (évaluation du problème, sélection d’une stratégie)- il aura des difficultés dans la définition des critères de sa recherche (traitement)- il aura de difficultés à trouver la page cible (voir définition). Le participant passe de l'exécution, à la planification et à la recherche pour toutes les cibles avec difficulté. En particulier la difficulté sera accrue pour les cibles dites "complexes" (leur dénomination est unique et elles ont moins d’indices verbaux pour la recherche, (voir définition). Pour ces cibles complexes la planification sera évidemment plus longue et la verbalisation pas immédiate ou incertaine.Si le participant connaît un indice verbalisable de l’élément à transcrire ou à reproduire, (Ex: « oui une lettre grecque, ou delta comme la voiture »), le passage de la planification à la recherche à travers une verbalisation dirigée est simplifié, car tel indice peut être utilisé à plusieurs niveaux (planification, verbalisation, recherche).

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


Hypothèse 2Le facteur nombre de clicks (voir définition) pour atteindre une cible à travers le parcours optimal n'affecte pas la difficulté de la tâche de recherche. Le nombre de click influencera la variable temps (VD1) et le nombre de nœuds ouverts par cible (VD3), et non pas le nombre d’échec/réussite par page Cible (VD 2) et le cycles de recherche (VD 4). La recherche d’une page-cible (sans distinction entre simple et complexe) qui se trouve à un niveau de navigation plus bas ou dans un hypertexte avec un parcours idéal plus long ne sera pas différente de celle d’une cible qui se trouve à un niveau de navigation plus élevé ou dans un hypertexte avec un parcours idéal plus court.

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

Variables indépendantes :2 VI par rapport au type de cible:- 1 : modalité cible/item simple vs cible/item complexe- 2. modalité cible/item à 3 niveau vs cible/item à 4 niveau.

Variables dépendantes : - VD1 temps pour recherche page cible dans l'aide (variable de performance) - VD2 échec/réussite recherche page cible - VD3 nombre de nœuds ouverts pendant la recherche d'une cible (variable de performance)- VD4 cycle de recherche pendant la recherche de la même page cible.


M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

L’Ordre de présentation des cibles sera le suivant: simple - complexe - complexe - simple Dénominations exactes de cibles:-C1 symbole/lettre grecque (simple) (3 niveaux)-C2 indice (complexe) (3 niveaux)-C3 lettrine (complexe) (4 niveaux)-C4 Bordure/ contour/ cadre (simple) (4 niveaux)


M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

Procédure:

Les participants étaient installés individuellement devant l'ordinateur Word 97 et l'aide est déjà ouvert. Q1: Un premier questionnaire Q1 nous permet de récolter des données sur l'âge, le sexe, le niveau informatique et la fonction dans l'entreprise, ainsi que leur niveau de connaissance des aide en ligne Likert 1-4 très utilisé - pas utilisé.On lit ensuite la consigne et on montre comme prévu les fonctionnalités de l'aide (Navigation, Index, recherche), la présentation est identique. On lance RoboDemo, qui enregistre les activité dans le système d’aide.Session expérimentale 1 participant même condition ou VI en intrasujetDurée prévu sur la base des pré-tests: 20/25 minutes.Le participant commence à transcrire, il s'arrête devant une cible et doit aller chercher la réponse- procédure dans l'aide, entre sa planification et la recherche le participant est interrogé V1: - on doit déterminer pour C1/C2/C3/C4 ce que il cherche et la forme de sa recherche- Pendant la recherche; les actions des utilisateurs sont aussi observés à l'aide d'une grille (style de recherche, le tout est enregistré,…)- les temps pour chaque recherche de cibles sont pris avec un chronomètre, RoboDemo pas fiable à 100%. Q2 enfin un questionnaire d'évaluation subjectif de la tâche (pour chaque cible et pour sa recherche dans l'aide) terminait l'expérience et permettait sur la base d'une échelle de Licket de 1 - 4 sur 12 centimètres de savoir s'ils jugeaient la cible très facile, facile, moyenne, difficile très difficile et /ou ensuite la recherche correspondante. Q2a avant recherche Q2b après recherche cibleV2 et Q3 avant de terminer


M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

Analyse Quantitative

Sur la base des enregistrements et des observations on codifie les performances avec des grilles quantitatives (temps, taux d'échec/réussite, nombre cycle de recherche et des nœuds ouverts) et sur la base des entretiens et des observations on analyse les résultats qualitatives (les réponses, le style de recherche, le type de recherche) pour établir éventuellement de corrélations avec les performances (VD). Les résultats quantitatifs ont été analysés avec les méthodes suivants: Comparer les moyennes T-Test pour données à intervalle (Paired –Samples T test) Wilcoxon pour les données ordinaux Mesure de l’association-correlation entre 2 variables : Pearson à intervalle/Sperman’s rho ordinal Modèle Anova pour les mesures répétées


M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

Analyse Quantitative Hypothèse 1

L’hypothèse est confirmée. Le cibles complexe C2, C3, qui ont une dénomination unique et moins d’indices verbaux par rapport aux cibles simples C1, C4 ont été trouvé en plus de temps, avec plus de cycles de recherche et avec l’ouverture de un nombre supérieur de nœuds dans le système d’aide. Les échecs dans la recherche des pages cible C2, C3 sont aussi supérieurs.


C1 S C2 C C3 C C4 S

Temps moyen 160 209 269 204

Cycle de recherche 2.3 3.5 3.5 3

Nœuds 6,6 10,9 12,6 8,2

Numéro d’échec 1 2 4 3

C1+C4 S C2+C3 C

Temps moyen 132 238,5

Cycle de recherche 2.65 3.5

Nœuds 7.4 11.75

Numéro d’échec 4 6

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

Hypothèse 2

L’hypothèse n’est pas confirmée. Le facteur nombre de clicks pour atteindre une cible à travers le parcours optimal affecte la difficulté de la tâche de recherche. Influence donc toutes les VD 1, VD 3, VD 2 et VD 4.La recherche d’une cible qui se trouve à un niveau de navigation plus bas ou dans un hypertexte avec un parcours idéal plus long est donc différente de celle d’une cible qui se trouve à un niveau de navigation plus élevé ou dans un hypertexte avec un parcours idéal plus court.Le cibles avec parcours idéal à 4 clicks C3, C4 ont été trouvé en plus de temps, avec plus de cycles de recherche et avec l’ouverture de un nombre supérieur de nœuds dans le système d’aide que le cibles à 3 clicks. Les échecs dans la recherche des pages cible C3, C4 sont aussi supérieurs.


M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


C1 S 3clicks

C2 C 3 cliks C3 C 4 clicks C4 S 4 clicks

Temps moyen 160 209 269 204

Cycle de recherche 2.3 3.5 3.5 3

Noeuds 6.6 10.9 12.6 8.2


C1+C2 S 3clicks

C3+C4 C 4clicks

Temps moyen 184.5 236

Cycle de recherche 2.9 3.25

Noeuds 8.75 10.4

Numéro d’échec 3 7

Résultats Hypothèse 2

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4

Qualitatif : Analyse données Q3 Le questionnaire nous a permis de connaître avec une verbalisation consécutive si les participants connaissaient la/les dénominations exactes et les indices pour chaque cible et s’ils les avaient déjà utilisés dans leurs activités professionnelles.La somme de réponses négatives est supérieure pour les cibles complexes, fait qui confirme la pertinence de notre pré-test pour définir les cibles complexes ou simples.Ce résultat d’analyse qualitative va donc soutenir notre hypothèse 1 et notre plan expérimental.Au même temps les cibles à 4 clicks C3 et C4 ont plus de réponses négatives des cibles à 3 clicks C1 et C2.


C1 S C2 C C3 C C4 S

Réponsesnégatives 2 13 30 4

Temps moyen 160 209 269 204


M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


Qualitatif : Analyse des données de questionnaire Q2a/2bOn analyse le rapport entre la différence dans la perception de la difficulté de la cible avant et après la recherche et le taux d’échec et la performance.

Les sujets qui changent le plus fortement d’évaluation, différence entre Q2b-Q2a, ont des performances inférieures par rapport à la moyenne : plus de temps, plus d’échecs, plus de cycles de recherche et plus de nœuds ouverts. Ces participants en ayants probablement aussi très peu d’expérience dans l’utilisation des systèmes d’aide ne sont pas capable d’évaluer la difficulté d’une recherche à l’avance. (ex. excel)

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


Qualitatif : Analyse des données de VerbalisationV1

Le fait que le participant répond positivement à la première question (« est-ce que vous sauriez le faire sans l’aide »), environ 50% de cas, compris le réponses « en cherchant », n’a pas d’influence positive sur les performances de RI (pas de corrélation positive entre la réponse et les performances). Une minorité cherche en suivant le parcours proposé dans le menu de WORD et donc en utilisant de « demande de guidage global » (voir grille) par exemple barre de navigation « Format/caractères spéciaux/… ». (esempi excel)

Donc ou les participants ne se souviennent pas de ce parcours. Ils utilisent peut-être les icônes pour travailler et ils les mémorisent avec des termes différents (ou pas verbalement) ; ou ils mémorisent évidemment des infos procédurales, qu’ils n’utilisent pas dans la « recherche ». En tout cas le problème reste et il faudrait l’affronter avec une amélioration de la terminologie dans ces systèmes.

Quand le sujet formule verbalement sa recherche dans plus de 80% de cas utilise un nom (Info statique) et pas une action (info dynamique voir grille type de recherche), mais au même temps plusieurs participants dans la V2 se plaignent du fait que ils ne trouvent pas une structure d’accès au informations procédurale. Personne utilise des « info sémantique ». Evidemment à partir du deuxième cycle de recherche pour la même cible ils passent au type « Info successives », pour approfondir la recherche…

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


Qualitatif : Analyse des données de VerbalisationV2Considération sur la base de V2 : Sur la base de mots clés et des phrases qu’on a mis en évidence on a l’impression que les participants n’utilisent pas trop les systèmes d’aides (opinion confirmé par les réponses au Q1).

Ils l’utilisent pour la recherche des éléments/fonctionnalités très techniques comme dans Excel ou dans des programmes d’assurance, dont ils connaissent les dénominations précises.

L’index n’est pas du tout utilisé et même pendant l’expérience, très peu de pages cible ont été trouvés à travers l’Index ou le menu ; certains participants affirment qu’ils utilisent l’Index juste pour savoir comment commencer la recherche avant de passer dans le champ « recherche »

Souvent ils parlent de désorientation et de se perdre, fait qui pourrait confirmer un effet de désorientation pour la C4; de plus cette surcharge cognitive, voir Rouet, peut porter à désactiver la représentation du but et donc à l’échec, voir type de stratégies.

Pour ce qui concerne les stratégies de recherche de participants (sur la base de V2 et des films RoboDemo, en général, entre les catégories a) et b) les participants montrent dans la majorité des cas « une correspondance avec V1 » dans leur type de recherche, même si un 20% des sujets change sa propre formulation et rentre ainsi dans la catégorie « non correspondance avec V1 », ils utilisent dans ce cas souvent un terme proche « encadrement » à la place de « cadre »…

.

M

émo

ire

Mir

ian

o R

om

ual

di

ST

AF

200

4


ConclusionLes participants affirment avoir une connaissance moyenne 2,6 sur 5 des systèmes d’aides, mais si on enlève les connaissances des programmes très techniques Excel ou programmes d’assurances, ces connaissances seraient beaucoup moins élevées. Par contre il faut dire que notre échantillon a des très bonnes connaissance de l’informatique et d’Internet (considéré comme système Hyper textuel), on peut donc supposer que le grand public, dans la même situation dynamique, aurait des performances plus basses que nos participants.

Les résultats de cette expérience confirment les recherches et les études empiriques dans le domaine et montrent la nécessité de revoir la conception et le développement des systèmes d’aides. Il est indispensable de les l’améliorer sur tout par rapport à la RI et à leur utilisation dans de situations dynamiques » pendant le travail.

mémoire miriano romualdi staf 2004 de la planification à la recherche dans un système...

Documents