3 webeducation 24sep09-sol_tanguay

Partenariat entre la chaire de commerce électronique RBC Groupe Financier et

Services Québec / Ministère des services gouvernementaux

L'évaluation des meilleures pratiques Web au gouvernement du Québec

Sol Tanguay

Septembre 2009

2Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Sol Tanguay

1. Éducation

1. M.Sc. en commerce électronique (UdeM)

2. MBA en GTI (uLaval)

3. Candidat Ph.D. en marketing (HEC Montréal)

2. Expérience

1. Directeur des partenariats de la chaire RBC

2. Chargé de cours à HEC Montréal depuis 6 ans (marketing, TI et commerce électronique)

3. 15 ans dans le domaine du marketing et des TI

3

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Plan de la présentation

1. Objectif de la présentation2. Mandat du MSG3-Phase 1: Évaluation quantitative de 10 sites

– Objectifs du mandat– Méthodologie– WebPerform– Résultats

4-Phase 2: Évaluation qualitative de 4 sites– Objectifs du mandat– Méthodologie– Morae– Résultats – Recommandations générales

5-Exploration en profondeur d’une ou plusieurs fonctionnalités6-Conclusion

4

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Objectif de la présentation

• Présenter le mandat attribué par ServiceQuébec et le Ministère des ServicesGouvernementaux à la chaire decommerce électronique RBC groupefinancier.

5

2. OBJECTIF ET MANDAT

6

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Objectif général

• Développer des meilleurs pratiques relatives développement des sites Web gouvernementaux.

7

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Mandat du MSG

• Mandat échelonné sur 3 ans (2007-2010)

• Mandat en trois phases:

Phase 1: Évaluation quantitative de 10 sites du Gouvernement du Québec

Phase 2: Évaluation qualitative et quantitative de 4 sites du Gouvernement du Québec

Phase 3: Exploration en profondeur d’une ou plusieurs fonctionnalités

8

3-PHASE 1: ÉVALUATION QUANTITATIVE DE 10 SITES

9

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 1_Objectifs

• Évaluer l’efficacité de dix sites Web duGouvernement du Québec en terme de perceptionde la part d’usagers selon la méthodologiequantitative de la Chaire RBC (Webperform ™);

• Établir une base de comparaison (« benchmarking »)entre différents sites Web du Gouvernement duQuébec afin de préparer un travail qualitatif dans lebut d’identifier les « meilleures et moins bonnespratiques ».

10

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 1_Objectifs

• Les 10 sites gouvernementaux étudiés:1. Ministère de l'éducation2. Ministère de la justice3. Ministère de la famille et des aînées4. Ministère de l'emploi et de la solidarité sociale5. Portail gouvernemental de services6. Régie de l'assurance maladie du Québec7. Société de l'assurance automobile du Québec8. Revenu Québec9. Régie des rentes du Québec10. Ministère de l'Immigration et des Communautés

culturelles

11

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 1_Méthodologie

• Recrutement: – Partenariat avec Léger Marketing– Panel québécois NetTendances

• Échantillon:– N=1000– Au total, chaque site a été évalué par 200 personnes

• Méthodologie: – Sondage en ligne

– Collecte et analyse de données liées à une tâche sur 2 sites Web (trouver le numéro de téléphone)

– Questionnaire WebPerform

12

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

13

Phase 1_WebPerform

• Léger Marketing, en collaboration avec Jacques Nantel, Ph.D. etSylvain Sénécal Ph.D., titulaire de la chaire de commerceélectronique RBC Groupe Financier, HEC Montréal, proposeWebPerform, un outil diagnostic qui étudie les facteurs qui ont leplus d’impact sur la navigation des sites web. L’outil est constituédes 5 dimensions suivantes:1. Qualité de l’information2. Esthétisme3. Sécurité4. Interactivité5. Facilité d’utilisation

• Le WEBPERFORM permet de mesurer et de comparer votre site Web selon chacune de ces 5 dimensions ainsi que sur les 26 items qui les constituent.

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 1_WebPerform

• 5 dimensions spécifiques de WebPerform:1. Esthétique: Le site est beau, créatif, attirant, épuré,

simple et clair

2. Qualité de l’information: Informations complètes, pertinentes et précises

3. Utilisation: Le site est facile à utiliser et il est facile de trouver l’information

4. Interactivité: Présence de fonctions interactives et personnalisées

5. Sécurité: Respect de la vie privée et des informations personnelles

14

*Dimensions du WebPerform évaluées sur une échelle de 1 à 7

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 1_Résultats

• Résultats du WebPerform pour chaque site Web

15

SITEQualité de

l'informationUtilisation Esthétisme Sécurité Interactivité

Éducation

4,93 4,56 4,51 4,90 4,43

Justice

5,01 4,69 4,57 4,81 4,39

Famille et ainés4,93 4,65 4,61 5,07 4,44

Emploi

4,76 4,39 4,25 5,22 4,36

Portail

4,42 4,19 4,41 4,87 4,14

RAMQ5,16 4,78 4,58 5,14 4,39

SAAQ4,74 4,47 4,63 4,88 4,20

Revenus

5,00 4,46 4,17 5,17 4,26

RRQ5,14 4,95 5,01 5,13 4,84

Immigration et comm.

culturelles5,20 4,54 4,97

5,114,64

Total4,93 4,57 4,57 5,03 4,41

*Dimensions du WebPerform évaluées sur une échelle de 1 à 7

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 1_Résultats

• Classification des meilleurs sites par dimension duWebPerform

16

Qualité de

l'informationUtilisation Esthétisme Sécurité Interactivité

MICC RRQ RRQ

Emploi /

solidarité sociale RRQ

RAMQ RAMQ MICC Revenu MICC

RRQ Justice RAMQ

Justice RRQ

Revenu MICC

Famille et aînés

4-PHASE 2: ÉVALUATION QUALITATIVE DE 4 SITES

17

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 2_Objectifs

• Évaluation de sites:

– Comprendre les forces et les faiblesses liées à lanavigation sur 4 sites gouvernementaux

– Comprendre les lacunes du moteur de recherche

– Comprendre le rôle des bannières

– Comprendre la navigation sur le Portail

18

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 2_Objectifs

• Les 4 sites gouvernementaux étudiés:

– Portail gouvernemental de services

– Société de l'assurance automobile du Québec (SAAQ)

– Régie des rentes du Québec (RRQ)

– Ministère de l'Immigration et des Communautés culturelles (MICC)

19

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 2_Méthodologie

• Recrutement:– Partenariat avec Léger Marketing– Panel québécois NetTendances

• Échantillon:– N=20

• Méthodologie: – Collecte et analyse de données liées à des tâches sur les sites

Web;– Protocoles verbaux;– Questionnaires WebPerform;– Analyse qualitative réalisée grâce au logiciel Morae;– Idéalement une approche de triangulation (logs, protocoles

verbaux et questionnaires) nous donne une rigueur et des conclusions solides.

20

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 2_Méthodologie

• 2 de 3 tâches à réaliser:– Tâche 1: Régie des rentes du Québec : Trouver les critères

d’admissibilité au Programme de soutien aux enfants.

– Tâche 2: Immigration et communautés culturelles: Trouver les critères d’admissibilité au Programme d'aide financière pour l'intégration linguistique des immigrants.

– Tâche 3: Société de l’assurance automobile du Québec: Trouver les critères d’admissibilité au Programme de soins personnalisés des entorses et des blessures musculaires.

• Tâche commune à tous les participants:– Tâche 4: Portail gouvernemental de services: Trouver les critères

d’admissibilité au Programme d'aide au transport en commun.

21

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Phase 2_Morae

22

Créer une étude dans MoraeRecorder

Observer les utilisateurs grâce

à Morae Observer

Analyser les entrevues grâce à Morae Manager

Présenter les résultats et les recommandations

Images: http://www.techsmith.fr/morae.asp

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Ex: observation

23

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats_WebPerform

24

*Dimensions du WebPerform évaluées sur une échelle de 1 à 7

Site Esthétique * Qualité

Info.*

Avec

moteur

Sans

moteur

Avec

moteur

Sans

moteur 100%

(5 min)

RRQ 25% 16% 6.1 4.9 5.5 4.2

SAAQ 50% 83% 5.0 4.2 5.2 5.2

Portail 10% 50% 5.5 4.4 3.4 4.6

Taux de réussite Facilité utilisation*

MICC 14%

(10 min)

5.5 5.6 4.4 6.9

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats_portail

Avec moteur:

Taux de réussite: 10%

Temps moyen: 11,9 min

Sans moteur:

Taux de réussite: 50%

Temps moyen: 12,63 min

25

Légende:0: Réussite 1 Réussite avec difficulté2: Échec

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Recommandations générales

• ESTHÉTIQUE ET DESIGN :1- Présenter l’information de manière aérée

2- Utiliser de courtes phrases

• NAVIGATION PAR UN MENU:3- Favoriser la navigation par les hyperliens

4- Repenser la navigation en fonction d’un menu central comme celui du MICC

• MOTEUR DE RECHERCHE:5- Offrir un moteur de recherche qui offrent plus d’options de recherche

dès la page d’accueil

6- Offrir une description plus complète des résultats du moteur

26

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Recommandations générales

• MOTEUR DE RECHERCHE (suite):7- Revoir la pertinence et le nombre de résultats

8- Revoir le format des résultats (PDF vers HTML)

• BANNIÈRES:9- Les bannières doivent diriger vers d’autres sites du gouvernement et être

en lien avec l’actualité

10- Pour être remarquées, les bannières doivent être en mouvement

• PORTAIL:11- Revoir le moteur de recherche

12- Dans la section ''Accès rapide'', l’option ''Programmes et Services '' doit mener à une liste complète des programmes offerts

13- Présenter tous les ministères en lien avec les citoyens dans la section Service Québec Citoyen

27

5-PHASE 3: EXPLORATION EN PROFONDEUR D’UNE OU PLUSIEURS FONCTIONNALITÉS

28

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Propositions de recherche

• Rédaction d’un guide des meilleures pratiques;

• Explorer une fonctionnalité interactive dans le portail Entreprises;

• Explorer les meilleures pratiques quant aux moteurs de recherche.

29

6. CONCLUSION

30

Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Conclusion

• L’approche préconisée (quantitative et qualitative) nous permet de comprendreprécisément ce qui fonctionne bien et ce qui ne fonctionne pas bien.

• Nous sommes toujours surpris des commentaires et comportements des utilisateurs, même si nous pensons utiliser les heuristiques de conceptions Web. Rien ne vaut un vrai test usager!

31

32Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Merci!

Courriel:chairerbc.2@hec.ca

Adresse postale : HEC Montréal3000, chemin de la Côte-Sainte-Catherine

Bureau: RJ 111 Montréal (Québec)

Canada H3T 2A7

ANNEXES

34Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats RRQ_Morae

Avec moteur:

Taux de réussite: 25%

Temps moyen: Non disponible

Sans moteur:

Taux de réussite: 16,6%

Temps moyen: Non disponible

34

Légende:0: Réussite 1: Réussite avec difficulté2: Échec

35Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats MICC_ Morae

Avec moteur:

Taux de réussite: 14,2%

Temps moyen: 10,62 min

Sans moteur:

Taux de réussite: 100%

Temps moyen: 4,71 min

35

Légende:0: Réussite 1: Réussite avec difficulté2: Échec

36Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats SAAQ_Morae

Avec moteur:

Taux de réussite: 50%

Temps moyen: 12,74 min

Sans moteur:

Taux de réussite: 83,3%

Temps moyen: 10,55 min

36

Légende:0: Réussite 1: Réussite avec difficulté2: Échec

37Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats PORTAIL_Morae

Avec moteur:

Taux de réussite: 10%

Temps moyen: 11,9 min

Sans moteur:

Taux de réussite: 50%

Temps moyen: 12,63 min

37

Légende:0: Réussite 1 Réussite avec difficulté2: Échec

38Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats_Esthétique et Design

38

6.14

5.00

5.50

5.10

0

1

2

3

4

5

6

7

RRQ SAAQ MICC PORTAIL

*Dimensions du WebPerform évaluées sur une échelle de 1 à 7

39Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Rétultats_Facilité d’utilisation

39

5.505.17

4.43

3.37

4.17

5.17

6.86

4.57

0

1

2

3

4

5

6

7

8

RRQ SAAQ MICC PORTAIL

Avec moteur

Sans moteur

*Dimensions du WebPerform évaluées sur une échelle de 1 à 7

40Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats_Qualité de l’information

40

*Dimensions du WebPerform évaluées sur une échelle de 1 à 7

4.93

4.23

5.64

4.38

0

1

2

3

4

5

6

RRQ SAAQ MICC PORTAIL

41Chaire de commerce électronique RBC Groupe FinancierHEC Montréal

Résultats_Portail et WebPerform (2007 vs 2008)

41

*Dimensions du WebPerform évaluées sur une échelle de 1 à 7

4.98

3.97

4.38

3.71 3.83

4.414.19

4.42

4.87

4.14

0

1

2

3

4

5

6

Esthétique Utilisation Qualité de l'information

Sécurité Interactivité

2008

2007