Analyse statistique : pour Analyse statistique : pour faire de son site un hit !faire de son site un hit !

données, statistiques et données, statistiques et analyseanalyse

2

Diverses problématiquesDiverses problématiques

Ressources différentesRessources différentes Environnements diversEnvironnements divers Objectifs multiplesObjectifs multiples Un point en commun Un point en commun

3

Pas de recette miraclePas de recette miracle

S ’aider de méthodes éprouvéesS ’aider de méthodes éprouvées

4

L’intention de cet exposéL’intention de cet exposé

Réduire les efforts et mesurer le Réduire les efforts et mesurer le succès en s’aidant des fichiers succès en s’aidant des fichiers journaux (logs)journaux (logs)

Faciliter l ’analyse Faciliter l ’analyse 

5

Structure de la Structure de la présentationprésentation

Les fichiers journaux (logs)Les fichiers journaux (logs) Les statistiquesLes statistiques L'analyseL'analyse

6

L'enregistrement de L'enregistrement de l'activitél'activité

Le serveur enregistre le tout sur un Le serveur enregistre le tout sur un fichier (habituellement un .txt ou fichier (habituellement un .txt ou un .log)un .log)

7

Un fichier journal (log) Un fichier journal (log)

206.135.203.174 - - 206.135.203.174 - - [19/Jul/1999:00:00:04 -0600] "GET [19/Jul/1999:00:00:04 -0600] "GET /studio/drives.html HTTP/1.1" 200 20607 /studio/drives.html HTTP/1.1" 200 20607 "http://www.webdevelopers.com/" "http://www.webdevelopers.com/" "Mozilla/4.0 (compatible; MSIE 5.0; "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"Windows 98; DigExt)"

8

206.135.203.174 - - [19/Jul/1999:00:00:04 -0600] "GET 206.135.203.174 - - [19/Jul/1999:00:00:04 -0600] "GET /studio/drives.html HTTP/1.1" 200 20607 /studio/drives.html HTTP/1.1" 200 20607

"http://www.webdevelopers.com/" "Mozilla/4.0 (compatible; MSIE "http://www.webdevelopers.com/" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"5.0; Windows 98; DigExt)"

Le nom d’hôte du serveur distant ou son DNSLe nom d’hôte du serveur distant ou son DNS Le rfc931 (ou User Logname), soit le nom d’utilisateur du Le rfc931 (ou User Logname), soit le nom d’utilisateur du

visiteur (remplacé par un – si non disponible)visiteur (remplacé par un – si non disponible) Le nom d’utilisateur (ou Authenticated User) que Le nom d’utilisateur (ou Authenticated User) que

l’internaute s’est donné lui-même (remplacé par un – si l’internaute s’est donné lui-même (remplacé par un – si non disponible)non disponible)

La date et le moment exact de la visiteLa date et le moment exact de la visite La différence en rapport avec l’heure de Greenwich (GMT)La différence en rapport avec l’heure de Greenwich (GMT) L’action exécutée (i.e Get ou Send)L’action exécutée (i.e Get ou Send) Le “ URI Stern ” (Universal Ressources Identifier) soit ici Le “ URI Stern ” (Universal Ressources Identifier) soit ici

l’objet associé à l’actionl’objet associé à l’action Les paramètres utilisés par l’objet ou le “ URI Query ”Les paramètres utilisés par l’objet ou le “ URI Query ”

9

206.135.203.174 - - [19/Jul/1999:00:00:04 -0600] "GET 206.135.203.174 - - [19/Jul/1999:00:00:04 -0600] "GET /studio/drives.html HTTP/1.1" 200 20607 /studio/drives.html HTTP/1.1" 200 20607

"http://www.webdevelopers.com/" "Mozilla/4.0 (compatible; MSIE "http://www.webdevelopers.com/" "Mozilla/4.0 (compatible; MSIE 5.0; Windows 98; DigExt)"5.0; Windows 98; DigExt)"

La réponse du serveur (Status Code ou Return Code)La réponse du serveur (Status Code ou Return Code) La quantité de données transférées au serveur distant La quantité de données transférées au serveur distant

pour accomplir l’opération (en bytes)pour accomplir l’opération (en bytes) Le référenceur ou le référant (Referrer)Le référenceur ou le référant (Referrer) La version du protocole HTML utiliséeLa version du protocole HTML utilisée Le fureteur utiliséLe fureteur utilisé Le système d’exploitation, la plate-formeLe système d’exploitation, la plate-forme

10

De gros fichiersDe gros fichiers Le fichier produit par l’enregistrement des données Le fichier produit par l’enregistrement des données

d’une semaine pour le site csst.qc.ca fait 75 megs d’une semaine pour le site csst.qc.ca fait 75 megs environ environ

Des besoins en espace disque sur le serveur peuvent se Des besoins en espace disque sur le serveur peuvent se faire sentirfaire sentir

Cela peut occasionner des fraisCela peut occasionner des frais Sortir, faire circuler les données plutôt que de laisser les Sortir, faire circuler les données plutôt que de laisser les

fichiers sur le serveurfichiers sur le serveur Selon la configuration du serveur, les fichiers peuvent Selon la configuration du serveur, les fichiers peuvent

être effacésêtre effacés Il ne faut pas prendre de risque, il est primordial de ne Il ne faut pas prendre de risque, il est primordial de ne

jamais perdre ces données jamais perdre ces données

11

Automatisation des Automatisation des opérationsopérations

Envoyer automatiquement par le serveur Envoyer automatiquement par le serveur un courriel avec le fichier et selon un un courriel avec le fichier et selon un calendrier calendrier

Une personne reçoit l’information et Une personne reçoit l’information et transfert ensuite les données vers un lieu transfert ensuite les données vers un lieu de stockage permanentde stockage permanent

On configure ensuite le serveur pour qu’il On configure ensuite le serveur pour qu’il purge les fichiers sur son disque après un purge les fichiers sur son disque après un certain tempscertain temps

12

La logistique entourant les La logistique entourant les fichiers journauxfichiers journaux

Tout manquement, altération, Tout manquement, altération, perte peut avoir des conséquences perte peut avoir des conséquences importantes sur le reste des importantes sur le reste des opérations opérations

Comme d’habitude, le mois perdu Comme d’habitude, le mois perdu est toujours le plus importantest toujours le plus important

13

Considérer les Considérer les caractéristiques du ou des caractéristiques du ou des

systèmessystèmes

Ils ne sont pas tous configurés de Ils ne sont pas tous configurés de la même façonla même façon

Connaître l’emplacement des Connaître l’emplacement des fichiers journauxfichiers journaux

Contrôler la qualité pour une Contrôler la qualité pour une approche plus précise et solideapproche plus précise et solide

14

Tirer le maximum des Tirer le maximum des fichiers journauxfichiers journaux

Obtenir des moyennes, des tableaux, Obtenir des moyennes, des tableaux, des graphiquesdes graphiques

Comparer les variablesComparer les variables Étendre la comparaison sur une période Étendre la comparaison sur une période

de tempsde temps L ’outil statistique: une nécessitéL ’outil statistique: une nécessité Déterminer la fréquence de saisieDéterminer la fréquence de saisie

15

Retenir queRetenir que

Le fichier journal est pratiquement la seule Le fichier journal est pratiquement la seule façon de voir ce qui se passe sur le sitefaçon de voir ce qui se passe sur le site

Permet de faire l ’archivage et l ’historique du Permet de faire l ’archivage et l ’historique du sitesite

Permet de retracer un individu indésirablePermet de retracer un individu indésirable Permet de comprendre un mauvais Permet de comprendre un mauvais

fonctionnementfonctionnement Permet de planifier des développementsPermet de planifier des développements Permet de déterminer les activités et certaines Permet de déterminer les activités et certaines

caractéristiques des usagerscaractéristiques des usagers

16

Définir le parcours des Définir le parcours des données provenant du données provenant du

logslogs

Les données sont filtrées Les données sont filtrées La réception des données par les La réception des données par les

intervenantsintervenants Le traitement des donnéesLe traitement des données

17

Description des Description des statistiquesstatistiques

Prudence avec les hits Prudence avec les hits

18

Pages populairesPages populaires

Peut-être le thème le plus Peut-être le thème le plus intéressantintéressant

Nombre de hits qu’une page reçoitNombre de hits qu’une page reçoit Habituellement la page d’accueil Habituellement la page d’accueil

se trouve en haut de la listese trouve en haut de la liste

19

Pages (suite)Pages (suite)

Définir page Web (HTML, HTM, Définir page Web (HTML, HTM, XML, PHP etc.)XML, PHP etc.)

Quoi faire avec les autres objetsQuoi faire avec les autres objets Se faire une idée généraleSe faire une idée générale

20

Pages (suite)Pages (suite)

Ne pas sauter aux conclusions trop Ne pas sauter aux conclusions trop rapidement :rapidement :– Plusieurs liens vers la page ou liens Plusieurs liens vers la page ou liens

importantsimportants– Qualité de l'indexation Qualité de l'indexation – Regarder attentivement les raisons Regarder attentivement les raisons

expliquant la popularité d’une page expliquant la popularité d’une page avant de passer aux interprétationsavant de passer aux interprétations

Deux utilisations évidentes possiblesDeux utilisations évidentes possibles

21

Pages (suite) :Pages (suite) :

La page la moins populaireLa page la moins populaire Page d’entréePage d’entrée Page de sortiePage de sortie Page à accès uniquePage à accès unique

22

Code de réponseCode de réponse

Un message d'erreur est toujours grave Un message d'erreur est toujours grave – Chaque fois qu ’un visiteur se trouve devant Chaque fois qu ’un visiteur se trouve devant

un message d’erreur, il ne trouve pas ce qu’il un message d’erreur, il ne trouve pas ce qu’il veut ou il quitte le site.veut ou il quitte le site.

– Pour certains, cela signifie de l’argent en Pour certains, cela signifie de l’argent en moins, pour d’autres des clients insatisfaits.moins, pour d’autres des clients insatisfaits.

– Connaître les erreurs ou les codes de Connaître les erreurs ou les codes de réponse est facile avec un outil statistique.réponse est facile avec un outil statistique.

23

Pays les plus actifsPays les plus actifs

Selon les besoins, cette Selon les besoins, cette information peut-être très utileinformation peut-être très utile– Pour connaître la visibilité Pour connaître la visibilité

internationale internationale – Pour voir s’il y a lieu d’indexer son Pour voir s’il y a lieu d’indexer son

site dans les moteurs de recherche site dans les moteurs de recherche nationaux ou régionauxnationaux ou régionaux

24

Serveur ou hôte d’origineServeur ou hôte d’origine

Numéro IP ou DNSNuméro IP ou DNS Fournisseurs Internet Fournisseurs Internet L'usager principal est-il humain ?L'usager principal est-il humain ? Systématisation de l'analyse de Systématisation de l'analyse de

ces statistiques.ces statistiques.

25

Fureteur et système Fureteur et système d’exploitationd’exploitation

Le niveau “ techno ” des Le niveau “ techno ” des utilisateursutilisateurs

Deux implications importantesDeux implications importantes– Vieux fureteurs Vieux fureteurs – Dernières versions Dernières versions

26

RéférenceursRéférenceurs

D’où les utilisateurs viennentD’où les utilisateurs viennent Les deux premières sources de Les deux premières sources de

trafictrafic– Moteurs de recherche Moteurs de recherche – Liens existant sur d’autres sitesLiens existant sur d’autres sites

27

Mots de la rechercheMots de la recherche

Quels mots les gens utilisent pour Quels mots les gens utilisent pour nous trouvernous trouver

Utilisons-nous bien ces mots ?Utilisons-nous bien ces mots ?

28

VisitesVisites

Une visite par entrée sur le siteUne visite par entrée sur le site Durée X avant de compter une Durée X avant de compter une

autre visite pour le même IPautre visite pour le même IP Problèmes liés à cette statistiqueProblèmes liés à cette statistique

29

SessionsSessions

Les activités de l’utilisateur durant Les activités de l’utilisateur durant une seule visiteune seule visite

La durée et le parcours de La durée et le parcours de l’utilisateurl’utilisateur

La démonstration des qualités ou La démonstration des qualités ou des défauts de la structure du sitedes défauts de la structure du site

Il ne s’agit pas de cookiesIl ne s’agit pas de cookies

30

D'autres statistiquesD'autres statistiques

Reconnaissance des robots Reconnaissance des robots Erreurs du fureteurErreurs du fureteur Analyse du proxyAnalyse du proxy Analyse du FirewallAnalyse du Firewall

31

Les variations dans les Les variations dans les statistiques statistiques

La mise en commun de statistiques La mise en commun de statistiques peut en créer de nouvellespeut en créer de nouvelles

Pages accédées par kilo octetsPages accédées par kilo octets Accès simultané maximumAccès simultané maximum Moyennes par jour, par mois, par Moyennes par jour, par mois, par

heure, etc.heure, etc.

32

Choisir un outil statistiqueChoisir un outil statistique

Les utilisateursLes utilisateurs Les facteurs déterminantsLes facteurs déterminants Quelques exemples d'outilsQuelques exemples d'outils

33

Marketing (utilisateurs)Marketing (utilisateurs)

Utilisation générale du siteUtilisation générale du site Vendre le siteVendre le site Qui vient sur le siteQui vient sur le site Sections ou pages populairesSections ou pages populaires

34

Architecte (utilisateurs)Architecte (utilisateurs)

Pour déterminer les opérations Pour déterminer les opérations faites par l’utilisateur sur le site et faites par l’utilisateur sur le site et la fréquence de ces opérationsla fréquence de ces opérations

35

Designer (utilisateurs)Designer (utilisateurs)

L ’utilisation spécifique du siteL ’utilisation spécifique du site– Circulation sur le siteCirculation sur le site– Organisation de l’informationOrganisation de l’information– Présentation de l’informationPrésentation de l’information

36

Développeur (utilisateurs)Développeur (utilisateurs)

Performance du systèmePerformance du système– Les moyennes et les capacités du Les moyennes et les capacités du

système système

37

Ingénieur (utilisateurs)Ingénieur (utilisateurs)

Messages d’erreurs et Messages d’erreurs et avertissementsavertissements

38

Facteurs déterminants Facteurs déterminants pour le choix d'un outilpour le choix d'un outil

– Environnement de travailEnvironnement de travail– Capacité de manipuler de gros fichiersCapacité de manipuler de gros fichiers– PersonnalisationPersonnalisation– Temps pour produire un rapportTemps pour produire un rapport– AccessibilitéAccessibilité– AutomatisationAutomatisation– AlarmesAlarmes– FormatFormat– Facilité d’usageFacilité d’usage

39

Les outils statistiquesLes outils statistiques

ApprochesApproches HitBox ProHitBox Pro Site Server 3Site Server 3 WebTrendsWebTrends

40

HitBox Pro de HitBox Pro de WebSideStoryWebSideStory

Plus que le simple outil statistique de basePlus que le simple outil statistique de base Il faut payer pour avoir la version complèteIl faut payer pour avoir la version complète Quelques codes et HitBox s’occupe du resteQuelques codes et HitBox s’occupe du reste Avantages du modèle "service"Avantages du modèle "service" Statistiques, tableaux et aideStatistiques, tableaux et aide Peu de contrôle sur les configurationsPeu de contrôle sur les configurations Particularités Particularités Une bonne alternativeUne bonne alternative

41

Site Server 3 de MicrosoftSite Server 3 de Microsoft Le haut du pavéLe haut du pavé Innombrables fonctionsInnombrables fonctions Statistiques complètesStatistiques complètes Configuration difficile et gestion complexe au départConfiguration difficile et gestion complexe au départ Des “ DNS lookups ” de première classeDes “ DNS lookups ” de première classe Et plus au sujet des DNSEt plus au sujet des DNS Pas de rapport “ intelligent ” sur les erreursPas de rapport “ intelligent ” sur les erreurs

Excellent produit…Excellent produit…

42

WebTrends Log AnalyzerWebTrends Log Analyzer

– Outil le plus connuOutil le plus connu– Puissance brute, contrôle et Puissance brute, contrôle et

présentationprésentation– Interface simple et configurableInterface simple et configurable– Différents formatsDifférents formats– Aide complèteAide complète– Outil par excellenceOutil par excellence

43

Spécificité de l’analyse Spécificité de l’analyse statistique informatiséestatistique informatisée

Codification automatiqueCodification automatique Calculs mathématiques Calculs mathématiques

automatiquesautomatiques L’analyse peut débuter plus L’analyse peut débuter plus

rapidement… rapidement…

44

Le contexteLe contexte

Compétences de l’équipeCompétences de l’équipe Faisabilité de l’analyseFaisabilité de l’analyse ModesModes Besoins de l’organisation et de la Besoins de l’organisation et de la

clientèleclientèle Intérêt de l’organisationIntérêt de l’organisation Familiarité avec le domaine de Familiarité avec le domaine de

rechercherecherche

45

La problématique La problématique

En quoi la résolution de la En quoi la résolution de la problématique du site sera utile ?problématique du site sera utile ?

Quelles lacunes faut-il combler et Quelles lacunes faut-il combler et pourquoi ?pourquoi ?

À quel besoin cela répond ?À quel besoin cela répond ? Définir une problématiqueDéfinir une problématique

46

Formuler des questions ou Formuler des questions ou des hypothèses des hypothèses

– Faire des liens entre des variables Faire des liens entre des variables vérifiables et mesurablesvérifiables et mesurables

– Formuler des hypothèses ou des Formuler des hypothèses ou des questionsquestions

– Par extension, prévoir la relation Par extension, prévoir la relation entre des faits et des événementsentre des faits et des événements

– À faire dès le début À faire dès le début

47

Aperçu de l’analyse Aperçu de l’analyse statistique de données statistique de données

quantitativesquantitatives

La tendance centraleLa tendance centrale L'étendue et l'écart typeL'étendue et l'écart type La courbe de distributionLa courbe de distribution Les corrélationsLes corrélations

48

La tendance centraleLa tendance centrale

Déterminer ce qui est typique dans Déterminer ce qui est typique dans la clientèlela clientèle

Établir une médianeÉtablir une médiane Connaître le modeConnaître le mode Indices sur la tendance centrale de Indices sur la tendance centrale de

l’activitél’activité

49

L’étendue et l’écart typeL’étendue et l’écart type

A quel point les individus formant A quel point les individus formant la clientèle du site diffèrent les uns la clientèle du site diffèrent les uns des autres par rapport à une des autres par rapport à une caractéristique donnéecaractéristique donnée

Exemple portant sur la longueur Exemple portant sur la longueur des sessions des sessions

50

Courbe de distributionCourbe de distribution

En fonction de la variable mesurée En fonction de la variable mesurée on peut vouloir connaître le mode on peut vouloir connaître le mode de distribution des individusde distribution des individus

51

CorrélationsCorrélations

Relations entre les variablesRelations entre les variables On cherche à faire des corrélations On cherche à faire des corrélations

entre des groupes ou entre des entre des groupes ou entre des statistiques statistiques

52

L’interprétation et la L’interprétation et la discussion des résultatsdiscussion des résultats

Le sens général des observations Le sens général des observations Fonctions principalesFonctions principales

53

Vérification des Vérification des hypothèseshypothèses

Relations causalesRelations causales Énoncer des probabilitésÉnoncer des probabilités Prouver les résultatsProuver les résultats Confirmer ou infirmer les Confirmer ou infirmer les

hypothèseshypothèses

54

Concepts explicatifsConcepts explicatifs

Susciter un nouveau conceptSusciter un nouveau concept En particulier, si certains résultats En particulier, si certains résultats

n’étaient pas prévus au départn’étaient pas prévus au départ

55

Comment faire mentir les Comment faire mentir les statistiques…statistiques…

Interprétations de données incomplètes qui Interprétations de données incomplètes qui mènent à des comparaisons douteuses mènent à des comparaisons douteuses

Les inférences qui constituent des conjectures Les inférences qui constituent des conjectures plutôt que des interprétations objectivesplutôt que des interprétations objectives

Interprétations diverses à partir des mêmes Interprétations diverses à partir des mêmes donnéesdonnées

Problème d’échantillonnageProblème d’échantillonnage Représentations graphiques trompeusesReprésentations graphiques trompeuses

56

L’utilisation des résultats L’utilisation des résultats pour faire de son site un pour faire de son site un

hit…hit…

Discussion des résultatsDiscussion des résultats ActionsActions ResponsabilitésResponsabilités

57

Discussion des résultatsDiscussion des résultats

Dernière étape de l’analyseDernière étape de l’analyse Retour critique sur les étapesRetour critique sur les étapes Discussion des implications de la Discussion des implications de la

rechercherecherche

58

Passer à l’actionPasser à l’action

L’analyse: un aide à la décision.L’analyse: un aide à la décision. On ne peut se permettre d’ignorer les On ne peut se permettre d’ignorer les

effets de la rechercheeffets de la recherche La prise de conscience des problèmes La prise de conscience des problèmes

dans le but éventuel d’apporter des dans le but éventuel d’apporter des modifications à son site modifications à son site

Discuter de la façon d’apporter les Discuter de la façon d’apporter les correctifs nécessairescorrectifs nécessaires

59

Assumer les Assumer les responsabilités inhérentesresponsabilités inhérentes

Rapport étroit entre l’observateur et le Rapport étroit entre l’observateur et le sujet observé sujet observé

Faire preuve d’éthique dans la Faire preuve d’éthique dans la manipulation des données et des manipulation des données et des statistiquesstatistiques

Difficultés éthiques : il faut protéger la Difficultés éthiques : il faut protéger la clientèle qui vient sur le site, tout en clientèle qui vient sur le site, tout en faisant avancer les connaissances faisant avancer les connaissances actuelles actuelles

60

Conclusion : à la Conclusion : à la recherche de performancerecherche de performance

Des causes de la performanceDes causes de la performance De multiples facteursDe multiples facteurs Une compréhension cohérente Une compréhension cohérente Des conditions favorables multiples Des conditions favorables multiples Y n’est pas toujours la cause de XY n’est pas toujours la cause de X Des partenariats mutuellement Des partenariats mutuellement

bénéfiquesbénéfiques

61

RéférencesRéférences MASSÉ, P.MASSÉ, P. Méthodes de collecte et d ’analyse en communication, Méthodes de collecte et d ’analyse en communication, Québec, Presses Québec, Presses

de l ’Université du Québec, 1992, 253 p. de l ’Université du Québec, 1992, 253 p. MASSÉ, P. MASSÉ, P. Systèmes d ’information, de communication et performance Systèmes d ’information, de communication et performance

organisationnelle, organisationnelle, Québec, Presses de l ’Université du Québec, 1994, 276 p.Québec, Presses de l ’Université du Québec, 1994, 276 p. Log Capture and Analysis, Log Capture and Analysis,

http://www.microsfot.com/technet/ecommerce/logcanda.asphttp://www.microsfot.com/technet/ecommerce/logcanda.asp An introduction to Web site traffic analysis from your swerver log file, An introduction to Web site traffic analysis from your swerver log file,

http://virtualpromote.com/trafficreports.htmlhttp://virtualpromote.com/trafficreports.html Log-Analysis Tools: Site Server Is on the Right Track, Log-Analysis Tools: Site Server Is on the Right Track,

http://www.networkcomputing.com/917/917r12.htmlhttp://www.networkcomputing.com/917/917r12.html WebTrends Log Analyzer 5.0 Full Review, WebTrends Log Analyzer 5.0 Full Review,

http://www.zdnet.com/pcmag/stories/pipreviews/0,9836,141363,00.htmlhttp://www.zdnet.com/pcmag/stories/pipreviews/0,9836,141363,00.html WebSideStory HibBox Pro Overview, WebSideStory HibBox Pro Overview,

http://www.zdnet.com/pcmag/stories/overview/0,9835,251594,00.htmlhttp://www.zdnet.com/pcmag/stories/overview/0,9835,251594,00.html University of Cambridge Statistical Laboratory, http://statslab.cam.ac.uk/University of Cambridge Statistical Laboratory, http://statslab.cam.ac.uk/ Log Analysis Tools, Log Analysis Tools,

http://dir.yahoo.com/Business_and_Economy/Business_to_Business/Computers/http://dir.yahoo.com/Business_and_Economy/Business_to_Business/Computers/Software/Internet/World_Wide_Web/Log_Analysis_Tools/Software/Internet/World_Wide_Web/Log_Analysis_Tools/