Analytics

Utiliser vos outils d’analyticscomme une crapule pour mentir à vos clients

Aristide Riou (@aristweet)

Pourquoi faire cette présentation?

• On a tous été amené à analyser des données qui faisaient paraître les performances meilleures qu’en réalité…

• Pourquoi ne pas faire ça sciemment?• Au-delà du lol, permet de mieux comprendre les outils, des

fonctionnalités tordues, des pièges…• Deux types d’arnaques :

• Arnaques d’analyse• Arnaques d’implémentation

• 7 arnaques présentées + discussion

Arnaque #1 : « notre taux de rebond, c’est notre fierté »!

Arnaque #1 : « notre taux de rebond, c’est notre fierté »!

C’est quoi l’idée? Le client est obsédé par son taux de rebond. Il le trouve trop élevé, surtout sur

certaines sources de trafic…

La technique basiqueLa bonne vieille pop in qui déclenche un event (voire une page vue…)

Comment aller plus loinUn événement qui part…aléatoirement.

L’URL : http://goo.gl/5OXURj

Arnaque #1 : « notre taux de rebond, c’est notre fierté »!

Variable « randomnumber » de GTM : renvoie un nombre aléatoire compris entre 0 et 2 147 483 647.Ici, on a divisé par 2 (1 073 241 823), soit une chance sur 2.

Arnaque #1 : « notre taux de rebond, c’est notre fierté »!

Les variantesCibler une certaine source de trafic en particulier (trigger sur la base des UTM ou

paramètre équivalent)

Comment l’utiliser pour faire le bienLa variable random number peut être utile pour, par exemple, tester un event sur une

petite population (et limiter l’envoi de hits)

Arnaque #2 : measurement protocol et créativité

Arnaque #2 : measurement protocol et créativité

C’est quoi l’idée? On aimerait bien envoyer des tags divers (si possible de validation de commandes) par

dizaines / centaines / MILLIARDS…

La technique basique…mais les farmers chinois sont déjà occupés sur World of Warcraft

Pourquoi c’est limité?S’ils n’ont pas de VPN, ces commandes qui viennent de Shanghai risquent d’attirer les

soupcons…et puis tout a un prix

Comment aller plus loinLe Measurement Protocol

Arnaque #2 : measurement protocol et créativité

Petit rappel sur le Measurement Protocol de Google AnalyticsPermet d’envoyer des hits bruts à GA via des requêtes en GET

Exemple : http://www.google-analytics.com/collect?v=1&tid=UA-36918218-

4&cid=GA1.2.1072234041.1423496823&t=event&ec=validation_commande&ea=mastercard&el=42

Client ID GA

UA

Event Category

Type de hit (ici event)

Event Action

Event Label

Et pour industrialiser l’approcheBienvenue sur Postman

Arnaque #2 : measurement protocol et créativité

Arnaque #2 : measurement protocol et créativité

Les variantesGénération d’un client ID aléatoire dans Postman?Création d’un formulaire en PHP / d’un script en Python qui va lui-même générer ce

client ID aléatoire

Comment l’utiliser pour faire le bienPostman est super utile pour faire du débug de Measurement Protocol (ex :

transactions offline)……pensez juste à filtrer votre IP

Arnaque #3 : tu SORS

Arnaque #3 : tu SORS

C’est quoi l’idée? Pierre-Daniel, votre client, vous demande « quel est le taux de rebond de cette page? »

La réponse honnêteEn bon data analysts, vous répondez « non, Pierre-Daniel, on parle de taux de sortie

pour une page. Tu devrais le savoir, le taux de rebond est une métrique de scope session… »

Comment aller plus loinOui, on peut avoir le taux de rebond d’une page

Arnaque #3 : tu SORS

Encore mieux!

Pas mal!

Arnaque #3 : tu SORS

Comment l’utiliser pour faire le bienCalculated metric ‘taux de rebond’ – ‘taux de sortie’Intérêt : cibler des landing pages (souvent liées à des campagnes) qui sous performent

en tant que page d’entrée, mais pas forcément au sein de la navigation. A affiner en combinant avec un segment (ex : SEO)

Arnaque #4 : l’échantillonnage est ton ami

Arnaque #4 : l’échantillonnage est ton ami

C’est quoi l’idée? Pour ceux qui n’ont pas la chance d’être sur GA Premium / 360, l’échantillonnage, ça

peut compliquer la vie

Petit rappelSi le nombre de sessions enregistrées par la propriété au cours de la période spécifiée

dépasse le chiffre de 250 000 sessions, Analytics applique un algorithme d'échantillonnage sur un ensemble de sessions, proportionnel à la répartition des sessions par jour au cours de la période sélectionnée. Le taux d'échantillonnage de session varie donc en fonction de chaque requête, selon le nombre de sessions enregistrées par la propriété au cours de la période spécifiée.Google Analytics prend les X premières lignes de chaque jour, puis extrapole sur le reste de

la journée (X étant inversement proportionnel au nombre de sessions sur la période sélectionnée)…

Arnaque #4 : l’échantillonnage est ton ami

Vous voyez où je veux en venir? Imaginons que l’on mette en place une campagne qui fonctionne mieux pendant les

12 premières heures de la journée (ajustement des enchères, RTB…) et qui dure assez longtemps pour que l’on fasse sur analyse sur une période qui aille au-delà du seuil d’échantillonnage.

Arnaque #5 : C’est bien connu, les tags adservers, ils sont beaucoup trop lourds!

Arnaque #5 : C’est bien connu, les tags adservers, ils sont beaucoup trop lourds!

C’est quoi l’idée? Votre agence média / partenaire publicitaire vous donne un fichier Excel de 432 tags à

mettre en place sur vos pages de validations, et vous avez mieux à faire de votre temps.

Pourquoi vous avez mieux à faire?Souvent, ces tags peuvent être très lourds, appeler inutilement des librairies JS

inutilement lourdes, être très peu optimisés en termes de CDN…Voire faire du Piggybacking

Comment aller plus loinNous allons prouver par A+B (plus ou moins…) que ces tags sont effectivement bien

trop lourds

Arnaque #5 : C’est bien connu, les tags adservers, ils sont beaucoup trop lourds!

Les variantesMarche aussi pour diminuer les commissions à payer aux affiliésOn peut pousser le vice et combiner ça avec une détection de device

Comment l’utiliser pour faire le bienUn trigger basé sur un timer peut être utile pour charger un service de contenu qui n’a

pas forcément besoin d’être envoyé directement au chargement de la page (ex : iAdvize, système de pop ins d’abandon…), même si mettre une notion de timing dans de l’asynchrone, ça peut vite être périlleux…

Arnaque #6 : Cette agence, ils font que de truquer tous vos chiffres

Arnaque #6 : Cette agence, ils font que de truquer tous vos chiffres

C’est quoi l’idée? Vous voulez couler une agence / un prestataire concurrent, en faisant partir des hits

bidons depuis leur IP

L’exécutionSi le client se rend compte que de nombreuses transactions, pages vues, events

suspicieux… proviennent d’une même ville (voire d’un fournisseur de services, etc…)NB : fonctionne mieux si votre client est situé dans une petite ville plutôt qu’à Paris

Arnaque #bonus : heatmap et créativité

Arnaque #bonus : heatmap et créativité

C’est quoi l’idée? Vous aussi, vous utilisez des outils de heatmap (Crazy Egg, Hotjar)?

Arnaque #bonus : heatmap et créativité

Des suggestions?

Arnaques liées au enhanced e-commerce?Arnaques spécifiques liées à la remontée des hits sur les apps?Arnaques utilisant le data import / dimension widening?Arnaques liées à de l’A/B Testing?

Merci, et restez cool