Statistics 101

Quelle est la meilleure version ?

100 100

14% 20%

Impossible de dire ! Les différences ne sont statistiquement significatives.

Qu’est-ce que cela veut dire ?

100 100

14% 20%

8.5% – 22.1% 13.3% – 28.9%

On a 95% de chance que la réalité soit dans les fourchettes suivantes :

Quelle est la meilleure version ?

1000 1000

14% 20%

La version 2 est meilleure !

12.0% – 16.3% 17.6% – 22.6%

Quelle est la meilleure version ?

1000 100

14% 20%

Impossible de dire !

12.0% – 16.3% 13.3% – 28.9%

Mon résultat est-il significatif ?

http://www.evanmiller.org/ab-testing/chi-squared.html

Quelle est la meilleure version ?

1000 100

14% 30%

La version 2 est meilleure !

12.0% – 16.3% 21.9% – 39.6%

Comment dimensionner un A/B test pour être statistiquement significatif ?

5%

? ?

Quelle taille d’échantillon si souhaitez de valider une différence > 10%?30 244 (par branche)

Comment dimensionner un A/B test pour être statistiquement significatif ?

5%

? ?

Quelle taille d’échantillon si souhaitez de valider une différence > 50%?

1273 (par branche)

Comment dimensionner un A/B test pour être statistiquement significatif ?

http://www.evanmiller.org/ab-testing/sample-size.html

• Toujours tester les deux versions simultanément. Auprès d’une population homogène.

• Ne pas tirer des conclusions trop tôt. Vérifier que le résultat est statistiquement significatif.

• Evitez de surprendre les visiteurs réguliers. Restez homogènes

• Privilégiez le deep-testing pour tirer des conclusions sur l’efficacité

• Ne laissez pas votre instinct infirmer les résultats des tests.

• Itérer, itérer, itérer http://www.optimisation-conversion.com/webanalytics/guide-du-test-ab-jouez-et-gagnez-a-tous-les-coups/

Synthèse sur les tests A/B

• Q1. Lorsque votre taux de conversion du site Web bondit de 10% à 12%, cela signifie une hausse de 2% du taux de conversion ou bien une hausse de 20% du taux de conversion ?

• Q2. Pouvez-vous doubler vos ventes en doublant simplement votre budget marketing ?

• Q3. Si le taux de conversion de la campagne « A » est de 10% et le taux de conversion campagne « B » est de 20%, est-ce que cela signifie que la campagne « B » est plus performante que la campagne « A » ?

• Q4. Le temps moyen passé sur votre site web est de 5 minutes. Cela signifie-t-il que vos visiteurs sont restés en moyenne 5 minutes sur votre site ?

Questionnaire

Corrélation vs. Causalité

Prochaines étapes

http://www.inc.com/daniel-kahneman/idea-lab-making-smarter-decisions.html

Annexes

http://www.whymeasurethat.com/2013/09/05/data-driven-web-site-progressive-enhancement/

http://www.kaushik.net/avinash/lean-analytics-cycle-metrics-hypothesis-experiment-act/

Étape 1: déterminer ce qu’il faut améliorer.

• Peut-être en augmentant votre taux de conversion;

• Ou augmenter le nombre d’utilisateurs qui s’inscrivent;

• Ou avoir un plus de partage des contenus;

• Ou diminuer le taux de désabonnement de votre service;

Étape 2. Formuler une hypothèse.

• Une campagne de marketing

• La refonte d’une application

• Un changement dans la façon de pricer

• Revoir les frais d’expédition selon les achats

• Changer la façon d’attirer l’attention

• L’utilisation d’une autre plate-forme

• Modification les libellés des boutons

• Tester une nouvelle fonctionnalité

Définir le test

• Premièrement: Quelle est votre audience cible ?

• Deuxièmement: Que voulez-vous qu’ils fassent ?

• Troisièmement: Pourquoi devraient-ils le faire ?

« Cherchez à savoir si [QUI] fera [QUOI] parce que [POURQUOI], suffisamment pour améliorer le KPI ciblé. »

Mesurer et décider quoi faire

• 1. Si le test a été un succès, vous êtes un héros. Trouver la prochaine métrique cruciale à tester.

• 2. Si le test est un véritable échec, nous devons revoir votre hypothèse.

• 3. Si le test déplace la ligne, mais pas assez pour modifier les règles du jeu, vous pouvez exécuter un autre test en modifiant l’hypothèse d’après ce que le test vous a appris

Le test a-t-il été un succès ?

Les cohortes

Découvrez le cycle que suivent vos utilisateurs

Lire une analyse par cohortes