2ème enquête annuelle sur l'a/b testing et la personnalisation web
TRANSCRIPT
09/2015 1 2e enquête annuelle testing et personnalisation
2e enquête annuelle sur les pratiques
de l’A/B testing et de la
personnalisation web en France Septembre 2015
Romain Créteur,
Manager Pôle Solutions Marketing Digital
En partenariat avec Enquête réalisée par Pour
09/2015 2 2e enquête annuelle testing et personnalisation
Sommaire
Etat des lieux des pratiques 5
Les modalités d’utilisation de l’A/B testing 10
Qui sont les parties prenantes de l’AB testing et de la
personnalisation web ? 16
Organisation & gouvernance 20
Etat des lieux des pratiques 5
Les modalités d’utilisation de l’A/B testing 10
Qui sont les parties prenantes de l’AB testing et de la personnalisation web ? 16
Organisation & gouvernance 20
09/2015 3 2e enquête annuelle testing et personnalisation
Méthodologie de l’enquête
► Objectif : L’objectif de cette enquête est de dresser un panorama de l’utilisation de l’A/B testing
et de la personnalisation web en France tant en termes d’utilisation et de perception que de
modes d’exploitation et de process d’organisation internes
► Dates : du 1er au 20 juillet 2015
► Modalités d’administration : l’enquête a été conduite par téléphone
► Echantillon : 250 répondants, professionnels du marketing pour des sites de taille, nature et
objectifs variés
► Cette étude a été réalisée par Converteo pour le compte de la société Kameleoon en partenariat
avec la Fevad
09/2015 4 2e enquête annuelle testing et personnalisation
Principaux enseignements
2
3
1
Les deux pratiques bénéficient d’une forte reconnaissance, mais associées à une forme
de complexité surtout la personnalisation web
Pour 55% des utilisateurs, l’A/B testing est une pratique simple, mais des difficultés dans le cadrage et
l’analyse des résultats sont perceptibles
67% des utilisateurs estiment que la personnalisation web est complexe et 22% très complexe. Les
données CRM, qui sont les plus difficiles à obtenir, sont également jugées les plus utiles pour les
campagnes de personnalisation web
L’A/B testing et la personnalisation web sont des pratiques répandues, mais non encore
généralisées
1/4 des utilisateurs estiment que l’A/B testing est indispensable, 99% utile
Le manque de ressources (temps, budget et compétences) constitue le principal frein au déploiement
des projets
En termes d’organisation, les équipes marketing sont presque systématiquement au cœur
des projets d’A/B testing et de personnalisation web
Les deux pratiques sont majoritairement internalisées
Les équipes techniques y semblent de plus en plus associées (+ 40% des cas), mais ce taux reste
encore faible au regard les enjeux et suggère une exploitation assez simple des outils par rapport aux
fonctionnalités disponibles
09/2015 5 2e enquête annuelle testing et personnalisation
1
Etat des lieux des
pratiques
09/2015 6 2e enquête annuelle testing et personnalisation
L’A/B testing et la personnalisation web sont des pratiques
répandues mais non-généralisées, surtout la personnalisation
• La moitié des sites utilisent l’A/B testing comme moyen d’optimisation de la conversion
• Les utilisateurs de l’A/B testing sont plus enclins à utiliser la personnalisation web que les non
utilisateurs : 43% d’entre eux utilisent la personnalisation web contre 24% qui en ont le projet chez
les personnes n’utilisant pas l’A/B test
• L’inscription de la personnalisation web n’est pas prioritaire pour 24% des utilisateurs de l’A/B
testing, une proportion qui monte à 57% chez les non-utilisateurs
51%
49%
Faites-vous de l’AB testing ?
Oui
Non
Pour les personnes utilisant l’A/B testing :
Réalisez vous des campagnes de personnalisation web ?
Pour les personnes n’utilisant pas l’A/B testing :
Avez-vous un projet de personnalisation web à ?
24%
33%
43%
Non et ce n'est pas prévu àcourt terme
Non mais c'est prévu dans les12 prochains mois
Oui
24%
9%
10%
57%
Moins de 6 mois
Entre 6 mois et un an
A plus d'un an
Non, je n'ai pas de projet depersonnalisation prévu
46% 54%
2014
2015
(+5 points)
09/2015 7 2e enquête annuelle testing et personnalisation
Pourtant, plus de 90% des utilisateurs considèrent l’A/B testing et la
personnalisation web comme des pratiques très utiles
Pour vous, l’A/B testing / la personnalisation web est :
0% 3%
37%
59%
1%
10%
63%
27%
0%
10%
20%
30%
40%
50%
60%
70%
Inutile Utile Très utile Indispensable
A/B Testing Personnalisation
• L’utilité de l’A/B testing comme de la personnalisation web est reconnue et fait l’objet d’un large
consensus
• 59% des répondants estiment même que l’A/B testing est une pratique indispensable, ce qui
atteste d’un haut degré de satisfaction
09/2015 8 2e enquête annuelle testing et personnalisation
La personnalisation web est encore majoritairement perçue
comme complexe, ce qui n’est plus le cas de l’A/B testing
Considérez-vous, l’A/B testing / la personnalisation web comme une pratique
:
Le niveau de complexité perçu est différent pour les deux pratiques
• 55% des personnes interrogées considèrent l’A/B testing comme une pratique simple
• A l’inverse, la personnalisation web est jugée complexe par 67 % des répondants et très complexe
par 22%
15%
41% 44%
2% 4%
29%
45%
22%
0%
10%
20%
30%
40%
50%
Très simple Simple Complexe Très complexe
A/B Testing Personnalisation
09/2015 9 2e enquête annuelle testing et personnalisation
Les données jugées les plus utiles pour la personnalisation web
sont les données CRM qui sont également les plus complexes à
obtenir
0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100%
Temporelles (jour de la semaine, heure ...)
Géographiques (pays, région ...)
Techniques (devices, navigateurs ...)
Comportementales (pages vues, temps passé ...)
Sources (type de campagne, mots-clés, emails ...)
CRM (segmentation, âge, genre ...)
Selon vous, quelle est l'importance des données suivantes pour pouvoir mener des campagnes de personnalisation web efficace ?
Indispensable Importante Peu importante Inutile
• La nature clé des données CRM et la difficulté à les obtenir et à les exploiter est probablement un
facteur d’explication à la complexité perçue des projets de personnalisation web
09/2015 10 2e enquête annuelle testing et personnalisation
2
Les modalités
d’utilisation de l’A/B
testing
09/2015 11 2e enquête annuelle testing et personnalisation
Le volume annuel de tests conduits reste faible
• La majorité des acteurs conduisent des tests A/B, un quart d’entre eux réalisent des tests MVT et
des splits tests sur les sites, le plus souvent en complément des test A/B
• Le volume de tests réalisés annuellement est supérieur 20 dans seulement 29 % des cas et
inférieur à 10 dans 50% des cas
93%
26% 24%
0%
10%
20%
30%
40%
50%
60%
70%
80%
90%
100%
Tests A/B Tests MVT Split tests (test parredirection d'URL)
Quels types de tests réalisez-vous ? (plusieurs réponses possibles)
25%
25% 20%
30%
Combien de tests réalisez-vous par an ?
Moins de 5 Entre 5 et 10 Entre 10 et 20 Plus de 20
09/2015 12 2e enquête annuelle testing et personnalisation
L’ergonomie / UX reste le principal motif de conduite des tests A/B
• L’utilisation de l’A/B testing dans l’optimisation des offres et les processus de mise en production de
nouvelles fonctionnalités se développe mais reste bien inférieure à un utilisation centrée sur
l’optimisation de l’ergonomie et l’expérience utilisateur
Vous utilisez l’AB Testing pour :
ERGONOMIE / UX
dont
26% Optimisation des Landing Pages
FONCTIONNALITES OFFRES
54%
20% 19%
6%
Optimiser l'ergonomie de vos pages Vérifier l'apport de l'incrémental denouvelles fonctionnalités
Evaluer l'impat réel de vos offres Autres
09/2015 13 2e enquête annuelle testing et personnalisation
La principale difficulté rencontrée par les utilisateurs de l’AB testing
porte sur le choix des objectifs et des critères d’arbitrage
• Les étapes jugées les plus critiques pour l’A/B testing sont la définition des objectifs (25%) et les
analyses des résultats (27%)
• Ces réponses soulignent l’enjeu qu’il y a à cadrer un projet d’AB testing et à définir en amont
du lancement les KPI afférents aux objectifs qui seront les juges de paix en aval dans
l’interprétation des résultats
Quelle est, selon vous, l'étape la plus critique d'un projet d'AB testing ?
Autres : 12%
Définition des
objectifs
Identification des pistes
d’améliorations Paramétrage du test Analyse des résultats
23% 25% 13% 27%
Etapes d’un projet d’AB testing
Cadrage = 48% Réalisation = 13% Interprétation = 27%
1 2 3
09/2015 14 2e enquête annuelle testing et personnalisation
51% des personnes interrogées ne font pas d’A/B testing,
principalement en raison d’un manque de ressources internes
25%
8%
12%
56%
Avez-vous un projet d'AB testing à:
Moins de 6 mois
Entre 6 mois et un an
A plus d'un an
Non, je n'ai pas de projetd'AB testing prévu
• Le manque de temps, de compétences et d’informations restent les principaux freins au
développement de l’A/B testing dans les entreprises
• La majorité des répondants n’ayant pas encore démarré de projet de testing ne prévoit pas de la
faire dans les 12 mois
• 1/3 des non-utilisateurs témoignent encore d’une manque d’intérêt ou de connaissance pour le
sujet
19%
16% 18%
33%
13%
24%
Je ne sais pasce qu'est l'A/B
testing
Je ne pense pasque l'A/B testing
ait un intérêt
Manque decompétences
internes
Manque detemps
Absence desollicitation / desociété pouvantm'accompagner
Autres
Quelles sont les raisons pour lesquelles vous n'avez pas démarré de projet ?
(plusieurs réponses possibles)
35%
manque d’intérêt / connaissance
64%
manque de ressources
09/2015 15 2e enquête annuelle testing et personnalisation
Parmi les non-utilisateurs de l’A/B testing, la webanalyse
reste la principale façon d’optimiser la performance
Quelle est votre pratique favorite pour l'optimisation de la conversion de vos sites? (plusieurs réponses possibles)
Plusieurs méthodes alternatives / complémentaires à l’A/B testing sont utilisées pour l’optimisation de
la conversion. On distingue diverses approches :
• approches basées sur l’observation des comportements : webanalyse et outils de heatmap,
scollmap, etc.
• approches plus traditionnelles : benchmark de la concurrence, etc.
34%
13% 13% 13% 13% 13%
9% 8% 7%
Webanalytics Benchmark de laconcurrence
Analyse descomportements
visiteurs (heatmap
Recommandationproduit
scrollmap mousetracking...)
Personnalisationweb
Test d'usabilité(UX/ergonomie)
Autres
)
09/2015 16 2e enquête annuelle testing et personnalisation
3
Qui sont les parties
prenantes de l’AB
testing et de la
personnalisation
web ?
09/2015 17 2e enquête annuelle testing et personnalisation
La pratique de l’A/B testing est équitablement répandue parmi
les pure players et les non pure players
44,4% 43,9%
Pure Player Non Pure Player
Faites-vous de l’A/B testing ? Part de OUI en fonction de la nature des acteurs
Pourcentage de oui
• Il y a très peu d’écart entre pure players et non pure players : ce n’est pas un critère différenciant
relativement à l’utilisation de l’A/B testing
09/2015 18 2e enquête annuelle testing et personnalisation
La pratique de l’A/B testing est nettement plus répandue sur
les sites très fréquentés
50%
18%
17%
15%
Quel est votre nombre de visiteurs uniques mensuels sur l’ensemble vos sites ?
< 1 million Entre 1 et 5 millions
Je ne souhaite pas répondre Plus de 5 millions
• Près des 3/4 des sites disposant d’un trafic mensuel supérieur à 1 million de VU utilisent l’A/B
testing contre seulement 36% des sites plus petits
• Un tel écart reflète la conviction de l’utilité de l’A/B testing pour les gros acteurs dont les enjeux
business sont plus importants et qui sont moins confrontés à des risques de non-significativité
• La non-utilisation de l’A/B testing est à rapprocher du manque de temps, de compétences et
probablement de moyens financiers chez les plus petits acteurs
Faites-vous de l’A/B testing ? Part de OUI en fonction du volume de visiteurs uniques mensuels
35%
75% 71%
33%
73% 80%
<1 million entre 1 et 5 millions >5 millions
2015 2014
09/2015 19 2e enquête annuelle testing et personnalisation
Selon les secteurs d’activité, des différences de maturité sont
repérables dans la pratique de l’A/B testing
• Plus d’un acteur sur deux recourt à l’A/B testing dans les télécommunications et les petites
annonces
• A l’inverse cette pratique est encore peu répandue dans les secteurs du bricolage et de la
mode/beauté avec à peine 1/4 des acteurs qui pratiquent l’A/B testing
• Dans l’ensemble, la maturité par secteur est restée comparable aux résultats de 2014 avec une
progression globale de quelques points
63%
55% 50%
59%
40%
25% 20%
47%
70%
47% 48%
29% 30%
média, culture,divertissement
internet,télécommunications
petites annonces,location
banque, assurance,conseil
retail, distributiongénéraliste
construction,bricolage, jardinage
mode, beauté, santé
Faites-vous de l’A/B testing ? Part de OUI par secteur d’activité
2015 2014
09/2015 20 2e enquête annuelle testing et personnalisation
4
Organisation &
gouvernance
09/2015 21 2e enquête annuelle testing et personnalisation
La tendance massive est à l’internalisation des projets d’A/B
testing et de personnalisation web
Parmi les situations décrites ci-dessous, laquelle se rapproche le plus de la vôtre ?
• Dans plus de 70% des cas, les deux pratiques sont internalisées
• La partie la plus externalisée en matière d’A/B testing est l’exécution des tests en eux-mêmes,
alors que c’est celle qui est perçue comme la plus simple
• 10% des campagnes de personnalisation web sont complètement externalisées, ce qui corrobore
la perception d’une plus grande complexité pour la personnalisation web que pour l’A/B testing
75%
15%
4% 4%
2%
A/B test
Je réalise seul mes tests
J'externalise la réalisation destests
J'externalise l'identification despistes d'amélioration
J'externalise toute la gestionde mes projets d'A/B testing
J'externalise l'analyse desrésultats des tests
71%
10%
8%
10%
1%
personnalisation web
Je réalise seul mescampagnes depersonnalisation
J'externalise la réalisation demes campagnes depersonnalisation
J'externalise l'identification depistes de personnalisation
J'externalise toute la gestionde mes projets depersonnalisation
J'externalise l'analyse desrésultats de mes campagnesde personnalisation
09/2015 22 2e enquête annuelle testing et personnalisation
Dans près de la moitié des cas, l’A/B testing et la personnalisation
web sont confiées à deux personnes distinctes
45%
55%
La personne en charge de la personnalisation web web est-elle la même que celle en
charge de l'A/B testing?
68%
32%
Avez-vous une personne plein temps dédiée à l'optimisation de la conversion dans votre
entreprise ?
Non Oui
• Sur un plan organisationnel, seules 1/3 des entreprises disposent d’une ressource qui se consacre
à plein temps à l’optimisation de la performance
• Actuellement, l’A/B testing et la personnalisation web sont gérées par des personnes différentes
dans 45% des cas
09/2015 23 2e enquête annuelle testing et personnalisation
Les équipes marketing sont presque systématiquement au cœur du
pilotage, avec une intégration croissante des équipes techniques
Qui selon vous, doit piloter votre projet ? (en pourcentage des opinions exprimées)
• Pour les utilisateurs comme pour les non utilisateurs, • Le co-pilotage des équipes marketing et technique est la première réponse et rencontre le plus d’adhésion
• L’équipe BI & CRM est rarement sélectionnée pour le pilotage des projets de personnalisation web alors
même que les données CRM sont jugées clé
• Les non-utilisateurs sont plus nombreux à désigner l’équipe technique ce qui est à rapprocher du
niveau de complexité perçue
42%
6%
52%
0%
34%
13%
42%
9%
Marketing IT Marketing + IT BI & CRM
Non utilisateurs de l’A/B testing
AB testing Personnalisation
47%
1%
52%
0%
40%
5%
46%
8%
Marketing IT Marketing + IT BI & CRM
Utilisateurs de l’A/B testing
AB testing Personnalisation
09/2015 24 2e enquête annuelle testing et personnalisation
Les fonctions impliquées dans les projets d’A/B testing sont
nombreuses et variées
• Parallèlement à la question du pilotage des projets d’A/B testing, il est assez significatif que les
personnes impliquées sur les projets occupent un éventail de fonctions très large (ergonomie vs
développement vs webanalyse)
• Si plus de 50% des acteurs font intervenir des développeurs front-end, ce chiffre reste faible au
regard des potentialités offertes par les outils de test A/B et est un indicateur d’un usage encore
peu approfondi des outils
82%
66%
52% 52%
15%
56%
67%
35%
46%
9%
Chef de projet Webanalyst UX designer / Ergonome Developpeur front-end Autres
Quelles sont les fonctions impliquées dans vos projets d'A/B testing ?
2015 2014
09/2015 25 2e enquête annuelle testing et personnalisation
CONVERTEO
Romain Créteur, Manager Pôle Solutions Marketing Digital
Les contributeurs :
61 rue Meslay
75003 PARIS
Tel. : +33 (0)1 84 16 06 60
Email : [email protected]