conférence laboratoire des mondes virtuels__ludostat_choisir ses kpis et mettre en oeuvre son...
Post on 27-Jun-2015
287 Views
Preview:
DESCRIPTION
TRANSCRIPT
Avec l’avènement des jeux vidéo connectés,
vous êtes amenés à prendre des décisions
non seulement avant mais aussi pendant et
après le lancement d’un jeu
Choisir et
calculer vos KPIs François Guillem
Fondateur et data scientist @
De quoi on va parler ?
• Qu’est-ce qu’un KPI ?
• Bien choisir ses KPIs
• Calculer des KPIs
• Les Précautions à prendre
Qu’est-ce qu’un KPI ?
Définition
KPI = Key Performance Indicator
Indicateur clé de performance
Chiffre corrélé à
la performance
mais pas
forcément une
mesure directe
- Pertinent
- Synthétique
- Facile à
calculer et à
comprendre
Objectif chiffrable
=
Plus concrètement
• Chiffre synthétique, calculé régulièrement,
décrivant la santé d’un jeu
• Souvent présenté sous forme graphique
(dans un dashboard) afin d’en visualiser
l’évolution
• Facilite la prise de décision
Plus concrètement
It’s me, Mario !
NOOOOOOOO !!!
A quoi ça sert ?
• Permet de répondre aux questions de type :
o Est-ce que mon jeu va bien ?
o Qu’est-ce que je peux améliorer ?
o Est-ce que ma décision était bonne ?
• Mais pas :
o Pourquoi
L’audience baisse
Les joueurs ne jouent plus
Les joueurs ne paient pas
Autre : ______________
?
KPIs couramment utilisés
Audience
• Utilisateurs actifs (DAU, WAU, MAU)
• Installations (NDAU)
• Taux de rétention à D+1, D+7, etc.
• Taux d’abandon (« churn »)
• Etc.
Monétisation
• Revenu total
• Revenu par utilisateur (DARPU)
• Revenu par payeur (DARPPU)
• Taux de conversion
• Etc.
Acquisition
• Installations virales
• Installations par cross-promotion
• K-Facteur
• Valeur des joueurs (« lifetime value »)
• Etc.
Pour plus de détails, voir manuel de la conférence
Bien choisir ses KPIs
Principe général
• Il faut se poser deux questions :
o Quel est l’objectif de mon métier ?
o A quelle fréquence dois-je prendre des décisions ?
Généralement quotidien, hebdomadaire ou mensuel,
Mais ça dépend de votre organisation
Exemple 1 : business planer
• Rôle : o Prévoir et anticiper les niveaux futurs de revenus et
d’audience sous « n » mois
• Fréquence de décision : o Le business plan est généralement mis à jour
mensuellement
Exemple 1 : business planer
• Métriques calculées par mois
• Audience : MAU, installations par source,
réactivations, abandons
• Monétisation : revenus mensuels, nombre
de payeurs, revenu par payeur
Exemple 2 : responsable acquisition
• Rôle : o Acquérir des joueurs qui rapporteront plus qu’ils ne
coûtent
• Fréquence de décision :
o Bilan quotidien ou hebdomadaire des différentes
campagnes
Exemple 2 : responsable acquisition
• Métriques par campagne, total et par
cohorte
• Rentabilité : ROI actuel et anticipé, CPI,
ARPU observé, LTV prédite
• Qualité : taux de rétention, viralité
Combien faut-il de KPIs ?
• Principe d’exhaustivité : prendre en compte
tous les aspects de la performance
• Principe de parcimonie : avoir trop
d’information a un coût
• Pas plus d’une dizaine !
Calculer des
KPIs
Utiliser l’existant
• Différents outils commerciaux. Prix et qualité
très variables
• Statistiques mises à dispositions par les
plateformes de distribution (notamment
Facebook), mais peu documentées et bugs
réguliers
Ou faire soi-même
• Plus flexible et plus transparent qu’un outil
commercial
• Estimez le coût et multipliez-le par 3 !
• Implémentez d’abord les KPIs classiques
(formules et interprétations disponibles dans
le manuel)
Les précautions à prendre
Attention aux erreurs statistiques
• Les moyennes ne se multiplient pas ! o Le produit des moyennes n’est pas la moyenne des
produits
o LTV ≠ LIFETIME x DARPU !!
• Les médianes (quantiles) ne se multiplient
pas et ne s’additionnent pas
Attention aux ventilations excessives
• Il est tenté de ventiler les KPIs par pays,
genre, âge, payeur ou non, niveau, etc.
• Ces ventilations sont-elles vraiment utiles ?
• Attention à ce qu’il y ait suffisamment de
joueurs dans chaque segment créé
Attention aux valeurs extrêmes
Attention aux valeurs extrêmes
• Un tout petit nombre de joueurs a une très
forte influence sur les moyennes
• Préférer la médiane ou tout autre quantile
plutôt que la moyenne, surtout si peu de
joueurs
Soyez prudents dans vos
interprétations
• Idéalement, un KPI ne varie qu’en fonction de
vos décisions
• En pratique, phénomènes exogènes
incontrôlables ou, pire, artefacts statistiques
Les mirages statistiques :
Valeurs absolues et relatives
Hiiiii !! Le DAU s’effondre !!!
Toujours inclure le 0 sur l’axe vertical
afin de voir les variations relatives
(sauf bonne raison de ne pas le faire)
Les mirages statistiques :
Historique trop court
Interprétez les variations en fonction
de tout ce que vous avez observé
jusqu’à présent et pas seulement en
fonction des dernières données
Les installations s’effondrent !!!
Hulk pas content !
Les mirages statistiques :
Variations naturelles
Les KPIs sont fortement influencés par
des effets hebdomadaires et
saisonniers
Que faites-vous encore là ? Vous devriez être en train de faire la fête avec vos proches !
FFUU !! Les revenus
s’effondrent !!!
Les mirages statistiques :
Les évolutions mécaniques
Le DAU a augmenté suite à une
campagne d’acquisition importante.
Petit à petit, les joueurs acquis
cessent naturellement de jouer, si bien
que le DAU dégonfle.
Le DAU s’effondre. Ca
me rend si triste !
Les mirages statistiques :
Les effets de structure
Un « featuring » sur Facebook a
boosté les installations, ce qui a
provoqué un changement dans la
structure des joueurs : en proportion, il
y a davantage de débutants. Or ceux-
ci ont un taux d’abadon supérieur aux
vétérans
Parlez ! Qu’avez-vous
fait au churn ?
Les données au service de la création ludique
Promotion !
• Les deux premiers jours à 200€ la journée
• J’en profite !
• Incroyable !
Merci pour
votre attention http://ludostat.fr/
contact@ludostat.fr
top related