Concept
Test A/B (Split Testing)
Le test A/B consiste à proposer deux versions d’une même chose, sur la même période, à des clients répartis au hasard, afin que toute différence systématique de comportement puisse être attribuée au seul élément modifié.
Quand un chiffre progresse après une modification, la cause reste le plus souvent incertaine. Une semaine de vacances scolaires, une mention dans un podcast ou un public différent peuvent faire bouger les comportements autant que la modification elle-même. Comparer ce mois-ci au mois dernier mélange tous ces effets. Dans « The Lean Startup », Eric Ries y répond par le test A/B, pratique courante en marketing numérique et dans le commerce en ligne. La version A et la version B sont présentées sur la même période, et le hasard décide qui voit laquelle. Les deux groupes traversent la même semaine, la même météo et la même actualité. La modification devient alors la seule différence systématique entre eux. Le hasard est le cœur de la méthode : laisser les clients choisir, ou réserver la nouvelle version aux meilleurs comptes, réintroduit le biais sans qu’on s’en aperçoive. La seconde exigence compte tout autant : présenter le résultat si simplement que n’importe qui puisse le vérifier, rapporté à chaque client et avec la taille des groupes, avant de décider de ce qu’il signifie.
Un exemple concret
Céline, qui dirige une petite boulangerie en ligne à Lyon, veut savoir si la livraison offerte dès 40 € d’achat augmente les commandes. Plutôt que d’activer l’offre pour tous, elle utilise un script de tirage à pile ou face qui la présente à la moitié des visiteurs pendant trois semaines. Sans l’offre, 1 200 visiteurs passent 48 commandes ; avec elle, 1 180 visiteurs en passent 71. Un week-end pluvieux et un article dans la presse locale touchent les deux groupes de la même façon. Céline envoie le tableau, dates comprises, à une amie, qui parvient à la même conclusion.
Le mettre en pratique
- 1Avant de commencer, choisir une seule modification et un seul indicateur rapporté au client, par exemple le nombre de commandes par visiteur, puis noter le résultat qui conduirait à abandonner la modification.
- 2Répartir les clients selon une règle aléatoire, jamais à la main : inscriptions alternées, script de pile ou face ou dernier chiffre de l’identifiant client conviennent. Faire tourner les deux versions aux mêmes dates.
- 3Présenter le résultat dans un tableau simple : taille des groupes, valeur de l’indicateur pour chacun et dates. Si une autre personne ne peut pas recalculer la conclusion à partir de ce tableau, le compte rendu n’est pas terminé.
