La plupart des tests A/B échouent avant même d'être vus par un seul visiteur. Non pas parce que l'hypothèse était faible ou la conception mauvaise, mais parce que personne ne s'est assuré que le test puisse fournir une réponse.
Le scénario est classique. Une équipe déploie une variante, analyse les données et, après dix jours, constate une hausse de 6 % (p = 0.14). Quelqu'un déclare : « La tendance est positive, attendons une semaine de plus. » Une semaine passe. La hausse est désormais de 4 %, p = 0.09. Le test est qualifié de « succès directionnel » et déployé, ou bien il est abandonné, jugé non concluant. Dans les deux cas, trois semaines de trafic n'ont rien apporté de concluant — et ce résultat était entièrement déterminé avant même le lancement par quatre chiffres que personne n'a vérifiés.
Cet article porte sur ces quatre chiffres.
Les quatre entrées
La taille de l'échantillon n'est pas une question de jugement. Elle dépend de quatre paramètres, et tout programme d'expérimentation sérieux les fixe avant son lancement, et non après.
| Entrée | Ce que cela veut dire | Valeur typique |
|---|---|---|
| Taux de conversion de base | Le taux actuel de la métrique que vous testez, mesuré sur la page et auprès de l'audience exactes sur lesquelles le test sera exécuté. | Quelles que soient vos données |
| Effet minimal détectable (EMD) | Le plus petit changement que vous souhaitez que le test soit capable de détecter | 5 à 20 % en valeur relative, selon le trafic |
| Niveau de signification (α) | Votre tolérance à déclarer un vainqueur qui n'est pas réel | 0.05 |
| Puissance statistique (1−β) | Votre probabilité de détecter un effet qui is réal | 0.80 |
Donnez ces quatre valeurs à une calculatrice et elle vous renverra le nombre de visiteurs requis. par variante. Notre Calculateur de test A/B gratuit Cela se fait exactement ainsi, et cela prend une trentaine de secondes – c'est le but recherché. Si les équipes sautent cette étape, ce n'est pas parce qu'elle est difficile, mais parce que la réponse est souvent désagréable.
MDE est l'entrée que tout le monde comprend mal.
L'effet minimal détectable est le paramètre le plus néfaste, car son nom suggère quelque chose qu'il n'est pas.
MDE est pas L'effet escompté. Il ne s'agit ni d'une prédiction, ni d'un objectif, ni d'une prévision. C'est un seuil de détection : le plus petit effet réel que votre test a 80 % de chances de détecter. Fixer ce seuil à 5 % revient à dire : « Si l'amélioration réelle est inférieure à 5 %, j'accepte que ce test ne la détecte probablement pas. »
Il en découle deux conséquences, et toutes deux sont importantes.
Un test ne peut répondre qu'à la question pour laquelle il a été dimensionné. Si vous dimensionnez l'effet pour une différence minimale significative (DMS) de 20 % et que l'effet réel est de 7 %, le test conclura très probablement à l'absence de différence significative. Cela ne signifie pas que la variante est inefficace. Cela signifie simplement que votre test n'a pas permis de détecter des effets de cette ampleur – une affirmation totalement différente, souvent mal interprétée par les équipes qui la traduisent par « nous l'avons testé, ça n'a pas fonctionné ».
L'EMD relative et l'EMD absolue ne sont pas interchangeables. Une valeur de base de 2.5 % avec une valeur de 10 % relatif MDE signifie détecter un passage à 2.75 % — un absolu Une différence de 0.25 point de pourcentage. Si vous entrez 10 dans un champ de calculatrice en attendant un résultat en pourcentage absolu, vous demandez en réalité de détecter une variation de 2.5 % à 12.5 %, et l'outil vous répondra sans hésiter que 400 visiteurs suffiront. Vérifiez la convention utilisée par votre calculatrice. Cette simple confusion invalide plus de plans de test que toute autre erreur que nous rencontrons.
Un exemple concret
Un client e-commerce souhaite tester une nouvelle mise en page pour la fiche produit. Le taux de conversion actuel de cette page est de 2.5 %. Il souhaite détecter une amélioration relative de 10 %, soit une augmentation à 2.75 %.
Pour α = 0.05 et une puissance de 80 %, l'exigence est approximativement 100 000 visiteurs par variantesoit environ 128 000 au total.
Cette page reçoit 40 000 visiteurs par mois. Le test a donc besoin d'un peu plus de trois mois pour atteindre la taille d'échantillon prévue.
C’est ce chiffre qui change la donne. Non pas parce que trois mois sont impossibles, mais parce qu’il s’agit désormais d’une décision prise en toute transparence — avant le lancement, avec des compromis clairement définis — plutôt que d’une déception qui se fait sentir lentement au 21e jour.
Modifiez maintenant une entrée. Conservez la même valeur de référence, mais dimensionnez-la pour une augmentation relative de 20 % au lieu de 10 % :
| MDE (relatif) | Différence absolue | Visiteurs par variante | Temps passé à 40 000 km/mois |
|---|---|---|---|
| 5% | 0.125 pp | ~ 256,000 | ~13 mois |
| 10 % | 0.25 pp | ~ 64,000 | ~3.2 mois |
| 20 % | 0.5 pp | ~ 16,800 | ~ 25 jours |
| 30 % | 0.75 pp | ~ 7,700 | ~ 12 jours |
Réduire de moitié la MDE quadruple approximativement la taille de l'échantillon. Cette relation n'est pas une simple coïncidence : la taille de l'échantillon est inversement proportionnelle au carré de la taille de l'effet. C'est l'élément le plus important à retenir concernant la conception d'expériences, car il permet d'identifier les leviers d'action. Augmenter l'ampleur du changement coûte bien moins cher que d'attirer davantage de trafic.
Une variante timide qui déplace un bouton de deux pixels nécessite un échantillon trop petit pour être fourni par un site de taille moyenne. Une variante qui restructure la page a, en revanche, une chance de réussir. C'est pourquoi les programmes de tests prudents s'enlisent : non pas parce que les idées sont mauvaises, mais parce qu'elles sont trop petites pour être mesurées.
Là où se situe réellement le trafic
L'autre levier, souvent négligé dans les calculs, est le taux de base. La taille de l'échantillon requise diminue fortement à mesure que le taux de base augmente.
Prenez le même MDE relatif de 10 %, mais appliquez-le à l'étape d'expédition du processus de paiement, où 40 % des arrivées poursuivent jusqu'au paiement :
- Valeur de référence 2.5 % → ~2 400 par variante
- Valeur de référence 40 % → ~2 400 par variante
Même MDE, même confiance, même puissance. Vingt-six fois moins de trafic.
Cette page reçoit évidemment beaucoup moins de visiteurs que la page produit. Mais le besoin diminue plus vite que le trafic, c'est pourquoi les tests en profondeur sont souvent les seuls tests qu'un site à trafic moyen peut réellement réaliser. Si votre taux de conversion global est de 2 %, tester la page d'accueil représente un engagement d'un an et tester la page de paiement, deux semaines.
Conseil pratique : lorsque la calculatrice renvoie un nombre impossible, avant d’élargir l’estimation minimale de la différence (EMD), vérifiez s’il existe une étape ultérieure dans le processus où la même hypothèse peut être testée par rapport à une valeur de référence plus élevée.
Que se passe-t-il réellement lorsque vous sautez cette étape ?
Il existe deux modes de défaillance, et le second est beaucoup moins connu que le premier.
Vous passez à côté de véritables améliorations. Un test sous-dimensionné ne donne aucun résultat significatif pour une modification qui, pourtant, fonctionne réellement. L'équipe conclut que l'idée était mauvaise et abandonne une piste prometteuse. C'est l'échec le plus connu, et le moins coûteux des deux.
Vos gagnants sont surévalués. C'est celui qui corrompt insidieusement les résultats d'un programme. Dans un test sous-dimensionné, le seul moyen pour un résultat de franchir le seuil de signification est qu'un bruit aléatoire l'en éloigne suffisamment — ce qui signifie que les effets que vous do Les chiffres déclarés sont systématiquement plus importants que la réalité. Plus le pouvoir de persuasion est faible, plus l'exagération est grande.
Un programme sous-dimensionné ne se contente pas de passer à côté d'opportunités. Il génère un historique de tests rempli de succès aux gains surestimés, qui sont ensuite multipliés par le trafic pour prévoir un chiffre d'affaires qui ne se concrétisera jamais. Six mois plus tard, on s'interroge : pourquoi la somme des succès ne se reflète-t-elle pas dans le chiffre d'affaires global ? Voici généralement la réponse.
On ne peut pas corriger cela lors de l'analyse. Il faut l'éviter dès la conception.
Par variante, et non au total
Le résultat de la calculatrice est requis pour chaque bras du test. Deux variantes signifient le double du nombre. Cela paraît évident et est pourtant constamment mal interprété, généralement de manière optimiste.
Les variantes multiples aggravent doublement le problème. Un test A/B/C/D nécessite quatre fois plus d'échantillon que la figure à un seul bras. et Trois comparaisons simultanées avec un groupe témoin augmentent considérablement le risque d'au moins un faux positif, bien au-delà des 5 % prévus. La correction de ce biais relève encore davantage le seuil requis.
Pour la plupart des sites, la règle pratique est la suivante : sauf si vous disposez d'un trafic important, effectuez deux tests. Un test à quatre volets sur une page qui peine déjà à gérer un test à deux volets n'apporte pas quatre fois plus d'apprentissage. Au contraire, l'apprentissage est nul, et dispensé plus lentement.
La durée est une contrainte distincte.
Il est nécessaire d'atteindre la taille d'échantillon requise. Cela ne suffit pas.
Un test qui atteint ses objectifs en quatre jours n'a analysé que quatre jours de comportement. Le trafic en semaine et le week-end convertissent différemment. Les cycles de paie ont un impact significatif en e-commerce. Les campagnes payantes lancées en cours de test modifient la composition de votre audience. De plus, les nouveaux designs produisent un effet de nouveauté qui s'estompe : l'engagement initial avec une interface inconnue n'est pas un indicateur fiable des performances à long terme.
Effectuez le test pendant au moins une semaine complète, et de préférence deux, indépendamment de la taille de l'échantillon que permet le calcul. La contrainte la plus longue (taille de l'échantillon ou cycle économique) prévaudra. Fixez la date de fin à l'avance plutôt que de vérifier chaque matin et d'arrêter lorsque les chiffres semblent bons ; cette dernière méthode, bien qu'inefficace, est un moyen efficace de fausser les résultats.
Lorsque le nombre est impossible
Parfois, la réponse honnête est que le test ne peut pas être réalisé. C'est une information utile, et il existe cinq réponses raisonnables.
Testez un changement plus important. La relation quadratique fait de cette option, et de loin, la plus avantageuse. Il faut repenser le flux plutôt que le bouton.
Passer à un indicateur de référence plus élevé. Effectuez le test sur l'ajout au panier ou l'entrée dans la page de paiement plutôt que sur l'achat. L'ampleur de l'effet est mesurée sur une base plus large et la taille de l'échantillon requise diminue. Acceptez que vous mesuriez un indicateur indirect et validez le lien avec le chiffre d'affaires séparément.
Tester plus en aval du processus, comme ci-dessus.
Regrouper les pages similaires. L'exécution d'un seul test sur toutes les pages de catégories plutôt que sur une seule catégorie multiplie le trafic disponible, à condition que les pages aient un comportement suffisamment similaire pour que la mise en commun soit justifiée.
Arrêtez les tests et commencez la recherche. Si un site ne permet pas de mener une expérience, le test A/B n'est pas adapté. Les tests d'utilisabilité, l'enregistrement des sessions et l'analyse heuristique permettent de détecter les problèmes plus rapidement et à moindre coût. La validation quantitative intervient ultérieurement, une fois que les changements sont suffisamment importants pour être mesurables. Il n'y a aucune honte à cela : réaliser des tests sous-dimensionnés pour se donner bonne conscience est pire que de ne pas en réaliser du tout.
Liste de contrôle avant le vol
Avant tout lancement de test :
- [ ] Valeur de référence mesurée sur la page et auprès de l'audience réelles sur lesquelles le test sera exécuté, et non à l'échelle du site.
- [ ] MDE énoncé explicitement, par écrit, avec des spécifications relatives ou absolues
- [ ] Taille de l'échantillon calculée par variante et multiplié par le nombre de bras
- Durée requise comparée au trafic disponible — et réponse acceptée avant le lancement
- [ ] Date de fin fixée à l'avance
- [ ] Au minimum un cycle économique complet, quelles que soient les conclusions de l'exemple mathématique
- [ ] L'unité de randomisation correspond à l'unité d'analyse (affectation au niveau du visiteur, indicateurs au niveau du visiteur)
- [ ] Répartition du trafic vérifiée dès les premières heures : un test 50/50 donnant 53/47 indique un problème d’instrumentation, et les résultats sont inutilisables tant que ce problème n’est pas résolu.
Effectuez les calculs avant de créer la variante.
Le calcul complet prend une demi-minute et influence directement le résultat. Les équipes qui dimensionnent d'abord leurs tests conçoivent des variantes plus audacieuses, car elles peuvent ainsi évaluer le coût des versions plus timides.
Saisissez votre taux de conversion de base, l'effet que vous souhaitez détecter, ainsi que vos paramètres de confiance et de puissance. Si le résultat est supérieur à votre trafic, cela ne justifie pas le lancement : il s'agit d'un test vous indiquant de revoir votre stratégie.
Foire aux questions
De combien de visiteurs ai-je besoin pour un test A/B ? Il n'existe pas de nombre universel. Cela dépend de votre taux de conversion de base, du plus petit effet que vous souhaitez détecter et des niveaux de signification et de puissance que vous avez choisis. Une page convertissant à 2.5 % nécessite environ 64 000 visiteurs par variante pour détecter une amélioration relative de 10 % ; une étape de paiement convertissant à 40 % nécessite environ 2 400 visiteurs pour le même effet relatif.
Quel est un bon effet minimal détectable ? La valeur minimale que votre trafic peut supporter dans un délai raisonnable. Partez de votre trafic disponible et d'une durée cible de deux à quatre semaines, puis déterminez la MDE (variable minimale d'évolution) appropriée. Si cette MDE est supérieure à la variation que vous testez, repensez le test.
Puis-je interrompre un test prématurément s'il est clairement en train de gagner ? Pas avec un test standard à horizon fixe. Vérifier et s'arrêter systématiquement au premier résultat significatif augmente considérablement le taux de faux positifs, le faisant dépasser largement les 5 %. Si vous devez pouvoir interrompre le test prématurément, utilisez une méthode conçue à cet effet (tests séquentiels ou cadre bayésien) et prenez cette décision avant le lancement, et non pendant.
Que se passe-t-il si mon test atteint le seuil de signification avant que la taille de l'échantillon ne soit atteinte ? Abordez cette situation avec prudence et poursuivez votre objectif jusqu'à son terme prévu. Une importance trop précoce dans une période de faible puissance statistique est précisément ce qui engendre des gagnants surévalués et non reproductibles.
80 % de puissance, est-ce suffisant ? C'est le choix par défaut habituel et un point de départ raisonnable, mais cela implique d'accepter un risque de 20 % de passer à côté d'un effet réel. Pour les décisions importantes — comme la refonte d'un processus de paiement ou une modification des prix — une puissance statistique de 90 % justifie l'échantillonnage supplémentaire. Pour les modifications peu coûteuses et réversibles, 80 % suffisent.
Vous n'êtes pas sûr que votre programme de tests produise de vraies réponses ?
Si votre journal de tests regorge de petits succès qui n'apparaissent jamais dans les résultats globaux, le problème se situe généralement en amont de l'analyse. Nous examinons les programmes d'expérimentation et vous indiquons clairement les points faibles de la conception.
