Si vous vérifiez un test A/B chaque matin et que vous l'arrêtez dès que le tableau de bord devient vert, votre taux de faux positifs réel n'est pas de 5 %. Dans une simulation testant la significativité après chaque observation, Evan Miller l'a mesuré à 26.1 %, plus de cinq fois le niveau auquel la plupart des équipes pensent évoluer (Comment ne pas mener un test A/BLe fait qu'une victoire sur quatre ne se reproduise pas n'est pas un problème statistique, mais un problème de stratégie.
Ce guide s'adresse aux équipes de croissance et d'optimisation du taux de conversion (CRO) qui réalisent des tests sur le trafic e-commerce ou de voyage, trop saisonnier pour rester immobile pendant quatre semaines. À la fin de ce guide, vous serez capable de planifier un calendrier de tests avant le lancement, d'interpréter le seuil de chaque test à l'aide d'un tableau, de dimensionner le test en fonction du faible suréchantillonnage nécessaire à la planification et d'identifier les limites de la méthode.
Pourquoi le fait de jeter un coup d'œil enfreint un test à horizon fixe
Un test à horizon fixe utilise la totalité de son budget d'erreur de 5 % une seule fois, pour une taille d'échantillon prédéfinie. Chaque analyse supplémentaire augmente le risque de franchir le seuil. Le problème ne réside pas dans l'analyse des données elles-mêmes, mais dans l'utilisation d'un seuil fixé pour une seule analyse. Le tableau de Miller indique le niveau de signification nécessaire pour maintenir un taux réel de 5 % si l'on souhaite effectuer un nombre défini d'analyses.
| Nombre de regards | Seuil de signification rapporté nécessaire pour un véritable 5 % |
|---|---|
| 1 | 2.9 % |
| 2 | 2.2 % |
| 3 | 1.8 % |
| 5 | 1.4 % |
| 10 | 1.0 % |
Autrement dit : si vous jetez un coup d’œil dix fois, ce que vous considérez comme une signification de 1 % correspond en réalité à 5 %. C’est une méthode grossière, mais honnête. Les méthodes ci-dessous permettent d’obtenir le même résultat de manière plus efficace.
Trois façons de s'arrêter plus tôt, et leurs tarifs respectifs
| Approche | Corriger avant le lancement | Coût par rapport à un test à prix fixe | Utilisez-le quand |
|---|---|---|---|
| horizon fixe | Taille de l'échantillon, une date d'analyse | Aucun, mais aucun arrêt anticipé autorisé | Le trafic est stable, fenêtre courte |
| Groupe séquentiel (dépenses alpha) | Échantillon maximal, nombre et durée des consultations | La taille maximale de l'échantillon augmente d'environ 3 % (O'Brien-Fleming) à environ 20 % (Pocock), 4 apparences | La taille de l'échantillon est estimable |
| Toujours valable (mSPRT) | Rien, en principe | La plus grande perte de puissance des trois sur le même échantillon | La taille de l'échantillon n'est pas estimable |
La troisième ligne est importante car elle correspond à ce que la plupart des plateformes commerciales intègrent. Dans la simulation de Georgi Georgiev, avec un échantillon maximal fixe de 7 045 par groupe, un test à horizon fixe a atteint une puissance de 83.3 %, le test AGILE séquentiel par groupe a atteint son objectif de 80 %, le test SPRT environ 73 % et l’inférence toujours valide 62.4 %. Pour atteindre une puissance de 80 %, l’inférence toujours valide nécessitait environ… 85 % d'échantillons en plus que la conception séquentielle de groupe (Outils d'analyse, 2022Les ingénieurs de Spotify sont parvenus indépendamment à la même conclusion : les tests séquentiels de groupe sont « systématiquement meilleurs ou comparables aux approches toujours valides » lorsque la taille de l’échantillon peut être estimée (Schultzberg et Ankargren, 2023).
Il est important de corriger cela, car le discours du fournisseur est tout autre. La documentation d'Optimizely vous indique de « ne pas effectuer de travail préparatoire à l'expérience, comme le calcul de la taille de l'échantillon avant de lancer l'expérience » (Support OptimizelyLe contrôle des erreurs est réel et la recherche sous-jacente est solide (Johari et al., Inférence toujours valide); ce que le cadrage omet, c'est la facture d'électricité. Statsig, qui met en œuvre la même famille de méthodes, l'affirme clairement : « Si vous avez besoin d'une mesure précise de la taille de l'effet, attendez la puissance totale estimée par votre calcul de puissance pré-expérimental » (Documents Statsig). Considérez l'affirmation « aucune taille d'échantillon nécessaire » comme une affirmation concernant la validité, jamais l'efficacité.
La méthode, étape par étape
Exemple concret : un détaillant de vêtements teste son processus de paiement. Taux de conversion de base : 2.4 %, effet cible : +10 % relatif (2.64 %), alpha bilatéral : 5 %, puissance : 80 %, environ 5 000 sessions par jour.
1. Dimensionnez-le comme si vous ne le regarderiez jamais.
Le dimensionnement à deux proportions donne 66 943 séances par bras133 886 au total. Il ne s’agit pas de frais généraux optionnels simplement parce que vous prévoyez de vous arrêter plus tôt ; c’est le point de référence sur lequel repose le planning.
2. Choisissez le nombre de looks et le moment.
Trois à cinq looks permettent d'exploiter presque tous les avantages disponibles ; au-delà, chaque look supplémentaire engendre un coût d'échantillonnage maximal pour un faible retour sur investissement. Alignez les looks sur des semaines entièresEn effet, la répartition des visites par jour de la semaine influe fortement sur le trafic en magasin. Avec 5 000 sessions par jour, quatre consultations hebdomadaires génèrent près de 140 000 sessions, atteignant ainsi le maximum prévu.
3. Choisissez une fonction de dépenses et notez les seuils.
Une fonction de dépenses alpha détermine la part du budget de 5 % que chaque look peut consommer, en fonction de la quantité de données accumulées (Penn State STAT 509Les deux choix classiques, avec quatre points de mire équidistants et un alpha bilatéral de 0.05 :
| Style | Part de l'échantillon prévu | O'Brien-Fleming : arrêtez si p | Pocock : arrêtez si p |
|---|---|---|---|
| 1 (fin de la semaine 1) | 25 % | 0.0001 | 0.0179 |
| 2 (fin de la semaine 2) | 50 % | 0.0055 | 0.0179 |
| 3 (fin de la semaine 3) | 75 % | 0.0216 | 0.0184 |
| 4 (fin de la semaine 4) | 100 % | 0.0411 | 0.0188 |
| Échantillon maximal vs test fixe | + 3% | + 20% |
Ces valeurs ont été calculées à l'aide des fonctions de dépenses de Lan-DeMets et correspondent à la caractérisation publiée : O'Brien-Fleming utilise « des seuils très stricts au début, mais le seuil d'analyse finale est proche du seuil typique p < 0.05 », tandis que Pocock maintient un seuil quasi constant autour de p < 0.016 (Ciolino, Kaizer et Bonner, 2023).
L'algorithme O'Brien-Fleming est une solution économique : il ne se déclenche quasiment jamais au premier niveau de détection, coûte environ 3 % de plus en termes de taille d'échantillon maximale, et son seuil final est à peine inférieur à 0.05. L'algorithme Pocock, quant à lui, s'arrête prématurément beaucoup plus souvent, mais consomme 20 % de trafic supplémentaire. Privilégiez l'algorithme O'Brien-Fleming pour les indicateurs liés au chiffre d'affaires.
4. Inscrivez la règle dans le ticket avant le lancement.
Une phrase, visible par tous ceux qui peuvent interrompre le test : « Nous examinons les résultats à la fin des semaines 1 à 4, nous ne déclarons un vainqueur que si la valeur p bilatérale pour [indicateur principal] est inférieure au seuil de cette analyse, et sinon nous poursuivons jusqu’à la semaine 4. » Une règle qui reste dans la tête de quelqu’un n’est pas une règle.
5. Fixez également la limite de futilité
La plupart des équipes n'appliquent que des limites d'efficacité, ce qui a pour conséquence d'interrompre prématurément les stratégies gagnantes et de laisser les stratégies perdantes se dérouler jusqu'au bout, une approche contraire au coût d'opportunité. C'est en définissant une limite d'inutilité non contraignante – en arrêtant lorsqu'une victoire significative devient improbable – que l'on réalise la majeure partie des économies de temps. Avec quatre analyses O'Brien-Fleming, la taille de l'échantillon attendue en cas d'effet réel chute à environ 83 % de l'exigence pour un horizon fixe.
6. Ne pas indiquer l'estimation ponctuelle préliminaire comme étant la taille de l'effet
Un test qui s'arrête prématurément s'est arrêté car La capacité de levage observée était exceptionnellement élevée, ce qui biaise l'estimation à la hausse en raison des travaux. Utilisez-la pour la décision concernant le navire, et non pour les prévisions de revenus. Statsig : « Les décisions hâtives produisent souvent des estimations de capacité de levage sous-estimées et très incertaines. »
Liste de contrôle avant le lancement
- Un indicateur principal, déclaré par écrit avant le lancement
- Échantillon maximal et date de fin de calendrier fixes
- Le nombre et le calendrier semblent fixes, alignés sur des semaines entières.
- Fonction de dépenses choisie, seuils inscrits sur le ticket
- Règle de futilité définie, et pas seulement règle d'efficacité
- SRM vérifié à chaque coup d'œil, avant la valeur p est lue
- Les paramètres des glissières de sécurité sont surveillés séparément, en dehors de la règle d'arrêt.
- Quiconque a le pouvoir d'interrompre le test sait que les regards indiscrets sont interdits.
Calibrer cela pour la Turquie et la région
La Turquie a enregistré 5.94 milliards de transactions de commerce électronique en 2025, pour un volume de 4.57 billions de TL, selon le rapport sur les perspectives du commerce électronique du ministère du Commerce présenté en mai 2026 (Daily Sabah, 12 mai 2026Il s'agit d'un vaste marché composé principalement de magasins de taille moyenne, donc des fenêtres de quatre semaines sont courantes — suffisamment longues pour coïncider avec une campagne.
La période de soldes de fin novembre, connue localement sous le nom d'Efsane Cuma, et l'événement du 11.11 qui la précède, changent pour qui Ce qui compte, c'est le nombre de visiteurs sur le site, pas seulement leur nombre. Les visiteurs attirés par les réductions convertissent selon une logique différente ; un planning qui chevauche une campagne ne mesure donc pas une population homogène. Notre règle : terminer avant la campagne ou commencer après. Si un test doit se dérouler pendant une campagne, considérez cette semaine comme une strate distincte et n'arrêtez pas le test pendant celle-ci.
Un deuxième ajustement s'applique à l'ensemble de l'UE et aux bannières de consentement conformes à la loi KVKK en Turquie : si l'analyse est soumise au consentement, une partie de votre trafic n'est pas observée. Taille et programmation sur observée séances, ou chaque look arrive plus tard que prévu par le calendrier.
[DONNÉES INTERNES NÉCESSAIRES : nombre médian de sessions quotidiennes et durée médiane des tests réalisés chez les clients e-commerce de Switas, afin de remplacer le chiffre illustratif de 5 000 sessions/jour par une distribution réelle.]
Là où cela dysfonctionne
- Changement de composition. Les méthodes séquentielles supposent que le flux entrant est interchangeable dans le temps. Une campagne ou une modification des médias payants rompt cette hypothèse, et l'arrêt prématuré bloque la semaine où cela s'avérait inhabituel.
- Nouveauté et primauté. Une mesure effectuée à la première semaine évalue la réaction, et non le comportement établi. Si le changement est visible pour les clients réguliers, il est inutile de fixer une limite d'efficacité pour cette première évaluation.
- Métriques à queue lourde. Le chiffre d'affaires par session est principalement dû à de rares commandes importantes, et les approximations classiques sont peu fiables sur de petits échantillons intermédiaires. Il est donc préférable d'analyser le taux de conversion et d'examiner le chiffre d'affaires en parallèle, ou d'utiliser une approche plus directe et de le préciser.
- Plusieurs indicateurs. Ces limites contrôlent l'erreur pour UN Cinq indicateurs, cinq règles d'arrêt et aucune correction supplémentaire ne vous ramènent à votre point de départ.
- Instrumentation défectueuse. Un test séquentiel franchira sans problème une limite en présence de données corrompues. Il ne remplace cependant pas un contrôle SRM.
- Non traité ici : Les règles d'arrêt bayésiennes, les bandits manchots et la réduction de la variance (comme CUPED) interagissent avec l'arrêt précoce de manière à nécessiter un traitement spécifique.
QFP
Marquez cette section avec le schéma FAQPage.
Puis-je simplement utiliser une valeur p plus stricte au lieu d'une fonction de dépenses ?
Oui, si vous fixez le nombre d'analyses à l'avance et qu'il n'y en a que quelques-unes. Le tableau de Miller indique le seuil. Cette approche est plus prudente que les dépenses liées aux tests alpha ; vous payez donc plus cher pour l'échantillon que nécessaire, mais elle ne requiert aucun nouvel outillage.
Le terme « tests séquentiels » signifie-t-il que je peux ignorer le calcul de la taille de l'échantillon ?
Non. La validité est préservée sans estimation de la taille de l'échantillon ; la puissance statistique, en revanche, ne l'est pas. Les simulations de Georgiev et de Spotify présentent toutes deux le même constat : lorsqu'il est possible d'estimer la taille de l'échantillon, un plan séquentiel par groupes est préférable.
Et si je surveillais une régression plutôt qu'une victoire ?
Il s'agit d'une surveillance des garde-fous, et non d'un test d'hypothèses. Surveillez en continu les indicateurs de sécurité et d'erreur selon une règle distincte et moins stricte, sans modifier la règle d'arrêt principale. Supprimer une variante nuisible aux utilisateurs ne nécessite aucune formalité.
Les tests bayésiens sont-ils à l'abri des tricheries ?
Non. L'arrêt de la règle de décision dès que la probabilité a posteriori franchit un seuil modifie ses caractéristiques de fonctionnement, sauf si elle a été conçue pour un arrêt optionnel. La probabilité a priori modifie la forme du problème, mais pas son existence.
O'Brien-Fleming ou Pocock ?
La méthode O'Brien-Fleming est quasiment toujours privilégiée dans le cadre d'études commerciales. Il est déconseillé d'opter pour la méthode Pocock si une réponse rapide présente un intérêt concret, si la capacité d'absorption d'un échantillon maximal supérieur d'environ 20 % est suffisante et si une livraison est possible dès la première semaine.
Puis-je ajouter un look que je n'avais pas prévu ?
Avec une fonction de suivi des dépenses, oui, à condition que la décision de consulter ne soit pas influencée par les données que vous allez voir. Consulter un tableau de bord simplement parce qu'il « semblait proche » dépend des données et annule la garantie.
Collaborez avec nous sur ce point.
Si vous menez des expériences sur une plateforme de commerce électronique turque ou régionale et que la règle d'arrêt actuelle est « vérifier chaque matin », nous la reconstruirons avec vous : dimensionnement, calendrier de consultation, limites, règle d'inutilité et porte SRM, intégrés à votre modèle d'expérience afin que le test suivant en hérite. Parlez à Switas de votre programme d'expérimentation.
Références
- Evan Miller, Comment ne pas mener un test A/B
- Johari, Pekelis, Walsh et Koomen, Inférence toujours valide : surveillance continue des tests A/B; publié dans Recherche opérationnelle 70 (3), 2022
- Georgi Georgiev, Comparaison de la puissance statistique des tests séquentiels, Analytics-Toolkit, novembre 2022 (mis à jour en mars 2023)
- Schultzberg et Ankargren, Choisir un cadre de tests séquentiels, Spotify Engineering, mars 2023
- De manière optimisée, Aperçu des méthodes d'analyse statistique
- Statsig, Tests séquentiels fréquentistes
- Ciolino, Kaizer et Bonner, Recommandations relatives aux méthodes d'analyse intermédiaire dans les essais cliniques, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Approche de la fonction de dépenses Alpha
- pacte, Définition des limites séquentielles du groupe
- Le volume du commerce électronique en Turquie devrait augmenter de plus de 52 % en 2025., Daily Sabah, 12 mai 2026, rapportant le rapport du ministère du Commerce sur les perspectives du commerce électronique
