La plupart des tests A/B en e-commerce sont déclarés en fonction de la métrique qui a progressé. C'est ainsi qu'une équipe lance une variante qui a augmenté le taux de conversion de 4 % et a engendré des pertes. La solution consiste à corriger ce problème avant le lancement : choisir une métrique principale, définir son seuil maximal et son effet minimal détectable, et considérer toutes les autres comme des mesures de sécurité. Le choix de la métrique n'est pas une question d'esthétique. L'équipe d'expérimentation de Microsoft a mesuré le revenu par utilisateur comme étant sa métrique la plus biaisée et a démontré que le plafonnement de cette métrique réduisait le nombre minimal d'utilisateurs par bras de test d'environ 114 000 à 9 700 pour que le test reste statistiquement fiable.Kohavi et al., KDD 2014Ce guide compare les cinq indicateurs clés sur lesquels les équipes débattent réellement et vous donne les calculs nécessaires pour choisir entre eux.
Les cinq candidats et ce que chacun mesure réellement
Taux de conversion des utilisateurs. La part des utilisateurs du groupe ayant passé au moins une commande. Variable binaire, bornée, à faible variance. Indépendante de la taille du panier, elle favorise donc les commandes à bas prix.
Revenu par utilisateur (RPU). Chiffre d'affaires du secteur divisé par le nombre d'utilisateurs du secteur (zéros inclus). Indicateur le plus proche de l'activité, et donc le plus vulnérable à une seule commande importante.
Revenu plafonné par utilisateur. On utilise la même métrique, mais en plafonnant les revenus de chaque utilisateur à une valeur limite fixée avant le lancement. Cela implique un léger biais, mais une forte réduction de la variance.
Valeur moyenne des commandes (AOV). Chiffre d'affaires divisé par le nombre de commandes. Ce n'est jamais un indicateur principal dans un test randomisé par utilisateurs : son dénominateur est un résultat du test, donc une variante qui obtient plus de petites commandes affiche un panier moyen en baisse tout en générant plus de revenus.
Revenus par session. Un autre ratio dont le dénominateur n'est pas l'unité de randomisation. Randomisez les utilisateurs, analysez les sessions, et un test t naïf donne une mauvaise estimation de la variance : vous avez besoin de la méthode delta ou d'un estimateur prenant en compte les clusters (Deng, Knoblich et Lu, KDD 2018).
Comparez-les selon six critères
| Critère | CVR utilisateur | RPU | RPU plafonné | AOV | Revenus par session |
|---|---|---|---|---|---|
| Le dénominateur est l'unité de randomisation | Oui | Oui | Oui | Non | Non |
| Trafic nécessaire | Prévisible | Cela dépend de l'asymétrie | Low | Low | Moyenne |
| Sensible à la taille du panier | Non | Oui | Partiellement | Oui | Oui |
| Survit à une énorme commande | Oui | Non | Oui | Non | Non |
| Défendable pour le financement | Non | Oui | Presque | Non | Presque |
| Sûr comme indicateur principal | Oui | Avec le dimensionnement | Oui | Jamais | Uniquement avec la méthode delta |
Déterminez si le revenu par utilisateur vous coûte réellement du trafic
La croyance populaire veut que les indicateurs de revenus nécessitent toujours un trafic bien supérieur au taux de conversion. Ce n'est pas une règle absolue, mais la conséquence d'un seul chiffre : le coefficient de variation (CV) du revenu par utilisateur, soit son écart type divisé par sa moyenne, pour l'ensemble des utilisateurs, y compris les non-acheteurs.
Pour une puissance de 80 % et un test bilatéral de 5 %, le nombre d'utilisateurs par bras nécessaire pour détecter la même chose relatif L'effet est approximativement de 16·p(1−p)/(p·r)² pour un taux binaire et de 16·CV²/r² pour une métrique continue. En les égalisant, le seuil de croisement est CV = √((1−p)/p).
| Votre taux de conversion utilisateur | CV du revenu par utilisateur en dessous duquel le RPU ne nécessite pas de trafic supplémentaire |
|---|---|
| 1.0 % | 9.9 |
| 2.0 % | 7.0 |
| 2.4 % | 6.4 |
| 3.0 % | 5.7 |
| 5.0 % | 4.4 |
Exemple pratique, avec des chiffres illustratifs plutôt que des données client. Une boutique convertit 2.4 % des utilisateurs, le revenu moyen par utilisateur est de 24 unités monétaires et les commandes sur 90 jours présentent un écart type de 240, soit un coefficient de variation (CV) de 10. Détecter une augmentation relative de 10 % nécessite environ 65 000 utilisateurs par bras pour le taux de conversion et environ 160 000 pour le revenu par utilisateur brut. En plafonnant la métrique au 99e percentile de la valeur des commandes, le CV se situe généralement entre 4 et 6 ; avec un CV de 6, le besoin est d'environ 58 000. moins chère que le taux de conversion.
Une procédure en quatre étapes
- Nommez la décision, pas l'indicateur. Écrivez la phrase : « Si cette solution est approuvée, nous la déploierons sur l’ensemble du trafic et nous nous attendons à un résultat X. » L’indicateur est tout ce qui permet de vérifier cette phrase.
- Éliminer les rapports dont le dénominateur peut être modifié par le test. Le panier moyen est immédiatement placé sur la liste des valeurs à risque. Le revenu par session n'est conservé que si votre outil gère la variance en fonction du cluster.
- Calculez le CV et lisez le tableau. En dessous du seuil, utilisez le RPU. Au-dessus, plafonnez le RPU. Si le seuil est toujours dépassé, utilisez le taux de conversion utilisateur et ajoutez le RPU à la liste des limites.
- Figez la limite de capacité, le MDE et l'environnement d'exécution par écrit avant même qu'un seul utilisateur ne soit exposé. Un plafond choisi après avoir examiné les données n'est pas un plafond, c'est un résultat.
Comment régler le bouchon
Calculez le 99e centile du revenu par utilisateur sur une période au moins aussi longue que celle du test prévu, en tenant compte de la même saisonnalité, et consignez-le dans le document de test. Présentez le RPU plafonné comme résultat principal et le RPU non plafonné en parallèle. Si les deux tendances divergent, cela est probablement dû à quelques commandes très importantes : une piste à explorer, et non un résultat à exploiter.
Quels changements sur un marché à forte inflation ?
La Turquie a enregistré une inflation annuelle des prix à la consommation de 31.51 % et une inflation mensuelle de 1.84 % en août 2026 (Présidence de la stratégie et du budget, 4 septembre 2026, données de TÜİKLes équipes ici supposent souvent que cela invalide les indicateurs de performance basés sur les revenus. Ce n'est pas le cas, et cette correction est importante :
- Cela ne biaise pas la comparaison. Les deux branches subissent simultanément les mêmes variations de prix. Ce contrôle simultané est précisément ce qui vous protège.
- Cela compromet votre modèle économique. Convertissez la hausse en pourcentage et appliquez-la à un plan de revenus prévisionnel. Ne multipliez jamais une variation de change absolue sur quatre semaines par 13.
- Cela rompt avec les normes historiques. Un CV calculé sur les commandes de l'année dernière est inadapté pour dimensionner le test d'aujourd'hui. Recalculez-le sur une période récente.
- Il interagit avec votre casquette. Un plafond de change fixe établi en janvier est beaucoup plus restrictif en décembre. Il faut recalculer le percentile chaque trimestre.
La même logique s'applique à tout marché où les prix fluctuent rapidement ou dont la monnaie est volatile.
Garde-fous : ce que vous vérifiez mais ne déclarez jamais sur
Une barrière peut empêcher une victoire, mais ne peut pas la créer. Déclarez-vous sur la base d'un indicateur principal et limitez cette liste, car chaque indicateur supplémentaire sur lequel vous vous baseriez augmenterait votre taux de faux positifs (Kohavi, Deng et Vermeer, KDD 2022). Un ensemble par défaut fonctionnel :
- Revenus illimités par utilisateur, pour une vérification concrète du plafond
- Commandes par utilisateur, pour prendre un lift qui ne fait que partager le panier
- Taux de retour ou d'annulation variable selon le délai imparti, car une modification du processus de paiement qui permet de valider les commandes problématiques peut sembler avantageuse pendant deux semaines.
- Indicateurs Web essentiels sur le modèle modifié
- Ratio d'échantillonnage, vérifié quotidiennement ; toute incohérence invalide tout ce qui précède
Là où cela dysfonctionne
Cette procédure suppose une randomisation au niveau de l'utilisateur, un test à la fois sur la surface concernée et un achat finalisé pendant la période de mesure. Elle est inutile lorsque :
- Le cycle d'achat est plus long que la période d'essai. Les réservations dans le secteur du voyage et du commerce de détail à forte valeur ajoutée sont généralement enregistrées plusieurs semaines après la séance. Utilisez un indicateur avancé dont la corrélation avec le chiffre d'affaires est validée, et considérez qu'il s'agit plutôt d'un test.
- Le trafic est inférieur au seuil à tous les niveaux de limitation. Avec environ 10 000 utilisateurs par bras et par semaine, des tests d’utilisabilité modérés et un audit UX vous en apprendront plus qu’un test sous-dimensionné.
- Cette modification vise un sous-groupe. Un indicateur calculé sur l'ensemble des utilisateurs atténue un effet limité, par exemple, aux paiements échelonnés. Il est préférable d'enregistrer le segment au préalable comme faisant partie intégrante de la population plutôt que de le segmenter a posteriori.
- Le chiffre d'affaires est comptabilisé différemment de ce que déclenche l'étiquette. Si les revenus d'achat de GA4 et votre tableau de commandes ne correspondent pas, corrigez cela en premier.
- Votre méthode de comptage des conversions n'est pas celle que vous croyez. GA4 comptabilise un événement clé soit une fois par événement, soit une fois par session, selon la manière dont il a été créé. Par conséquent, un même comportement peut donner lieu à cinq conversions ou à une seule (Aide Google Analytics).
Le tableau CV est un outil de triage pour choisir entre différentes métriques, et non un substitut à un calcul de puissance. Dimensionnez le test en fonction de la métrique choisie, avec votre propre estimation de la variance.
Foire aux questions
Marqué pour le schéma FAQPage.
Puis-je utiliser deux indicateurs principaux si je dois obtenir les deux résultats pour gagner ?
C'est possible, et cela rend le test plus conservateur. Exiger que les deux tests soient significatifs diminue la puissance statistique ; il faut donc privilégier le test le plus difficile. En revanche, vous ne pouvez pas tirer de conclusions sur le résultat du test le plus difficile.
Le plafonnement des revenus biaise-t-il le résultat ?
Oui, volontairement. Un indicateur plafonné mesure le chiffre d'affaires par commande type plutôt que le chiffre d'affaires total. Ce biais est le prix à payer pour une marge d'erreur exploitable, et il est acceptable car il s'applique de la même manière aux deux branches. Indiquez le chiffre non plafonné en parallèle afin que la différence reste visible.
À quel percentile le plafond devrait-il se situer ?
Le 99e centile du revenu par utilisateur constitue une valeur par défaut raisonnable. Si le coefficient de variation (CV) reste supérieur à ce seuil, essayez 97.5. En dessous du 95e centile environ, vous commencez à écarter les paniers importants habituels plutôt que les valeurs aberrantes.
Pourquoi la valeur moyenne des commandes est-elle un si mauvais indicateur principal ?
Car le test modifie le nombre de commandes. Une variante qui convertit davantage les clients hésitants, dont le panier moyen est plus faible, augmente le chiffre d'affaires et diminue simultanément le panier moyen. Le panier moyen est un indicateur permettant d'interpréter une variation du chiffre d'affaires, et non un élément de décision.
Puis-je modifier la métrique principale après le début du test ?
Non. Choisir la métrique après avoir examiné les données revient à interrompre le test après les avoir examinées, et cela augmente de la même manière le nombre de faux positifs. Si la métrique choisie s'avère erronée, notez-le, terminez l'exécution et considérez le résultat comme exploratoire.
Comment gérer plusieurs devises ?
Convertissez toutes les commandes dans une seule devise de reporting à un taux unique, figé au début du test, et non au taux journalier. Un taux variable introduit une variance indépendante de votre variante et impacte différemment les différentes branches lorsque leur trafic diffère.
Que se passera-t-il si le taux de conversion augmente et que le revenu plafonné par utilisateur diminue ?
C'est le résultat le plus instructif de ce guide. Cette variante remporte davantage de commandes de faible valeur. La décision d'expédier la commande dépend de la marge et de la fidélisation des clients ; il convient donc de la considérer comme une décision commerciale plutôt que de la résoudre uniquement par des statistiques.
Exécutez ceci lors de votre prochain test
Extrayez les revenus par utilisateur sur 90 jours, calculez le coefficient de variation et comparez-le au tableau ci-dessus avant de rédiger votre prochain cahier des charges de test. Si vous préférez définir les indicateurs, les plafonds et les limites une seule fois et les appliquer de manière cohérente à l'ensemble d'un programme d'expérimentation, c'est ce que notre service d'optimisation du taux de conversion t.
Références
- Ron Kohavi, Alex Deng, Roger Longbotham, Ya Xu. Sept règles empiriques pour les expérimentateurs de sites web. KDD 2014.
- Alex Deng, Ulf Knoblich, Jiannan Lu. Application de la méthode Delta en analyse métrique : un guide pratique et des idées novatrices. KDD 2018.
- Ron Kohavi, Alex Deng, Lukas Vermeer. Démystifier les idées reçues sur les tests A/B : idées fausses courantes dans les expériences contrôlées en ligne. KDD 2022.
- Présidence de la stratégie et du budget, République de Turquie. Évolution des prix à la consommation et à la production en août 2026, le 4 septembre 2026, rapportant les chiffres de TÜİK de 1.84 % de variation mensuelle et de 31.51 % de variation annuelle de l'IPC.
- Aide Google Analytics. Modifier la méthode de comptage des événements clés.
