Le test A/B est une méthode d'expérimentation contrôlée qui consiste à comparer deux versions (ou plus) d'une page web, d'un écran d'application, d'un e-mail ou de tout autre support numérique afin de déterminer laquelle obtient les meilleurs résultats par rapport à un objectif défini, comme le taux de clic, le taux d'inscription ou le revenu par visiteur. Dans sa forme la plus simple, le trafic est réparti de façon aléatoire entre une version de contrôle (A) et une variante (B), puis une analyse statistique est appliquée aux données recueillies pour établir si l'écart de performance observé est un effet réel ou simplement le fruit du hasard. La technique s'inspire directement de la méthodologie de l'essai contrôlé randomisé utilisée en recherche clinique et en sciences agronomiques, ce qui explique pourquoi les praticiens évoquent souvent la significativité statistique, les intervalles de confiance et les calculs de taille d'échantillon lorsqu'ils conçoivent un test.
Le test A/B est précieux parce qu'il remplace l'opinion subjective et le débat interne par des preuves empiriques sur le comportement réel des visiteurs. Les équipes design et marketing divergent fréquemment sur le titre, la couleur de bouton, la mise en page ou la structure tarifaire qui convertira le mieux, et l'intuition est un guide notoirement peu fiable : des études menées sur des sites e-commerce et SaaS ont montré à de nombreuses reprises que les changements censés améliorer le taux de conversion n'y parviennent pas, voire le dégradent, dans environ 80 à 90 % des tests réalisés. En soumettant une hypothèse à une audience réelle et en mesurant directement le résultat, le test A/B permet aux organisations de valider ou d'écarter une idée avant d'engager du temps d'ingénierie, du budget marketing ou le risque pour la marque dans un déploiement complet.
Mener un test A/B valide demande bien plus que répartir le trafic et comparer le nombre de conversions. Les analystes calculent à l'avance une taille d'échantillon minimale, en fonction du taux de conversion de référence, de l'effet minimal détectable qui importe pour l'entreprise, de la puissance statistique souhaitée (généralement 80 %) et du niveau de signification (généralement 95 %, soit une valeur p inférieure à 0,05). Les tests sont généralement menés sur au moins un à deux cycles commerciaux complets, souvent 14 à 30 jours, afin de tenir compte des effets liés au jour de la semaine et d'éviter de s'arrêter prématurément sur une fluctuation aléatoire, une erreur connue sous le nom de « peeking ». Des outils tels que VWO, Optimizely et AB Tasty gèrent la randomisation, le suivi et les calculs statistiques, mais l'interprétation des résultats exige toujours de comprendre des notions comme le décalage de ratio d'échantillon (sample ratio mismatch) et les effets de nouveauté.
Une idée reçue courante veut qu'un résultat statistiquement significatif issu d'un seul test soit une vérité permanente et universelle. En réalité, les résultats sont propres au segment de trafic, à la période et au contexte dans lesquels le test a été mené, et ils peuvent s'éroder ou s'inverser lorsque les audiences, les saisons ou les conditions concurrentielles évoluent. Autre écueil fréquent : tester trop de variables à la fois sans disposer d'un trafic suffisant, ce qui produit des tests sous-dimensionnés qui signalent de faux positifs ou n'atteignent jamais la significativité. Le test multivarié, qui examine simultanément des combinaisons de plusieurs éléments, nécessite nettement plus de trafic qu'un simple test A/B à deux variantes et ne permet nullement de contourner les exigences de taille d'échantillon.
Dans le cadre d'une mission de conseil en CRO ou en UX, le test A/B est le mécanisme qui transforme la recherche qualitative, comme les entretiens utilisateurs, les cartes de chaleur et les enregistrements de sessions, en décisions validées et génératrices de revenus. Un programme de tests bien conduit suit généralement un processus structuré : identifier un point de friction à partir des données et de la recherche, formuler une hypothèse précise sur son origine et la manière de le corriger, la prioriser face aux autres idées à l'aide d'une grille de scoring, mener l'expérimentation jusqu'à la validité statistique, puis documenter l'enseignement tiré, que la variante l'ait emporté ou non. Au fil du temps, cette démarche constitue une feuille de route fondée sur les preuves, qui réduit le risque de refontes coûteuses et capitalise une connaissance durable de ce qui influence réellement le comportement des clients sur un site donné.
Autres termes commençant par A
Métriques pirates AARRRAbove the fold (zone visible sans défilement)Critères d'acceptation (Acceptance Criteria)Accessibilité (conformité WCAG)Audit d'accessibilitéMarketing d'affiliationAffordanceDéveloppement agile (Agile)Design atomique (Atomic Design)Modélisation de l'attributionFenêtre d'attribution (attribution window)Panier moyen (AOV)
