Tests A/B bayésiens

Le test A/B bayésien est une approche d'analyse expérimentale qui évalue la probabilité qu'une variante soit plus performante qu'une autre, compte tenu des données observées et des informations préalables fournies. Il se distingue de l'approche fréquentiste, qui évalue la surprise que susciteraient les données si la variante était sans effet. La différence pratique réside dans le résultat : les méthodes bayésiennes produisent des conclusions telles que « il y a 93 % de chances que la variante B soit plus performante que la variante témoin, avec une perte attendue de 0.2 % en cas de mauvais choix », qui sont directement applicables aux décisions commerciales.

Cette méthode consiste à combiner une distribution a priori, représentant les anticipations concernant l'effet probable avant le test, avec les données observées afin de produire une distribution a posteriori des effets plausibles. Cette distribution a posteriori peut ensuite être interrogée selon les besoins de la décision : la probabilité d'une amélioration quelconque, la probabilité d'une amélioration supérieure à un seuil commercialement significatif, ou le coût attendu d'une erreur d'appréciation. Plusieurs plateformes de test largement utilisées ont adopté le reporting bayésien comme méthode par défaut précisément pour cette raison : les résultats nécessitent moins d'adaptation avant qu'une partie prenante puisse agir.

L'avantage le plus souvent cité est la plus grande robustesse des résultats bayésiens face à un suivi continu. La distribution a posteriori étant mise à jour à mesure que les données arrivent et ne reposant pas sur une hypothèse de taille d'échantillon fixe, l'examen répété des résultats n'augmente pas les taux d'erreur comme c'est le cas avec les valeurs p fréquentistes classiques. Ceci est particulièrement utile dans un contexte commercial où les parties prenantes consultent les tableaux de bord indépendamment du protocole d'analyse. Il ne s'agit toutefois pas d'une autorisation à interrompre un test dès qu'un résultat semble satisfaisant : se baser uniquement sur l'indicateur observé biaise toujours l'estimation de l'effet à la hausse, et les tests de courte durée passent à côté des cycles hebdomadaires et des effets de nouveauté, quel que soit le cadre statistique utilisé.

La distribution a priori constitue à la fois le point fort de la méthode et sa principale source de désaccord. Une distribution a priori peu informative, généralement utilisée par défaut par la plupart des plateformes, a peu d'influence sur le résultat une fois qu'une quantité raisonnable de données a été accumulée. Une distribution a priori robuste, fondée sur l'historique des expérimentations de l'organisation, peut améliorer significativement les estimations, notamment pour les tests à faible trafic, en ramenant les effets observés, anormalement importants, vers une fourchette plus réaliste. Cependant, une distribution a priori choisie pour étayer une conclusion souhaitée est indéfendable ; c'est pourquoi les distributions a priori doivent être documentées et validées avant le lancement d'un test, plutôt que sélectionnées lors de l'analyse.

Aucun de ces cadres ne peut sauver une expérience mal conçue. L'analyse bayésienne d'un test présentant une randomisation défaillante, une erreur de suivi, un déséquilibre dans la proportion d'échantillons ou une métrique ne reflétant pas la valeur commerciale fournira une réponse précise et assurée à une question mal posée. Le choix entre ces cadres relève de la présentation des résultats et de la théorie de la décision ; c'est la qualité de la conception expérimentale sous-jacente qui détermine la pertinence de la réponse.

Ce qui rend ce cadre véritablement utile en contexte commercial, c'est le résultat de la perte attendue, parfois appelée risque. Plutôt que de se demander si une variante est meilleure, il s'agit de déterminer la perte moyenne à laquelle on renoncerait en choisissant cette variante si elle s'avérait moins performante. Une règle de décision consistant à lancer la production lorsque la perte attendue est inférieure à un seuil jugé négligeable par l'entreprise correspond directement à la manière dont les décisions commerciales sont prises, car personne n'exige de certitude quant à un changement dont les inconvénients sont minimes. Ce cadre gère également le cas fréquent où deux variantes offrent des performances quasi identiques : la probabilité que l'une soit meilleure peut se maintenir autour de 50 % indéfiniment, tandis que la perte attendue est minimale dans les deux sens, ce qui indique à juste titre que le choix est sans importance et que l'équipe doit cesser d'y consacrer des ressources.

Dans le cadre d'une mission, le choix du cadre de référence est généralement arrêté tôt et n'est plus modifié ensuite, car un changement en cours de programme rend les résultats historiques incomparables. Service CRO L'équipe standardisera généralement l'approche en fonction de la plateforme existante du client et de sa culture analytique, définira les seuils de décision à l'avance et concentrera ses efforts sur la conception et la priorisation des expériences plutôt que sur la philosophie statistique. Lorsqu'une organisation développe sa propre pile de mesure, ce choix est généralement effectué en parallèle de l'architecture de reporting globale gérée par l'équipe. Analyse des données fonction, afin que les résultats expérimentaux et l'intelligence d'affaires partagent un langage cohérent pour l'incertitude.