Intervalle de confiance

Un intervalle de confiance est une plage de valeurs, calculée à partir de données expérimentales, susceptible de contenir l'effet réel d'une variation. Alors qu'un test de signification renvoie un résultat binaire, un intervalle de confiance indique à la fois la direction et l'ampleur plausible de l'effet, ainsi que la précision de la mesure. Un résultat présenté comme « une augmentation relative de 6 %, intervalle de confiance à 95 % de 1 % à 11 % » est beaucoup plus informatif pour la prise de décision que « significatif à 95 % ».

La largeur de l'intervalle est un indicateur clé. Un intervalle étroit signifie que l'expérience a mesuré l'effet avec précision et que l'entreprise peut adapter ses décisions en conséquence. Un intervalle large, excluant zéro, indique que le changement était probablement positif, mais que son ampleur reste incertaine. Ce point est crucial lorsque la décision de mise en œuvre repose sur la capacité de l'entreprise à justifier les coûts. Un intervalle contenant zéro signifie que les données sont compatibles avec un effet bénéfique, nul ou néfaste du changement, et qu'aucune affirmation catégorique n'est possible.

Les intervalles de confiance permettent de corriger une habitude coûteuse et spécifique : celle de présenter l’estimation ponctuelle observée comme une vérité absolue. Lorsqu’un test annonce une augmentation de 18 % avec un intervalle de 2 % à 36 %, le chiffre principal qui figure dans le résumé est presque toujours de 18 %, et ce chiffre apparaît ensuite dans les prévisions, les analyses de rentabilité et les projections annuelles. Lorsque le changement est déployé et n’atteint que 4 %, le programme de tests est accusé d’avoir fait des promesses excessives. Présenter l’intervalle dès le départ permet de définir des attentes réalistes et de préserver la crédibilité de la démarche.

L'interprétation formelle est plus subtile que l'interprétation courante. Un intervalle de confiance à 95 % ne signifie pas qu'il existe une probabilité de 95 % que l'effet réel se situe à l'intérieur de cet intervalle. Cela signifie qu'une procédure produisant des intervalles de cette manière permettrait de saisir la valeur réelle dans 95 % des expériences répétées. En pratique, la plupart des équipes raisonnent de manière intuitive et rencontrent rarement des difficultés, mais la distinction est importante lorsqu'on tente de combiner des intervalles issus de différents tests ou d'interpréter un résultat spécifique en termes probabilistes. Les méthodes bayésiennes, qui fournissent des intervalles de crédibilité avec une interprétation intuitive, sont souvent privilégiées précisément pour cette raison.

Les intervalles révèlent également le coût de l'analyse segmentée a posteriori. Découper une expérience en segments mobiles et ordinateurs, nouveaux et anciens visiteurs, payants et organiques, produit des intervalles qui s'élargissent fortement à mesure que chaque sous-ensemble se réduit. Les segments présentant des estimations ponctuelles alarmistes et des intervalles allant de valeurs très négatives à très positives sont à l'origine de la plupart des erreurs d'interprétation dans les travaux d'optimisation. Afficher l'intervalle à côté de chaque valeur de segment permet aux non-spécialistes de constater immédiatement la faiblesse de ces mesures, ce qui est plus efficace qu'une mise en garde écrite que personne ne lit.

Pour communiquer les intervalles aux parties prenantes commerciales, il est essentiel de les traduire en termes de décision plutôt que de les présenter sous forme de notation statistique. Un cadrage efficace exprime l'intervalle en unités commerciales : au lieu de présenter un intervalle d'augmentation relative, il convient d'indiquer que la modification devrait générer un revenu mensuel supplémentaire compris entre une valeur minimale et une valeur maximale, compte tenu du trafic actuel. La planification peut alors se baser sur la limite inférieure de l'intervalle, qui produit des prévisions fiables, tandis que la limite supérieure permet de définir les attentes relatives au scénario le plus favorable. Si l'intervalle inclut zéro, il faut honnêtement admettre que l'expérimentation n'a pas permis de déterminer si la modification est bénéfique ou néfaste. La question suivante est alors de savoir si l'entreprise souhaite investir davantage dans la réduction du trafic ou fonder sa décision sur d'autres critères tels que la marque, l'accessibilité ou les coûts de maintenance.

Dans un programme bien établi, la pratique en matière de rapports privilégie donc l'intervalle de temps plutôt que le verdict. Analyse des données Une fonction qui normalise les rapports d'intervalles pour les expériences, les mesures marketing et les prévisions permet de construire un vocabulaire organisationnel commun pour l'incertitude, ce qui facilite les conversations franches sur les résultats suffisamment solides pour élaborer une stratégie. gestion de la croissance Cela prouve que l'honnêteté amplifie les choses : les prévisions fondées sur des estimations tenant compte des intervalles résistent bien mieux au contact de la réalité que celles fondées sur des estimations ponctuelles triées sur le volet à partir du test le plus flatteur du dernier trimestre.