Garde-corps métrique

Une mesure de sécurité est un indicateur suivi lors d'une expérience, non pas pour déterminer si une variante est la meilleure, mais pour détecter d'éventuels effets indésirables. La mesure principale répond à la question pour laquelle le test a été conçu ; les mesures de sécurité répondent à une question que personne ne s'est posée, mais que tout le monde devrait se poser. Une expérience d'optimisation du processus de paiement visant à augmenter le nombre de commandes finalisées pourrait comporter des mesures de sécurité concernant la valeur moyenne des commandes, le taux de retour, les contacts avec le service client, le temps de chargement des pages et le taux d'erreurs. Chacun de ces indicateurs pourrait se détériorer au point de transformer un gain initial en un inconvénient commercial.

Les garde-fous existent car l'optimisation incite fortement à modifier un indicateur, et presque n'importe quel indicateur peut être modifié au détriment d'un autre. Supprimer les informations relatives aux frais de livraison d'une page produit peut augmenter le taux d'ajout au panier tout en accroissant le taux d'abandon de panier. Un message incitant à l'urgence peut stimuler la conversion immédiate tout en nuisant à la confiance et en augmentant les remboursements. Simplifier un formulaire en supprimant les questions de qualification peut augmenter le volume de prospects tout en diminuant tellement leur qualité que les ventes s'en trouvent réduites. Dans chaque cas, l'indicateur principal s'améliore et l'activité se détériore, et seul un garde-fou permet d'éviter cette situation.

Les garde-fous efficaces sont choisis délibérément pour chaque expérience plutôt que d'être appliqués selon une liste générique, bien qu'un ensemble permanent puisse servir de référence. Cet ensemble permanent couvre généralement la santé technique (taux d'erreurs, performances des pages) et la santé commerciale (revenu par visiteur, valeur des commandes). Les garde-fous spécifiques à chaque test couvrent les conséquences plausibles de cette modification particulière ; il est donc préférable que les personnes qui comprennent les répercussions en aval (service client, logistique, ventes et finance) y répondent. Or, ces services ne sont généralement pas consultés lors de la conception des tests.

Les garde-fous sont analysés différemment des indicateurs principaux. L'indicateur principal vise à détecter une amélioration significative ; les garde-fous, quant à eux, visent à détecter l'absence de préjudice significatif, ce qui relève d'une question de non-infériorité plutôt que de supériorité. En pratique, les équipes définissent un seuil de tolérance à l'avance, par exemple une baisse relative maximale de 1 % de la valeur moyenne des commandes, et considèrent tout dépassement comme un motif de rejet de la variante, indépendamment du résultat principal. Étant donné que plusieurs garde-fous sont vérifiés simultanément, il est judicieux de tolérer les comparaisons multiples ; autrement, un ensemble trop important de garde-fous pourrait signaler des préjudices de manière aléatoire.

Certains indicateurs clés sont impossibles à mesurer pendant la période de test. Les taux de retour, de désabonnement, de résiliation et la valeur vie client se déterminent généralement des semaines, voire des mois, après la fin de l'expérimentation. Leur évaluation nécessite une période de suivi post-lancement ou une analyse ultérieure différée. L'impossibilité de les évaluer immédiatement incite à la prudence quant aux modifications susceptibles de les affecter, et non à les ignorer.

Définir le seuil de tolérance exige une discussion franche sur l'ampleur des dommages inacceptables. Cette discussion est plus aisée lorsqu'elle est formulée en termes commerciaux plutôt que statistiques. Une baisse de 1 % du panier moyen sur une base de revenus importante peut coûter plus cher que les gains d'amélioration du taux de conversion. Exprimer les deux en termes monétaires permet à tous les participants de comprendre clairement le compromis. L'automatisation est essentielle à l'efficacité des garde-fous : une vérification manuelle à la fin d'un test est trop tardive pour une variante qui nuit au chiffre d'affaires depuis trois semaines. Il est donc judicieux d'opter pour une surveillance continue d'un petit nombre d'indicateurs critiques, avec des seuils d'alerte suffisamment souples pour éviter les fausses alertes et une procédure d'escalade convenue en cas de déclenchement. L'alerte doit parvenir à une personne habilitée à interrompre immédiatement le test.

Définir des garde-fous est l'un des points les plus clairs où le travail d'optimisation doit être lié au reste de l'entreprise plutôt que d'être mené comme une spécialité isolée. Service CRO L'engagement permet généralement d'établir les garde-fous permanents définis lors de la configuration et de réexaminer ceux spécifiques aux tests à chaque session de priorisation, avec la contribution des parties prenantes opérationnelles. e-commerce Dans ces environnements, le lien avec l'exécution et les retours est particulièrement important, car les gains de conversion les plus tentants sont souvent ceux qui transfèrent les coûts vers la logistique, là où l'équipe d'optimisation ne les voit jamais.