Les tests A/B sont une méthode cruciale utilisée pour optimiser les sites Web et les applications, permettant aux entreprises de comparer deux versions d'une page Web ou d'une application pour déterminer laquelle est la plus performante. Comprendre les indicateurs clés et la terminologie impliqués dans les tests A/B est essentiel pour interpréter les résultats avec précision. Dans cet article, nous examinerons les mesures et la terminologie importantes des tests A/B, notamment Valeur p, intervalle de confiance, tests unilatéraux et bilatéraux, score z, puissance observée, variante, groupe témoin, revenus supplémentaires, taux de conversion et calcul bayésien.
Indicateurs et terminologie clés des tests A/B
1 Variante
Une variante fait référence à l'une des versions testées dans un test A/B. Généralement, la version existante est appelée le contrôle et la nouvelle version est la variante.
Mise en situation : Dans un test A/B d'une page de destination, la version A (la page actuelle) est le contrôle et la version B (le nouveau design) est la variante.
2. Groupe de contrôle
Le groupe témoin est le groupe d’utilisateurs exposés à la version originale (contrôle) lors d’un test A/B. Il sert de référence pour comparer les performances de la variante.
Mise en situation : Si 10,000 5,000 utilisateurs visitent un site Web, 5,000 XNUMX peuvent voir la page de contrôle (groupe de contrôle) et XNUMX XNUMX peuvent voir la page de variantes.
3. Revenu supplémentaire
Les revenus supplémentaires font référence aux revenus supplémentaires générés à la suite des modifications apportées lors d'un test A/B. Cela aide à évaluer l’impact financier du test.
Mise en situation : Si la page de variantes augmente la valeur moyenne de la commande de 5 $ et que 1,000 5,000 achats supplémentaires sont effectués, le revenu supplémentaire est de XNUMX XNUMX $.
4. Taux de conversion
Le taux de conversion est le pourcentage d'utilisateurs qui effectuent une action souhaitée, comme effectuer un achat ou s'inscrire à une newsletter, par rapport au nombre total de visiteurs.
Mise en situation : Si 100 visiteurs sur 1,000 10 effectuent un achat, le taux de conversion est de XNUMX %.
5. Valeur P
La valeur p mesure la probabilité que la différence observée entre deux variations soit le fruit du hasard. Une valeur p inférieure (généralement inférieure à 0.05) indique que la différence observée est statistiquement significative.
Mise en situation : Supposons qu'un test A/B compare deux versions d'une page de destination. La version A a un taux de conversion de 5 % et la version B un taux de conversion de 7 %. Si la valeur p est de 0.03, il y a 3 % de chances que la différence observée se soit produite par hasard, ce qui indique une différence significative entre les deux versions.
6. Intervalle de confiance
L’intervalle de confiance fournit une plage dans laquelle l’ampleur réelle de l’effet devrait se situer, avec un certain niveau de confiance (généralement 95%). Il permet d'évaluer la fiabilité des résultats des tests.
Exemple : dans le même test A/B, l'intervalle de confiance à 95 % pour la différence des taux de conversion peut être de [1 %, 3 %. Cela signifie que nous sommes sûrs à 95 % que la véritable différence dans les taux de conversion se situe entre 1 % et 3 %.
7. Tests unilatéraux et bilatéraux
Un test unilatéral évalue la direction de l'effet (par exemple, si la version B est meilleure que la version A), tandis qu'un test bilatéral évalue s'il existe une différence dans l'une ou l'autre direction.
Exemple de test unilatéral : Teste si le taux de conversion de la version B est supérieur à celui de la version A.
Exemple de test recto-verso : Teste s'il existe une différence entre les taux de conversion de la version A et de la version B, quelle que soit la direction.
8. Score Z
Le score z mesure le nombre d’écarts types d’un élément par rapport à la moyenne. Dans les tests A/B, il est utilisé pour déterminer l’importance de la différence observée entre deux variations. Niveaux de confiance courants et leurs équivalents z-score :
- Intervalle de confiance 95 %
- Score Z recto-verso : 1.96
- Score Z unilatéral : 1.65
- Intervalle de confiance 99 %
- Score Z recto-verso : 2.58
- Score Z unilatéral : 2.33
- Intervalle de confiance 90 %
- Score Z recto-verso : 1.64
- Score Z unilatéral : 1.28
Mise en situation : Si le score z pour la différence des taux de conversion entre la version A et la version B est de 2.5, cela indique que la différence est de 2.5 écarts types par rapport à la moyenne, ce qui suggère une différence statistiquement significative.
9. Puissance observée
La puissance observée fait référence à la probabilité que le test rejette correctement l'hypothèse nulle lorsqu'il existe un effet réel. Une puissance observée plus élevée indique une probabilité plus élevée de détecter une véritable différence.
Mise en situation : Dans un test A/B avec une puissance observée de 0.8 (80 %), il y a 80 % de chances de détecter une vraie différence entre les variations si elle existe.
10. Calcul bayésien
Le calcul bayésien implique l'utilisation du théorème de Bayes pour mettre à jour l'estimation de probabilité d'une hypothèse à mesure que des preuves supplémentaires sont acquises. Dans les tests A/B, il fournit un cadre probabiliste pour prendre des décisions basées sur les données.
Mise en situation : À l’aide des méthodes bayésiennes, vous pouvez déterminer la probabilité qu’une variante soit meilleure que le contrôle compte tenu des données observées, plutôt que de vous fier uniquement aux valeurs p traditionnelles.
11. Statistiques fréquentistes
Les statistiques fréquentistes sont une approche traditionnelle du test d'hypothèse qui se concentre sur la fréquence ou la proportion des données. Il s'appuie sur des ensembles de données fixes et n'intègre pas de connaissances préalables ni de distributions de probabilité.
Mise en situation : Dans une approche fréquentiste des tests A/B, vous utiliseriez des valeurs p et des intervalles de confiance pour déterminer la signification des résultats des tests, sans incorporer de probabilités préalables.
Exemples pratiques
Exemple 1 : test A/B de campagne e-mail
Une entreprise souhaite tester deux lignes d'objet d'e-mail pour voir laquelle entraîne des taux d'ouverture plus élevés.
- Ligne d'objet A : 25% taux ouvert
- Ligne d'objet B : 28% taux ouvert
- Valeur P : 0.02 (indiquant une différence significative)
- Intervalle de confiance: [2 %, 5 %] (95 % de confiance selon lequel la véritable différence dans les taux d'ouverture se situe entre 2 % et 5 %)
- Score Z: 2.33 (suggérant une différence statistiquement significative)
- Puissance observée : 0.85 (85 % de chances de détecter une vraie différence)
Exemple 2 : test A/B de la page de destination du site Web
Un site Web de commerce électronique teste deux modèles de pages de destination pour déterminer celui qui génère le plus d'achats.
- Conception A : 4% taux de conversion
- Conception B : 5% taux de conversion
- Valeur P : 0.045 (indiquant une différence significative)
- Intervalle de confiance: [0.5 %, 1.5 %] (95 % de confiance selon lequel la véritable différence dans les taux de conversion se situe entre 0.5 % et 1.5 %)
- Score Z: 2.01 (suggérant une différence statistiquement significative)
- Puissance observée : 0.78 (78 % de chances de détecter une vraie différence)
Le test A / B est un outil puissant pour optimiser les expériences numériques, et comprendre ses indicateurs clés et sa terminologie est crucial pour une interprétation précise. Switas sait mener une conduite efficace A / B tests de, garantissant que les entreprises peuvent prendre des décisions basées sur les données pour améliorer leurs performances et fournit des informations fiables et exploitables qui stimulent la croissance et le succès.
