SwitasContáctenos

Comprender las métricas y la terminología de las pruebas A/B

Çağdaş Polat · · 5 min de lectura

Las pruebas A/B son un método fundamental para optimizar sitios web y aplicaciones, ya que permiten a las empresas comparar dos versiones de una página web o de una aplicación para determinar cuál funciona mejor. Comprender las métricas y la terminología clave de las pruebas A/B es esencial para interpretar los resultados con precisión. En este artículo examinaremos las métricas y la terminología más importantes de las pruebas A/B, entre ellas el valor p, el intervalo de confianza, las pruebas unilaterales y bilaterales, la puntuación z, la potencia observada, la variante, el grupo de control, los ingresos incrementales, la tasa de conversión y el cálculo bayesiano.

Métricas y terminología clave de las pruebas A/B

1. Variante

Una variante es una de las versiones que se prueban en una prueba A/B. Normalmente, la versión existente se denomina control y la nueva versión es la variante.

Ejemplo: En una prueba A/B de una página de destino, la versión A (la página actual) es el control y la versión B (el nuevo diseño) es la variante.

2. Grupo de control

El grupo de control es el grupo de usuarios expuesto a la versión original (control) en una prueba A/B. Sirve como línea de base para comparar el rendimiento de la variante.

Ejemplo: Si 10 000 usuarios visitan un sitio web, 5000 podrían ver la página de control (grupo de control) y 5000 podrían ver la página de la variante.

 

Incremental-revenue.png
Fuente: https://getrecast.com/incrementality/

 

3. Ingresos incrementales

Los ingresos incrementales son los ingresos adicionales generados como resultado de los cambios realizados durante una prueba A/B. Ayudan a evaluar el impacto financiero de la prueba.

Ejemplo: Si la página de la variante aumenta el valor medio del pedido en 5 $ y se realizan 1000 compras adicionales, los ingresos incrementales son de 5000 $.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Tasa de conversión

La tasa de conversión es el porcentaje de usuarios que completan una acción deseada, como realizar una compra o suscribirse a un boletín, sobre el total de visitantes.

Ejemplo: Si 100 de cada 1000 visitantes realizan una compra, la tasa de conversión es del 10 %.

5. Valor p

El valor p mide la probabilidad de que la diferencia observada entre dos variaciones se haya producido por azar. Un valor p más bajo (normalmente inferior a 0,05) indica que la diferencia observada es estadísticamente significativa.

Ejemplo: Supongamos que una prueba A/B compara dos versiones de una página de destino. La versión A tiene una tasa de conversión del 5 % y la versión B, del 7 %. Si el valor p es 0,03, existe un 3 % de probabilidad de que la diferencia observada se haya producido por azar, lo que indica una diferencia significativa entre las dos versiones.

 

confidence-interval-formula.jpg

 

6. Intervalo de confianza

El intervalo de confianza proporciona un rango dentro del cual se espera que se sitúe el tamaño real del efecto, con un cierto nivel de confianza (normalmente el 95 %). Ayuda a evaluar la fiabilidad de los resultados de la prueba.

Ejemplo: En la misma prueba A/B, el intervalo de confianza del 95 % para la diferencia en las tasas de conversión podría ser [1 %, 3 %]. Esto significa que tenemos un 95 % de confianza en que la diferencia real en las tasas de conversión se sitúa entre el 1 % y el 3 %.

7. Pruebas unilaterales y bilaterales

Una prueba unilateral evalúa la dirección del efecto (por ejemplo, si la versión B es mejor que la versión A), mientras que una prueba bilateral evalúa si existe alguna diferencia en cualquiera de las dos direcciones.

Ejemplo de prueba unilateral: Comprueba si la tasa de conversión de la versión B es superior a la de la versión A.
Ejemplo de prueba bilateral: Comprueba si existe alguna diferencia entre las tasas de conversión de la versión A y de la versión B, independientemente de la dirección.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Puntuación z

La puntuación z mide a cuántas desviaciones estándar de la media se encuentra un elemento. En las pruebas A/B se utiliza para determinar la significancia de la diferencia observada entre dos variaciones. Niveles de confianza habituales y sus equivalentes en puntuación z:

  • Intervalo de confianza del 95 %
    • Puntuación z bilateral: 1,96
    • Puntuación z unilateral: 1,65
  • Intervalo de confianza del 99 %
    • Puntuación z bilateral: 2,58
    • Puntuación z unilateral: 2,33
  • Intervalo de confianza del 90 %
    • Puntuación z bilateral: 1,64
    • Puntuación z unilateral: 1,28

Ejemplo: Si la puntuación z de la diferencia en las tasas de conversión entre la versión A y la versión B es 2,5, indica que la diferencia se sitúa a 2,5 desviaciones estándar de la media, lo que sugiere una diferencia estadísticamente significativa.

9. Potencia observada

La potencia observada es la probabilidad de que la prueba rechace correctamente la hipótesis nula cuando existe un efecto real. Una potencia observada más alta indica una mayor probabilidad de detectar una diferencia real.

Ejemplo: En una prueba A/B con una potencia observada de 0,8 (80 %), existe un 80 % de probabilidad de detectar una diferencia real entre las variaciones si esta existe.

 

bayesian-formula.png
Fuente: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Cálculo bayesiano

El cálculo bayesiano consiste en utilizar el teorema de Bayes para actualizar la estimación de probabilidad de una hipótesis a medida que se adquiere evidencia adicional. En las pruebas A/B ofrece un marco probabilístico para tomar decisiones basadas en los datos.

Ejemplo: Con métodos bayesianos, puede determinar la probabilidad de que una variante sea mejor que el control a partir de los datos observados, en lugar de basarse únicamente en los valores p tradicionales.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Fuente: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Estadística frecuentista

La estadística frecuentista es un enfoque tradicional en las pruebas de hipótesis que se centra en la frecuencia o proporción de los datos. Se basa en conjuntos de datos fijos y no incorpora conocimientos previos ni distribuciones de probabilidad.

Ejemplo: En un enfoque frecuentista de las pruebas A/B, utilizaría valores p e intervalos de confianza para determinar la significancia de los resultados de la prueba, sin incorporar probabilidades previas.

Ejemplos prácticos

Ejemplo 1: prueba A/B de una campaña de correo electrónico

Una empresa quiere probar dos asuntos de correo electrónico para ver cuál logra mayores tasas de apertura.

  • Asunto A: 25 % de tasa de apertura
  • Asunto B: 28 % de tasa de apertura
  • Valor p: 0,02 (indica una diferencia significativa)
  • Intervalo de confianza: [2 %, 5 %] (95 % de confianza en que la diferencia real en las tasas de apertura se sitúa entre el 2 % y el 5 %)
  • Puntuación z: 2,33 (sugiere una diferencia estadísticamente significativa)
  • Potencia observada: 0,85 (85 % de probabilidad de detectar una diferencia real)
Ejemplo 2: prueba A/B de una página de destino de un sitio web

Un sitio web de comercio electrónico prueba dos diseños de página de destino para determinar cuál genera más compras.

  • Diseño A: 4 % de tasa de conversión
  • Diseño B: 5 % de tasa de conversión
  • Valor p: 0,045 (indica una diferencia significativa)
  • Intervalo de confianza: [0,5 %, 1,5 %] (95 % de confianza en que la diferencia real en las tasas de conversión se sitúa entre el 0,5 % y el 1,5 %)
  • Puntuación z: 2,01 (sugiere una diferencia estadísticamente significativa)
  • Potencia observada: 0,78 (78 % de probabilidad de detectar una diferencia real)

Las pruebas A/B son una herramienta poderosa para optimizar las experiencias digitales, y comprender sus métricas y su terminología clave es crucial para una interpretación precisa. Switas sabe cómo realizar pruebas A/B eficaces, de modo que las empresas puedan tomar decisiones basadas en datos para mejorar su rendimiento, y ofrece información fiable y accionable que impulsa el crecimiento y el éxito.

Artículos relacionados

Todos los artículos →

Construyamos el siguiente.

Contáctenos