La mayoría de las pruebas A/B fracasan antes de que las vea un solo visitante. No porque la hipótesis fuera débil o el diseño deficiente, sino porque nadie determinó si la prueba podría arrojar alguna respuesta.
El patrón es familiar. Un equipo lanza una variante, observa el panel de control y, después de diez días, ve que la variante competidora sube un 6 % con un valor p de 0.14. Alguien dice: «La tendencia es positiva, démosle otra semana». Pasa otra semana. Ahora sube un 4 %, p = 0.09. La prueba se considera un «éxito direccional» y se lanza, o se descarta por no ser concluyente. En cualquier caso, tres semanas de tráfico no produjeron ningún resultado, y ese resultado estaba totalmente determinado antes del lanzamiento por cuatro cifras que nadie verificó.
Este artículo trata sobre esos cuatro números.
Las cuatro entradas
El tamaño de la muestra no es una cuestión de criterio. Depende de cuatro parámetros, y todo programa de experimentación serio los define antes de su lanzamiento, no después.
| Entrada | Qué significa | Valor típico |
|---|---|---|
| Tasa de conversión de referencia | La tasa actual de la métrica que está probando, medida en la página y audiencia exactas en las que se ejecutará la prueba. | Independientemente de lo que digan tus datos |
| Efecto mínimo detectable (EMD) | El cambio más pequeño que quieres que la prueba sea capaz de detectar | 5-20% relativo, dependiendo del tráfico |
| Nivel de significación (α) | Tu tolerancia para declarar un ganador que no es real | 0.05 |
| Potencia estadística (1−β) | Su probabilidad de detectar un efecto que is real | 0.80 |
Dale a una calculadora esos cuatro y te devolverá los visitantes necesarios. por variante Nuestras soluciones comerciales Calculadora gratuita para pruebas A/B Hace exactamente eso, y solo toma unos treinta segundos, que es precisamente lo importante. La razón por la que los equipos omiten este paso no es porque sea difícil, sino porque la respuesta suele ser incómoda.
MDE es la entrada que todos usan incorrectamente
El efecto mínimo detectable es el parámetro que causa mayor daño, porque su nombre sugiere algo que no es.
MDE es No El aumento esperado. No es una predicción, un objetivo ni un pronóstico. Es un límite inferior de detectabilidad: el efecto real más pequeño que tu prueba tiene un 80 % de probabilidad de detectar. Si estableces el MDE en un 5 %, estás diciendo: «Si la mejora real es menor al 5 %, acepto que probablemente esta prueba no la detectará».
De ello se derivan dos consecuencias, y ambas son importantes.
Una prueba solo puede responder a la pregunta para la que fue diseñada. Si se calcula el tamaño de la variante para un MDE del 20 % y el efecto real es del 7 %, lo más probable es que la prueba arroje un resultado de "sin diferencia significativa". Esto no demuestra que la variante no tenga efecto. Demuestra que la prueba no pudo detectar efectos de esa magnitud, una afirmación completamente distinta que los equipos suelen malinterpretar como "la probamos y no funcionó".
Los valores de MDE relativos y absolutos no son intercambiables. Una base de 2.5% con un 10% relativo MDE significa detectar un movimiento al 2.75%, un fotometría absoluta) Una diferencia de 0.25 puntos porcentuales. Si introduces 10 en una calculadora que espera porcentajes absolutos, le habrás pedido que detecte un cambio del 2.5 % al 12.5 %, y la herramienta te dirá sin más que bastará con 400 visitantes. Comprueba qué convención utiliza tu calculadora. Esta simple confusión invalida más planes de prueba que cualquier otro error que hayamos detectado.
Un ejemplo práctico
Un cliente de comercio electrónico quiere probar un nuevo diseño para la página de detalles del producto. La tasa de conversión base en esa página es del 2.5 %. Quieren detectar una mejora relativa del 10 %, es decir, un aumento hasta el 2.75 %.
Con α = 0.05 y una potencia del 80%, el requisito es aproximadamente 64,000 visitantes por varianteo alrededor de 128,000 en total.
Esa página recibe 40,000 visitantes al mes. Por lo tanto, la prueba necesita algo más de tres meses para alcanzar el tamaño de muestra para el que fue diseñada.
Esta cifra cambia el rumbo de la conversación. No porque tres meses sea imposible, sino porque ahora es una decisión tomada abiertamente —antes del lanzamiento, con las ventajas y desventajas a la vista— en lugar de una decepción gradual descubierta el día 21.
Ahora cambie una entrada. Mantenga la misma línea base, pero ajuste el tamaño para un incremento relativo del 20% en lugar del 10%:
| MDE (relativo) | Diferencia absoluta | Visitantes por variante | Tiempo a 40/mes |
|---|---|---|---|
| 5% | 0.125 pp | ~ 256,000 | ~ 13 meses |
| 10% | 0.25 pp | ~ 64,000 | ~ 3.2 meses |
| 20% | 0.5 pp | ~ 16,800 | ~ 25 días |
| 30% | 0.75 pp | ~ 7,700 | ~ 12 días |
Reducir a la mitad el MDE cuadruplica aproximadamente la muestra. Esta relación no es una casualidad de estos números: el tamaño de la muestra es proporcional al cuadrado inverso del tamaño del efecto. Es el aspecto más útil que hay que comprender sobre el diseño experimental, porque indica dónde reside el punto de inflexión. Hacer que el cambio sea más significativo es mucho más barato que atraer más tráfico.
Una variante tímida que simplemente mueve un botón dos píxeles requiere un tamaño de muestra que ningún sitio web de tamaño medio puede proporcionar. Una variante que reestructura la página tiene posibilidades de éxito. Por eso, los programas de pruebas cautelosos se estancan: no porque las ideas sean erróneas, sino porque son demasiado pequeñas para medirlas.
Dónde se encuentra realmente el tráfico
El otro factor clave que se esconde en los cálculos es la tasa de referencia. Los requisitos de tamaño de muestra disminuyen drásticamente a medida que aumenta la tasa de referencia.
Toma el mismo 10% de MDE relativo, pero ejecútalo en el paso de envío del proceso de pago, donde el 40% de las llegadas continúan hasta el pago:
- Línea de base 2.5% → ~64,000 por variante
- Línea de base 40% → ~2,400 por variante
Mismo MDE, misma confianza, misma potencia. Veintiséis veces menos tráfico.
Esa página recibe muchas menos visitas que la página de detalles del producto (PDP), por supuesto. Pero la demanda disminuye más rápido que el tráfico, por lo que las pruebas de embudo profundo suelen ser las únicas que un sitio con tráfico medio puede completar. Si la tasa de conversión general del sitio es del 2 %, probar la página de inicio requiere un compromiso de un año, mientras que probar el proceso de pago solo lleva dos semanas.
Recomendaciones prácticas: cuando la calculadora arroje un número imposible, antes de ampliar el MDE, compruebe si existe un paso más adelante en el embudo donde se pueda probar la misma hipótesis con una línea de base más alta.
¿Qué es lo que realmente sale mal cuando te lo saltas?
Aquí existen dos modos de fallo, y el segundo es mucho menos conocido que el primero.
Te estás perdiendo mejoras reales. Una prueba con potencia estadística insuficiente no arroja resultados significativos para un cambio que, en realidad, funciona. El equipo concluye que la idea era mala y abandona una estrategia que habría sido rentable. Este es el fracaso más conocido, y el menos costoso de los dos.
Sus ganadores están sobrevalorados. Este es el que corrompe silenciosamente los números de un programa. En una prueba con poca potencia, la única forma en que un resultado puede superar el umbral de significancia es si el ruido aleatorio lo empuja lo suficientemente lejos, lo que significa que los efectos que do Las cifras declaradas como significativas son sistemáticamente mayores que la realidad. Cuanto menor es la potencia, mayor es la exageración.
Un programa con recursos insuficientes no solo pasa por alto oportunidades, sino que genera un registro de pruebas repleto de casos exitosos con incrementos exagerados, que luego se multiplican por el tráfico para pronosticar ingresos que nunca se materializan. Seis meses después, alguien pregunta por qué la suma de los casos exitosos no se refleja en la cifra total. Esta suele ser la respuesta.
Esto no se puede solucionar mediante el análisis. Debe prevenirse en la fase de diseño.
Por variante, no total
La salida de la calculadora es el requisito para cada brazo de la prueba. Dos variantes significan el doble de número. Esto parece obvio y se malinterpreta constantemente, generalmente en el sentido optimista.
Las múltiples variantes complican el problema dos veces. Una prueba A/B/C/D necesita cuatro veces la muestra de la figura de un solo brazo, y Tres comparaciones simultáneas con el grupo de control aumentan la probabilidad de al menos un falso positivo muy por encima del 5% nominal. Corregir este efecto eleva aún más el requisito.
Para la mayoría de los sitios web, la regla práctica es: a menos que tengas tráfico de sobra, usa dos brazos. Una prueba de cuatro vías en una página que apenas soporta una prueba de dos vías no multiplica por cuatro el aprendizaje. Es cero aprendizaje, y se produce más lentamente.
La duración es una restricción independiente.
Es necesario alcanzar el tamaño de muestra deseado, pero no es suficiente.
Una prueba que alcanza su objetivo en cuatro días ha analizado el comportamiento de los usuarios durante ese período. El tráfico entre semana y los fines de semana se convierte de manera diferente. Los ciclos de pago son importantes en el comercio electrónico. Las campañas de pago lanzadas a mitad de la prueba modifican la composición de la audiencia. Los nuevos diseños también generan un efecto de novedad que se desvanece: la interacción inicial con un diseño desconocido no es una estimación fiable del rendimiento a largo plazo.
Ejecútalo durante al menos una semana completa, y preferiblemente dos, independientemente de lo que permita el cálculo del tamaño de la muestra. La restricción que sea más larga —el tamaño de la muestra o el ciclo económico— es la que prevalece. Y establece la fecha de finalización con anticipación en lugar de revisar cada mañana y detenerte cuando los números parezcan buenos, lo cual es una forma distinta y muy efectiva de generar falsos positivos.
Cuando el número es imposible
A veces, la respuesta honesta es que la prueba no se puede realizar. Esa es información útil, y existen cinco respuestas razonables.
Prueba un cambio mayor. La relación cuadrática convierte a esta opción en la más eficaz, con mucha diferencia. Rediseñe el flujo en lugar del botón.
Pasar a una métrica de referencia más alta. Realice la prueba comparando la opción de añadir al carrito o completar el proceso de compra con la compra en sí. El tamaño del efecto se mide con una base más amplia y el requisito de muestra se reduce. Tenga en cuenta que está midiendo un indicador indirecto y valide la relación con los ingresos por separado.
Prueba más adelante en el embudo, como se indicó anteriormente.
Agrupar páginas similares. Realizar una prueba en todas las páginas de una categoría, en lugar de en una sola, multiplica el tráfico disponible, siempre que las páginas tengan un comportamiento lo suficientemente similar como para que la agrupación sea justificable.
Deja de hacer pruebas y empieza a investigar. Si un sitio web no tiene la potencia suficiente para realizar un experimento, las pruebas A/B no son la herramienta adecuada. Las pruebas de usabilidad, las grabaciones de sesiones y la revisión heurística detectarán los fallos de forma más rápida y económica. La validación cuantitativa se realiza más adelante, una vez que los cambios son lo suficientemente significativos como para ser medibles. No hay nada de malo en ello: realizar pruebas con potencia insuficiente para aparentar rigor es peor que no realizarlas.
Lista de verificación previa al vuelo
Antes de cualquier lanzamiento de prueba:
- [ ] Línea base medida en la página y audiencia reales en las que se ejecutará la prueba, no en todo el sitio.
- [ ] MDE declaró explícitamente, por escrito, con especificación relativa o absoluta
- [ ] Tamaño de la muestra calculado por variante y multiplicado por el número de brazos
- [ ] Duración requerida en comparación con el tráfico disponible — y la respuesta aceptada antes del lanzamiento
- [ ] Fecha de finalización fijada con antelación
- [ ] Mínimo un ciclo comercial completo, independientemente de lo que indiquen los cálculos de la muestra.
- [ ] La unidad de aleatorización coincide con la unidad de análisis (asignación a nivel de visitante, métricas a nivel de visitante).
- [ ] Se verificó una división del tráfico en las primeras horas: una prueba 50/50 que arrojó 53/47 significa un problema de instrumentación, y los resultados no son utilizables hasta que se encuentre.
Haz los cálculos antes de construir la variante.
Todo el cálculo lleva medio minuto y cambia lo que construyes. Los equipos que dimensionan sus pruebas primero diseñan variantes más audaces, porque pueden ver cuánto costarían las variantes más conservadoras.
Introduce tu tasa de conversión base, el efecto que deseas detectar y tus ajustes de confianza y potencia. Si el resultado es mayor que tu tráfico, no es motivo para lanzar el servicio; se trata de una prueba que te indica que debes modificar el plan.
Preguntas frecuentes
¿Cuántos visitantes necesito para una prueba A/B? No existe una cifra universal. Depende de tu tasa de conversión base, del efecto mínimo que quieras detectar y de los niveles de significancia y potencia que hayas elegido. Una página con una tasa de conversión del 2.5 % necesita aproximadamente 64 000 visitantes por variante para detectar una mejora relativa del 10 %; un paso de compra con una tasa de conversión del 40 % necesita unos 2,400 para el mismo efecto relativo.
¿Cuál es un buen efecto mínimo detectable? El valor mínimo que tu tráfico pueda soportar en un plazo razonable. Parte de tu tráfico disponible y una duración objetivo de dos a cuatro semanas, y luego calcula el MDE que se ajuste. Si ese MDE es mayor que el cambio que estás probando podría producir, rediseña la prueba.
¿Puedo detener una prueba antes de tiempo si está ganando claramente? No con una prueba estándar de horizonte fijo. Comprobar repetidamente y detenerse ante el primer resultado significativo aumenta la tasa de falsos positivos muy por encima del 5 %. Si necesita la capacidad de detenerse prematuramente, utilice un método diseñado para ello —pruebas secuenciales o un marco bayesiano— y decídalo antes del lanzamiento, no durante.
¿Qué ocurre si mi prueba alcanza la significación estadística antes de que se alcance el tamaño de muestra requerido? Trátelo con recelo y siga adelante hasta el final previsto. La significancia temprana en una ventana de baja potencia es precisamente el patrón que produce ganadores inflados y no reproducibles.
¿Es suficiente con el 80% de potencia? Es la opción convencional por defecto y un punto de partida razonable, pero implica aceptar una probabilidad del 20 % de no detectar un efecto real. Para decisiones de gran trascendencia —como un rediseño del proceso de pago o un cambio de precios—, una potencia del 90 % justifica la muestra adicional. Para cambios reversibles y de bajo coste, un 80 % es suficiente.
¿No estás seguro de que tu programa de pruebas esté produciendo respuestas reales?
Si su registro de pruebas está lleno de pequeños éxitos que nunca se reflejan en el resultado final, el problema suele estar en una etapa anterior del análisis. Revisamos los programas de experimentación y le indicamos claramente dónde falla el diseño.
