Si revisas una prueba A/B cada mañana y la detienes la primera vez que el panel se pone verde, tu tasa real de falsos positivos no es del 5%. En una simulación que probaba la significancia después de cada observación, Evan Miller la midió en 26.1%, más de cinco veces el nivel al que la mayoría de los equipos creen que están corriendo (Cómo no realizar una prueba A/BUna de cada cuatro "victorias" que no se replicará no es un problema estadístico. Es un problema de planificación estratégica.
Esta guía está dirigida a equipos de crecimiento y optimización de la tasa de conversión (CRO) que realizan pruebas en tráfico de comercio electrónico o viajes, cuyo comportamiento es demasiado estacional como para permanecer estático durante cuatro semanas. Al finalizar, podrá planificar un calendario de análisis antes del lanzamiento, consultar el umbral para cada análisis en una tabla, dimensionar la prueba para la pequeña muestra adicional que implica la planificación y reconocer dónde deja de ser válido el método.
Por qué mirar distraídamente rompe una prueba de horizonte fijo
Una prueba de horizonte fijo gasta todo su margen de error del 5% una sola vez, con un tamaño de muestra predefinido. Cada análisis adicional supone una nueva oportunidad de cruzar la línea. El problema no reside en analizar los datos, sino en analizarlos con un umbral cuyo precio se basa en un único análisis. La tabla de Miller proporciona el nivel de significancia reportado necesario para mantener una tasa real del 5% si se insiste en realizar un número determinado de análisis:
| Número de miradas | Significancia reportada necesaria para un verdadero 5% |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Dicho de otro modo: si echas un vistazo diez veces, lo que interpretas como un 1 % de significancia en realidad es un 5 %. Es un método rudimentario, pero honesto. Los métodos que se describen a continuación realizan la misma función de forma más eficiente.
Tres maneras de parar antes de tiempo y cuánto te cuesta cada una.
| Nuevo enfoque | Corregir antes del lanzamiento | Costo versus una prueba fija | Úselo cuando |
|---|---|---|---|
| horizonte fijo | Tamaño de la muestra, una fecha de análisis | Ninguna, pero no se permite ninguna parada anticipada. | El tráfico es estable, la ventana es corta. |
| Secuencial de grupo (gasto alfa) | Muestra máxima, número y momento de las miradas | La muestra máxima aumenta aproximadamente un 3% (O'Brien-Fleming) a un 20% (Pocock), 4 miradas | El tamaño de la muestra es estimable. |
| Siempre válido (mSPRT) | En principio, nada. | La mayor pérdida de potencia de las tres en la misma muestra. | El tamaño de la muestra no es estimable. |
La tercera fila es importante porque es la que la mayoría de las plataformas comerciales distribuyen. En la simulación de Georgi Georgiev con una muestra máxima fija de 7,045 por grupo, una prueba de horizonte fijo alcanzó una potencia del 83.3 %, la prueba AGILE secuencial grupal alcanzó su objetivo del 80 %, la prueba SPRT alrededor del 73 % y la inferencia siempre válida el 62.4 %. Para alcanzar una potencia del 80 %, la inferencia siempre válida necesitaba aproximadamente 85% más de muestra que el diseño secuencial grupal (Kit de herramientas de análisis, 2022). Los ingenieros de Spotify llegaron a la misma conclusión de forma independiente: las pruebas secuenciales grupales son "sistemáticamente mejores o comparables a los enfoques siempre válidos" cuando se puede estimar el tamaño de la muestra (Schultzberg y Ankargren, 2023).
Vale la pena corregir esto, porque el enfoque del proveedor va en la dirección opuesta. La documentación de Optimizely le dice que "omita realizar el trabajo previo al experimento, como calcular el tamaño de la muestra antes de lanzar el experimento" (Soporte de Optimizely). El control de errores es real y la investigación subyacente es sólida (Johari y otros, Inferencia siempre válida); lo que omite el planteamiento es la factura de la luz. Statsig, que implementa la misma familia de métodos, lo dice claramente: "Si necesita una medición precisa del tamaño del efecto, espere a tener la potencia total que estima su cálculo de potencia previo al experimento" (Documentos de Statsig). Interprete "no se necesita tamaño de muestra" como una afirmación sobre validez, nunca sobre eficiencia.
El método, paso a paso
Ejemplo práctico: una tienda de ropa está probando un proceso de pago. La tasa de conversión de sesión de referencia es del 2.4 %, el efecto objetivo es del +10 % relativo (2.64 %), el alfa bilateral es del 5 %, la potencia es del 80 % y se realizan aproximadamente 5,000 sesiones al día.
1. Ajústalo como si nunca fueras a mirar.
El dimensionamiento de dos proporciones da 66,943 sesiones por brazo, 133,886 en total. Esto no es un gasto adicional opcional solo porque planees terminar antes; es el pilar sobre el que se construye el cronograma.
2. Elige cuántos looks y cuándo.
De tres a cinco looks capturan casi todo el beneficio disponible; más allá de eso, cada look agrega un costo máximo de muestra para un retorno mínimo. Alinee los looks con semanas enteras, porque la composición por día de la semana es una fuente importante de variación en el tráfico minorista. Con 5,000 sesiones al día, cuatro visitas semanales alcanzan cerca de 140 000 sesiones, cubriendo el máximo previsto.
3. Elija una función de gasto y anote los umbrales.
Una función de gasto alfa decide cuánto del presupuesto del 5% puede consumir cada aspecto, en función de la cantidad de datos acumulados (Penn State STAT 509). Las dos opciones clásicas, en cuatro miradas igualmente espaciadas, alfa bilateral 0.05:
| Mira | Porcentaje de muestra planificada | O'Brien-Fleming: detenerse si p | Pocock: deténgase si p |
|---|---|---|---|
| 1 (fin de la semana 1) | 25% | 0.0001 | 0.0179 |
| 2 (fin de la semana 2) | 50% | 0.0055 | 0.0179 |
| 3 (fin de la semana 3) | 75% | 0.0216 | 0.0184 |
| 4 (fin de la semana 4) | 100% | 0.0411 | 0.0188 |
| Muestra máxima frente a prueba fija | + 3% | + 20% |
Estos se calcularon con las funciones de gasto de Lan-DeMets y coinciden con la caracterización publicada: O'Brien-Fleming utiliza "umbrales muy estrictos al principio, pero el umbral de análisis final está cerca del típico p < 0.05", mientras que Pocock mantiene un umbral casi constante alrededor de p < 0.016 (Ciolino, Kaizer y Bonner, 2023).
El algoritmo O'Brien-Fleming es una opción económica: casi nunca se activa en la primera iteración, cuesta un 3 % más en muestras máximas y su umbral final es apenas superior a 0.05. El algoritmo Pocock se detiene prematuramente con mucha más frecuencia, pero cobra un 20 % más por el tráfico. Se recomienda usar O'Brien-Fleming por defecto para métricas vinculadas a los ingresos.
4. Escriba la regla en el ticket antes del lanzamiento.
Una frase, visible para cualquiera que pueda detener la prueba: "Analizamos el final de las semanas 1 a 4, declaramos un ganador solo si el valor p bilateral para [métrica principal] está por debajo del umbral de esa evaluación, y de lo contrario continuamos hasta la semana 4". Una regla que solo existe en la mente de alguien no es una regla.
5. Establezca también el límite de futilidad.
La mayoría de los equipos solo implementan límites de eficacia, por lo que detienen los proyectos ganadores prematuramente y dejan que los perdedores continúen hasta el final, lo cual resulta contraproducente en términos de costo de oportunidad. Un límite de futilidad no vinculante —detenerse cuando una victoria significativa se vuelve improbable— es donde reside la mayor parte del ahorro de tiempo. Con cuatro análisis de O'Brien-Fleming, el tamaño de muestra esperado bajo un efecto real se reduce aproximadamente al 83 % del requisito de horizonte fijo.
6. No reporte la estimación puntual temprana como el tamaño del efecto.
Una prueba que se detiene antes de tiempo se detuvo because La elevación observada fue inusualmente grande, por lo que la estimación está sesgada al alza debido a la construcción. Úsela para la decisión sobre el buque, no para la previsión de ingresos. Statsig: "Las decisiones tempranas suelen generar estimaciones de elevación insuficientes con alta incertidumbre".
Lista de verificación previa al lanzamiento
- Una métrica principal, declarada por escrito antes del lanzamiento
- Muestra máxima y fecha de finalización del calendario fijas
- Aparecen números y horarios fijos, alineados con semanas completas.
- Función de gasto seleccionada, umbrales escritos en el ticket.
- Se define la regla de futilidad, no solo la regla de eficacia.
- SRM revisó cada mirada, antes El valor p se lee
- Las métricas de la barrera de seguridad se supervisan por separado, fuera de la regla de parada.
- Todos los que pueden detener la prueba saben que las miradas no planificadas están prohibidas.
Calibrar esto para Turquía y la región
Turquía registró 5.94 millones de transacciones de comercio electrónico en 2025 sobre un volumen de 4.57 billones de liras turcas, según el Informe de Perspectivas del Comercio Electrónico del Ministerio de Comercio presentado en mayo de 2026 (Daily Sabah, 12 de mayo de 2026). Es un mercado grande compuesto principalmente por tiendas de tamaño mediano, por lo que los periodos de cuatro semanas son habituales, tiempo suficiente para coincidir con una campaña.
El período de descuentos de finales de noviembre conocido localmente como Efsane Cuma, y el evento del 11.11 que lo precede, cambian que Lo que importa es la presencia en el sitio, no solo la cantidad. Los visitantes que se guían por descuentos se convierten según una lógica diferente, por lo que un cronograma que cruza el límite de una campaña no mide una sola población. Nuestra regla: terminar antes de la campaña o comenzar después. Si una prueba debe realizarse durante una semana de campaña, tratarla como un estrato aparte y no tomar ninguna decisión de finalización dentro de ella.
Un segundo ajuste se aplica en toda la UE y a los banners de consentimiento alineados con KVKK en Turquía: si los análisis están sujetos a consentimiento, parte de su tráfico no se observa. Tamaño y programación en observado sesiones, o cada look llega más tarde de lo que indica el calendario.
[DATOS INTERNOS NECESARIOS: mediana de sesiones diarias y mediana de duración real de las pruebas entre los clientes de comercio electrónico de Switas, para reemplazar la cifra ilustrativa de 5,000 sesiones/día con una distribución real.]
Aquí es donde se produce el fallo
- Cambio de composición. Los métodos secuenciales presuponen que el flujo de datos entrantes es intercambiable a lo largo del tiempo. Un cambio en una campaña o en la publicidad pagada interrumpe esta premisa, y detener los bloqueos anticipados en cualquier semana era inusual.
- Novedad y primacía. La lectura de la primera semana mide la reacción, no el comportamiento establecido. Si el cambio es visible para los clientes habituales, no establezca ningún límite de eficacia en la primera lectura.
- Métricas de cola pesada. Los ingresos por sesión dependen principalmente de pedidos grandes poco frecuentes, y las aproximaciones normales no son fiables con muestras intermedias pequeñas. Deténgase en la tasa de conversión y lea los ingresos al mismo tiempo, o bien aplique el método de Winsor y menciónelo.
- Múltiples métricas. Estos límites controlan el error para uno Métrica. Cinco métricas con cinco reglas de parada y ninguna corrección adicional te devuelven al punto de partida.
- Instrumentación averiada. Una prueba secuencial no tendrá problemas al sobrepasar los límites en caso de datos corruptos. No sustituye a una comprobación SRM.
- No se incluye aquí: Reglas de parada bayesianas, algoritmos de bandidos multi-brazos y reducción de varianza como CUPED. Cada uno interactúa con la parada temprana de maneras que requieren un tratamiento por separado.
Preguntas Frecuentes
Marque esta sección con el esquema FAQPage.
¿Puedo simplemente usar un valor p más estricto en lugar de una función de gasto?
Sí, si se fija el número de observaciones de antemano y solo hay unas pocas. La tabla de Miller proporciona el umbral. Es más conservador que el gasto alfa, por lo que se paga más por la muestra de la necesaria, pero no requiere herramientas nuevas.
¿Significa que, al realizar pruebas secuenciales, puedo omitir el cálculo del tamaño de la muestra?
No. La validez se conserva sin una estimación del tamaño de la muestra; la potencia no. Tanto las simulaciones de Georgiev como las de Spotify muestran el mismo patrón: cuando se puede estimar el tamaño de la muestra, predomina un diseño secuencial grupal.
¿Y si estoy esperando una regresión en lugar de una victoria?
Se trata de un monitoreo de seguridad, no de una prueba de hipótesis. Supervise continuamente las métricas de seguridad y errores bajo una regla separada y menos estricta, y deje intacta la regla de detención principal. Eliminar una variante que perjudica a los usuarios no requiere ceremonias.
¿Son las pruebas bayesianas inmunes a la manipulación de datos?
No. Detener la regla en el momento en que la probabilidad posterior supera un umbral modifica sus características operativas, a menos que la regla haya sido diseñada para permitir la detención opcional. La probabilidad previa cambia la forma del problema, no su existencia.
¿O'Brien-Fleming o Pocock?
O'Brien-Fleming es la mejor opción en casi todos los casos comerciales. Elija Pocock solo cuando una respuesta temprana tenga un valor concreto, pueda absorber aproximadamente un 20 % más de muestra máxima y alguien esté listo para realizar el envío con un resultado de la primera semana.
¿Puedo añadir un look que no tenía planeado?
Con una función de gasto alfa, sí, siempre que la decisión de consultar no esté motivada por los datos que está a punto de ver. Añadir una consulta porque el panel de control "parecía estar cerca" depende del momento en que se realizan los datos y anula la garantía.
Trabaje con nosotros en esto
Si realizas experimentos en una plataforma de comercio electrónico turca o regional y la regla de parada actual es "comprobarlo cada mañana", la reconstruiremos contigo: dimensionamiento, calendario de visualización, límites, regla de inutilidad y puerta SRM, todo ello integrado en la plantilla de tu experimento para que la siguiente prueba la herede. Habla con Switas sobre tu programa de experimentación..
Fuentes
- Evan Miller, Cómo no realizar una prueba A/B
- Johari, Pekelis, Walsh y Koomen, Inferencia siempre válida: Monitoreo continuo de pruebas A/B; publicado en La investigación de operaciones 70 (3), 2022
- Georgi Georgiev, Comparación de la potencia estadística de las pruebas secuenciales, Kit de herramientas de análisis, noviembre de 2022 (actualizado en marzo de 2023)
- Schultzberg y Ankargren, Elección de un marco de pruebas secuencialesDepartamento de Ingeniería de Spotify, marzo de 2023
- optimamente, Descripción general de los métodos de análisis estadístico
- Estadísticas, Pruebas secuenciales frecuentistas
- Ciolino, Kaizer y Bonner, Orientación sobre métodos de análisis intermedio en ensayos clínicos, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, Enfoque de la función de gasto alfa
- rpact, Definición de límites secuenciales de grupo
- El volumen de comercio electrónico de Turquía aumentará más del 52% en 2025.Daily Sabah, 12 de mayo de 2026, informando sobre el Informe de Perspectivas del Comercio Electrónico del Ministerio de Comercio.
