Ejecuta un grupo de prueba que realmente pueda detectar cuánto valieron las victorias de tu prueba.

Tu programa reporta un ganador aproximadamente una vez al mes. Si sumamos doce victorias, el informe anual indica que la tasa de conversión debería ser un 18 % superior a la del año anterior. El departamento de finanzas revisa el estado de resultados y afirma que no es así. Generalmente, el informe está equivocado.

En la plataforma de experimentación de Microsoft, solo alrededor de un tercio de las ideas probadas mejoraron la métrica que estaban diseñadas para mejorar, y las que se lanzan se seleccionan precisamente por haber parecido buenas, que es donde la aritmética comienza a desviarse (Kohavi y Longbotham, 2015). Un grupo de prueba es el instrumento más barato que mide la programa en lugar de la prueba individual.

Esta guía está dirigida a responsables de CRO y analistas que realizan al menos un experimento al mes. Al finalizar, podrá dimensionar un conjunto de datos de prueba que permita detectar el efecto de su programa, seleccionar la duración y el período de análisis, e identificar los fallos que invalidan el resultado antes de presentarlo.

Lo que un grupo disidente mide es que la suma de victorias no lo hace.

Un grupo de usuarios seleccionados al azar mantiene la experiencia previa al cambio, mientras que el resto recibe todas las novedades lanzadas. Tras unos meses, se comparan ambos grupos. La diferencia radica en el efecto acumulativo y perdurable de todas las novedades implementadas, no en doce estimaciones puntuales sumadas.

Netflix utiliza el mismo instrumento, describiendo las "pruebas A/B de retención" como una forma de "comprender los efectos a largo plazo, volver a probar suposiciones antiguas en miembros más nuevos y medir el valor acumulativo" (Blog de tecnología de Netflix).

Por qué las victorias en las pruebas sumadas exageran lo que sucedió.

Cuatro mecanismos elevan la suma por encima de la verdad, y se acumulan:

• La maldición del ganador. Solo se lanzan variantes que cruzaron la significancia, por lo que el conjunto lanzado se enriquece con ruido ascendente. Lee y Shen en Airbnb formalizaron este sesgo de selección y publicaron una corrección (KDD 2018).
• La novedad y la primacía se desvanecen. Los breves periodos de tiempo permiten capturar reacciones a la novedad. En un ejemplo de Microsoft News, un aumento inicial del 28% en los clics en un nuevo botón disminuyó día tras día dentro del periodo del experimento (Sadeghi et al., 2022).
• Interacción y rendimientos decrecientes. Dos victorias probadas de forma independiente en la misma etapa del embudo de ventas a menudo no se suman; compiten por el mismo usuario marginal.
• Holgura de análisis. Observando, cambiando de métricas y reportando selectivamente cada turno el conjunto lanzado aún más arriba (EPPO).

Nada de esto significa que tus pruebas fueran falsas. Significa que la suma es un límite superior, no una estimación.

Dimensiona el espacio reservado antes de construirlo.

Este es el paso que casi todos omiten, y es donde la mayoría de los casos de prueba fallecen. Una prueba de prueba es una prueba de dos brazos con una división deliberadamente desequilibrada, y la precisión está regida por el brazo más pequeño. El tamaño total de la muestra requerido se escala con 1 / (p × (1 − p)), donde p es la proporción de la muestra de prueba. Por lo tanto, una muestra de prueba del 1% necesita aproximadamente 25 veces el tráfico de una prueba equilibrada para ver el mismo efecto.

Número total de usuarios necesarios durante el período de prueba, con una tasa de conversión base del 2%, una potencia del 80% y una significancia bilateral del 5%:

Ahora léalo en comparación con los valores predeterminados del proveedor. Statsig sugiere "un porcentaje de retención bajo de un solo dígito, como 1%–2%" (Estadísticas); Optimizely advierte por encima del 5% (Optimizely); GrowthBook informa que los equipos de Facebook y X funcionan al 5% o menos (Libro de crecimiento).

Esas cifras son correctas para sus autores, pero erróneas para la mayoría de los sitios web de tamaño mediano. Un sitio de comercio electrónico regional con 400 000 usuarios mensuales acumula 1.2 millones en un trimestre. Con una tasa de retención del 1%, necesitaría aproximadamente una década. Con un 10%, aún no alcanza un aumento del 5% en las lecturas. Con un 20%, detecta un aumento del 5% en un trimestre y del 10% en aproximadamente un mes. Seleccione la proporción que corresponda a su tráfico, no a la configuración predeterminada del proveedor. Si la respuesta honesta es el 20%, plantéele esa contrapartida a la empresa con claridad: una quinta parte de los usuarios espera un trimestre para obtener nuevas funciones, a cambio de saber si ese trimestre valió la pena.

Seleccione la duración y el período de análisis.

Statsig recomienda esperar de tres a seis meses antes de liberar una acción retenida; GrowthBook recomienda un período activo de medio mes a un trimestre, seguido de un período de análisis de dos a cuatro semanas para que los efectos se asienten y se completen las ventanas de análisis retrospectivo.

Nuestra regla de trabajo: el período activo es el más largo entre lo que requiere tu tabla de dimensionamiento y un ciclo comercial completo. En esta región, esto significa cubrir al menos un pico de campaña y un mes sin actividad, por lo que el resultado no se decide únicamente por el 11.11. Luego, congela las banderas y espera a que finalice la ventana de análisis antes de que alguien abra el panel de control.

Construyelo: siete cosas que debes hacer bien

• Aleatorizar en un identificador de usuario o cuenta persistente del lado del servidor. Una cookie que un banner de consentimiento bloquea o que un usuario borra filtra a las personas entre los brazos.
• Asignar el bloque de reserva una vez, al frente, antes de los lanzamientos que quieres medir. Un grupo de espera creado a posteriori no es un grupo de espera.
• Cada ganador lanzado pasa por el mismo sistema de banderas, por lo que "holdout = off" significa realmente la experiencia anterior. Los usuarios con la opción holdout activada obtienen los valores predeterminados de puerta y capa, como en la implementación de Statsig.
• Mantén una explícita Lista de exclusionLas correcciones de seguridad, el cumplimiento de las normas legales y de accesibilidad, y los cambios de precios se envían a todos los usuarios. Documente cada exclusión con su fecha.
• Elige de dos a cuatro duradero métricas (ingresos por usuario, retención, frecuencia de pedidos) más su tasa de conversión principal. No añada una quinta.
• Mantén un registro fechado de cada cambio implementado dentro del período de tiempo establecido, junto con su impacto medido. Con eso es con lo que comparas el cambio que se mantiene.
• Dígale al equipo de ingeniería que las banderas permanezcan en el código fuente hasta que finalice el período de análisis. Los proyectos que se resisten a implementarlas suelen fracasar más por la eliminación prematura de banderas que por cualquier causa estadística.

Lee el resultado con honestidad.

Calcule la relación entre el levantamiento medido en el conjunto de validación y el levantamiento total en su registro de lanzamiento. Nuestros umbrales de trabajo son criterios de evaluación, no puntos de referencia publicados:

Una advertencia regional sobre la alternativa a la que recurren primero los equipos. Si planea omitir la resistencia y comparar este trimestre con el año pasado, tenga en cuenta que la inflación anual de los precios al consumidor de Turquía fue del 31.51% en agosto de 2026 (Cifras de TÜİK, publicadas el 3 de septiembre de 2026.Los ingresos por usuario en liras no son comparables entre periodos a esa tasa, y su deflación añade sus propias suposiciones. La aleatorización concurrente evita esto: ambos grupos viven en la misma economía el mismo día.

[DATOS INTERNOS NECESARIOS: un ejemplo de cliente de Switas: duración del programa, escala de tráfico, incremento total de la prueba frente al incremento medido en el conjunto de prueba, y la proporción del conjunto de prueba utilizada.]

Seis maneras en que un disidente cede silenciosamente

• Contaminación. Los dispositivos compartidos, las sesiones cerradas y los restablecimientos de identificadores provocan que los usuarios cambien de plataforma. Mida el cambio de plataforma; si supera aproximadamente el 2 %, la estimación no es fiable.
• Fuga silenciosa. Un cambio enviado fuera del sistema de banderas (una regla de CDN, una edición de CMS, una nueva plantilla) también llega al elemento que se mantiene en reserva y reduce la brecha hasta casi cero.
• Exclusión progresiva. Cada decisión del tipo "este tiene que ir a todos" elimina un lanzamiento de lo que estás midiendo. Diez de ellos y no estarás midiendo nada.
• Discrepancia en la proporción de muestras. La distribución se desvía de la prevista. Compruébelo semanalmente; una reclamación con SRM es tan inválida como cualquier otra prueba con SRM.
• Liberación prematura. Las restricciones globales nativas de Optimizely no se pueden pausar, solo finalizar. Tenga esto en cuenta: si finaliza antes de tiempo, perderá la ventana de tiempo.
• Con poca potencia desde el primer día. El fallo más común. Un resultado nulo con un 2 % de datos de prueba no dice nada sobre tu programa, pero sí sobre el tamaño de la muestra.

Dónde falla este método

Un grupo de control muestra la magnitud del efecto combinado, no qué lanzamiento lo produjo. La atribución aún requiere pruebas individuales. No puede medir nada que deba distribuirse a todos, por lo que el trabajo de cumplimiento queda fuera de su alcance. Es un método inadecuado cuando los mismos usuarios no regresan dentro del plazo establecido, y no dice nada sobre la marca o el efecto indirecto fuera de línea entre los grupos. Por debajo de aproximadamente 100 000 usuarios mensuales, no existe una participación que sea a la vez detectable y defendible; a esa escala, las lecturas antes y después cuidadosamente controladas, junto con la validación cualitativa, son la alternativa más fiable, aunque sus debilidades se reconocen abiertamente.

Preguntas frecuentes

¿De qué tamaño debería ser el grupo disidente?

Lo suficientemente grande como para detectar el efecto acumulativo esperado, que es un cálculo más que una convención. Con una base del 2 % y un objetivo relativo del +5 %, una reserva del 5 % necesita alrededor de 3.25 millones de usuarios, mientras que una reserva del 20 % necesita alrededor de 971 000.

¿Cuánto tiempo debería durar una huelga?

Los proveedores sugieren un período de actividad de tres a seis meses, más un período de análisis de dos a cuatro semanas. Se debe añadir la condición de que este período abarque al menos un pico de campaña y un mes normal, para que un único evento de ventas no determine el resultado.

¿Por qué mi ventaja en el período de espera es menor que la suma de mis victorias en los partidos de prueba?

Ese es el resultado esperado, no un error. La maldición del ganador, la pérdida de la novedad, la interacción entre los cambios y la holgura del análisis inflan la suma. El valor de prueba es el que se acerca más a la realidad.

¿Puedo crear una retención después de haber lanzado las cosas?

No aplica para esos lanzamientos; todos ya los recibieron. Una restricción solo mide los cambios bloqueados desde su fecha de inicio. Aún puedes iniciar una hoy para los próximos dos trimestres.

¿Restringir el acceso a los usuarios perjudica los ingresos?

Si tus lanzamientos funcionan de verdad, el coste es ligeramente inferior al porcentaje de retención multiplicado por el incremento real. Si no funcionan, la retención no supone ningún coste y te evita tener que repetirlos.

¿Qué ocurre si el resultado del grupo de control es plano?

Primero, compruebe la potencia con su tabla de dimensionamiento, luego el cruce y la fuga. Un resultado verdaderamente plano y con la potencia adecuada significa que dos cuartas partes del envío no modificaron la métrica: aprender es caro, pero no aprenderlo es aún más caro.

El próximo paso

Si realizas experimentos y no puedes decir cuánto valió un año de victorias, dimensiona una prueba comparativa con tu propio tráfico esta semana, o deja que nosotros la dimensionemos, construyamos y la leamos como parte de un compromiso de la CRO.

Fuentes

• Kohavi y Longbotham, "Experimentos controlados en línea y pruebas A/B" (2015)
• Lee & Shen (Airbnb), "La maldición del ganador", KDD 2018
• Sadeghi et al. (Microsoft), "Novedad y primacía", Technometrics, 2022
• Blog tecnológico de Netflix, "Aplicaciones de inferencia causal en Netflix"
• Documentos de Statsig, "Resistentes"
• GrowthBook, "Los que se resisten en GrowthBook"
• Soporte de Optimizely, "Resistencia global"
• Eppo, "El todo es menor que la suma de sus partes"
• Dirección de Estrategia y Presupuesto — TÜİK CPI, agosto de 2026