Efecto Mínimo Detectable (EMD)

El efecto mínimo detectable, generalmente abreviado como EMD, es el cambio más pequeño en una métrica que un experimento está diseñado para detectar de manera confiable. Se establece antes de que comience la prueba y se utiliza directamente en el cálculo del tamaño de la muestra. Un experimento con un EMD del 10 % está diseñado para detectar mejoras del 10 % o mayores con el nivel de confianza y potencia especificados; las mejoras genuinas menores a menudo pasarán desapercibidas para esa prueba, apareciendo como resultados no concluyentes en lugar de victorias.

El MDE se suele malinterpretar como una predicción de cuánto mejorará la conversión una variante. No es una predicción. Es un ajuste de sensibilidad, del mismo modo que una escala tiene un incremento mínimo medible. Ajustarlo no hace que un efecto sea más o menos probable; determina si el experimento tiene la resolución suficiente para detectar el efecto, en caso de que exista. Confundir ambos conceptos suele dar lugar a una conversación desagradable tras la conclusión de una prueba, en la que un equipo argumenta que la variante "debería haber ganado" porque el MDE se fijó en el 15 %, cuando en realidad el MDE solo describe lo que la prueba pudo observar.

La forma correcta de establecer el MDE es desde una perspectiva comercial, no estadística. La pregunta es qué magnitud de mejora justificaría el costo de desarrollar, implementar y mantener el cambio, además del costo de oportunidad del tráfico dedicado a su medición. En un proceso de compra con alto volumen, un aumento relativo del 2 % puede representar una cifra anual sustancial y, por lo tanto, justificar una prueba prolongada. En un formulario de contacto con poco tráfico, una mejora inferior al 20 % puede no ser relevante, ya que el número absoluto de clientes potenciales adicionales es insignificante. Partir del valor comercial permite que la hoja de ruta de las pruebas se centre en los resultados, en lugar de en la conveniencia estadística.

Existe una tensión inevitable entre un MDE ambicioso y el tráfico real de un sitio web. Los equipos presionados para mostrar resultados a menudo lo resuelven de forma incorrecta, aumentando discretamente el MDE hasta que el cálculo del tamaño de la muestra arroja un número de días aceptable. Esto produce experimentos técnicamente válidos pero prácticamente inútiles: solo son capaces de detectar efectos tan grandes que habrían sido evidentes sin necesidad de realizar pruebas. La alternativa honesta es aceptar que algunas preguntas no pueden responderse mediante la experimentación con el nivel de tráfico actual y recurrir a otros métodos, como las pruebas de usabilidad, el análisis de datos o la revisión por expertos.

MDE también influye en el diseño de la variante en sí. Si una prueba necesita detectar una mejora del 15 % para que valga la pena ejecutarla, es poco probable que un cambio sutil en el texto del botón cumpla con ese requisito, y al equipo le conviene más probar un enfoque sustancialmente diferente para la página: una propuesta de valor reestructurada, una longitud de formulario distinta, una presentación de precios modificada. Por eso, los programas con tráfico limitado tienden a generar un trabajo más interesante que los programas con tráfico ilimitado, que pueden permitirse el lujo de probar detalles insignificantes.

Una fuente recurrente de confusión es si el efecto se expresa en términos relativos o absolutos, y la diferencia no es trivial. Con una tasa de conversión base del dos por ciento, una mejora relativa del diez por ciento implica pasar al 2.2 por ciento, un cambio absoluto de 0.2 puntos porcentuales. Una mejora absoluta del diez por ciento implicaría pasar al doce por ciento, lo cual no produce ningún cambio realista. Las calculadoras de tamaño de muestra, las plataformas de prueba y las partes interesadas suelen alternar entre ambas convenciones sin especificarlo, y un plan basado en una interpretación errónea especificará un experimento que no puede concluirse o uno excesivamente potente. Indicar explícitamente la convención en cada plan de prueba, junto con la base y la cifra absoluta resultante, elimina una ambigüedad que, de otro modo, resurge cada vez que se discuten los resultados con personas ajenas al departamento de análisis.

En la práctica, las decisiones de MDE se toman colectivamente durante la planificación de la hoja de ruta en lugar de por un analista que trabaje solo. Servicio de CRO La documentación de participación generalmente documenta, para cada experimento planificado, la tasa base, el MDE, el tamaño de muestra resultante y el tiempo de ejecución estimado, para que las partes interesadas puedan ver el costo de cada pregunta antes de comprometerse con ella. Para las organizaciones que realizan experimentos en varias propiedades o mercados, esta documentación también evita el error común de aplicar una única convención de MDE a sitios con perfiles de tráfico radicalmente diferentes, un patrón que se observa a menudo en empresa programas en los que se impone un estándar central a equipos cuyo tráfico no puede soportarlo.