Intervalo de confianza

Un intervalo de confianza es un rango de valores, calculado a partir de datos experimentales, que probablemente contenga el verdadero efecto de un cambio. Mientras que una prueba de significancia arroja un resultado binario, un intervalo de confianza comunica tanto la dirección como la magnitud plausible de un efecto, junto con la precisión de la medición. Un resultado que se presenta como "un aumento relativo del 6 %, con un intervalo de confianza del 95 % entre el 1 % y el 11 %" contiene mucha más información relevante para la toma de decisiones que "significativo al 95 %".

La amplitud del intervalo es la señal clave. Un intervalo estrecho indica que el experimento midió el efecto con precisión y que la empresa puede planificar en función de ese valor. Un intervalo amplio que aún excluye el cero significa que el cambio probablemente fue positivo, pero su magnitud sigue siendo incierta, lo cual es importante cuando la decisión de lanzar el producto depende de que el efecto sea lo suficientemente grande como para justificar el costo de implementación. Un intervalo que incluye el cero significa que los datos son compatibles con que el cambio sea beneficioso, no tenga ningún efecto o sea perjudicial, y no se puede afirmar con certeza ninguna conclusión.

Los intervalos de confianza corrigen un hábito específico y costoso: presentar la estimación puntual observada como si fuera la verdad absoluta. Cuando una prueba reporta un aumento del 18 % con un intervalo del 2 % al 36 %, la cifra principal que aparece en el resumen ejecutivo casi siempre es del 18 %, y esa cifra se incluye posteriormente en pronósticos, estudios de viabilidad y proyecciones anuales. Cuando se implementa el cambio y se obtiene un aumento del 4 %, se culpa al programa de pruebas por haber generado expectativas poco realistas. Presentar el intervalo desde el principio establece expectativas precisas y protege la credibilidad de la práctica.

La interpretación formal es más sutil que la cotidiana. Un intervalo de confianza del 95 % no significa que exista una probabilidad del 95 % de que el efecto real se encuentre dentro de dicho intervalo. Significa que un procedimiento que genere intervalos de esta manera capturaría el valor real en el 95 % de los experimentos repetidos. En la práctica, la mayoría de los equipos razonan sobre esto de forma habitual y rara vez tienen problemas, pero la distinción es importante cuando se intenta combinar intervalos de diferentes pruebas o razonar sobre un resultado específico en términos probabilísticos. Los métodos bayesianos, que informan intervalos creíbles con una interpretación intuitiva, suelen preferirse precisamente por esta razón.

Los intervalos también ponen de manifiesto el coste del análisis de segmentos a posteriori. Dividir un experimento en móviles y ordenadores de escritorio, usuarios nuevos y recurrentes, de pago y orgánicos, produce intervalos que se amplían drásticamente a medida que cada subconjunto se reduce. Los segmentos con estimaciones puntuales de aspecto dramático e intervalos que van desde fuertemente negativos hasta fuertemente positivos son la base de la mayoría de los aprendizajes erróneos en el trabajo de optimización. Mostrar el intervalo junto a cada cifra de segmento permite que la debilidad de esas lecturas sea inmediatamente visible para los no especialistas, lo que resulta más eficaz que una advertencia escrita que nadie lee.

Comunicar los intervalos a las partes interesadas comerciales requiere traducirlos a términos de decisión en lugar de presentarlos como notación estadística. El enfoque efectivo expresa el rango en unidades de negocio: en lugar de informar un intervalo de incremento relativo, indique que se espera que el cambio genere entre una cifra mínima y una máxima de ingresos mensuales adicionales, dado el tráfico actual. La planificación puede entonces utilizar el extremo conservador del rango, que produce pronósticos que se mantienen, mientras que el extremo optimista establece expectativas sobre el mejor escenario realista. Cuando el intervalo incluye el cero, la declaración honesta es que el experimento no pudo determinar si el cambio es beneficioso o perjudicial, y la pregunta a continuación es si la empresa desea invertir más tráfico en reducirlo o tomar la decisión en función de otros criterios como la marca, la accesibilidad o el costo de mantenimiento.

Por lo tanto, la práctica de presentación de informes en un programa maduro se centra en el intervalo en lugar del veredicto. análisis de datos La función que estandariza la presentación de informes a intervalos en experimentos, mediciones de marketing y pronósticos crea un vocabulario organizacional compartido para la incertidumbre, lo que a su vez facilita tener conversaciones honestas sobre qué resultados son lo suficientemente sólidos como para construir una estrategia sobre ellos. Gestión del crecimiento En este trabajo, la honestidad se multiplica: las previsiones basadas en estimaciones que tienen en cuenta los intervalos resisten mucho mejor el contacto con la realidad que aquellas basadas en estimaciones puntuales seleccionadas a dedo de la prueba más favorable del último trimestre.