La investigación cuantitativa es la recopilación y el análisis estadístico de datos numéricos sobre el comportamiento de los usuarios, y se utiliza para medir la escala, la frecuencia y la significancia de patrones en una población amplia de usuarios, en lugar de explicar motivaciones individuales. En un contexto de UX y optimización de la conversión, los métodos cuantitativos habituales incluyen los informes de analítica web, el análisis de embudos, las pruebas A/B y multivariante, el seguimiento de clics y desplazamientos agregado en muchas sesiones y las encuestas estructuradas con preguntas cerradas que producen datos aptos para la comparación estadística, como las puntuaciones del Net Promoter Score o de la System Usability Scale. La característica definitoria de la investigación cuantitativa es que sus conclusiones se expresan en términos medibles, como la tasa de conversión, el nivel de confianza estadística o el tamaño del efecto, que pueden compararse de forma objetiva entre periodos de tiempo o variantes.
Esta disciplina es esencial para la optimización de la tasa de conversión porque aporta la evidencia necesaria para validar si un cambio propuesto realmente mejora los resultados, en lugar de limitarse a parecer una mejora al equipo que lo realiza. Sin validación cuantitativa, las decisiones de diseño y de marketing se basan en opiniones, políticas internas o preferencias subjetivas, que según las investigaciones se correlacionan mal con el comportamiento real de los usuarios. Las pruebas A/B, el método cuantitativo más común en CRO, requieren alcanzar un tamaño de muestra calculado previamente y un nivel de confianza estadística, normalmente del 95 por ciento, antes de que un resultado se considere fiable, y las pruebas se ejecutan por lo general durante un mínimo de uno a dos ciclos de negocio completos, a menudo de dos a cuatro semanas, para tener en cuenta la variación del comportamiento según el día de la semana y las fechas de pago, que de otro modo distorsionaría los resultados de duración corta.
Más allá de los experimentos controlados, la investigación cuantitativa también incluye el análisis observacional de datos de comportamiento existentes, como segmentar la tasa de conversión por fuente de tráfico, tipo de dispositivo o geografía para identificar dónde varía significativamente el rendimiento, y el análisis de cohortes, que sigue cómo se comporta durante las semanas o meses posteriores un grupo específico de usuarios, como todos los que se registraron en un mes determinado, y que se utiliza comúnmente para medir las tendencias de retención y de valor del ciclo de vida. Los conceptos estadísticos centrales de una investigación cuantitativa sólida incluyen el cálculo del tamaño de muestra, que determina cuántas observaciones se necesitan para detectar un efecto significativo con un nivel de confianza dado, y evitar el problema de las comparaciones múltiples, en el que probar muchas métricas a la vez aumenta la probabilidad de encontrar un resultado falsamente significativo por puro azar.
Una idea errónea frecuente es que los datos cuantitativos son intrínsecamente objetivos y, por tanto, no requieren una interpretación cuidadosa; en realidad, los resultados cuantitativos pueden ser engañosos si la recopilación de datos subyacente es defectuosa, por ejemplo por tráfico de bots que infla el recuento de visitantes, por código de seguimiento que se dispara de forma incorrecta en ciertos dispositivos o por una prueba contaminada por una campaña de marketing ajena que se ejecuta al mismo tiempo. Otro error común, que en este contexto a veces se denomina falacia de la tasa base, es centrarse en los cambios porcentuales relativos sin considerar el número absoluto de conversiones implicadas, ya que un aumento del 50 por ciento basado en un puñado de conversiones totales tiene mucha menos fiabilidad estadística que un aumento del 10 por ciento medido en miles de conversiones.
En el trabajo de consultoría de CRO y crecimiento, la investigación cuantitativa aporta tanto el punto de partida diagnóstico, que identifica en qué parte del embudo existen las oportunidades mayores y más fiables desde el punto de vista estadístico, como la capa final de validación, que confirma si una hipótesis generada mediante investigación cualitativa realmente produce un resultado de negocio medible una vez implementada. Las consultoras maduras suelen mantener métricas de velocidad de pruebas y de tasa de éxito en todos los experimentos realizados para un cliente, y utilizan los resultados cuantitativos históricos para perfeccionar de forma continua qué tipos de hipótesis merece la pena priorizar en las siguientes rondas de optimización.
Como ilustración concreta, supongamos que una página de pago convierte actualmente al 3,2 por ciento y un equipo quiere detectar si un formulario rediseñado mejora esa tasa en un 15 por ciento relativo, hasta aproximadamente el 3,7 por ciento. Un cálculo estándar del tamaño de muestra con un 95 por ciento de confianza y un 80 por ciento de potencia estadística podría indicar que cada variante necesita decenas de miles de visitantes antes de que la prueba pueda concluirse de forma fiable. Si la página solo recibe unos pocos miles de visitantes a la semana, el rigor cuantitativo exige que el equipo acepte una duración de prueba de varias semanas, apunte a un tamaño de efecto esperado mayor o redirija el esfuerzo de pruebas a una página de mayor tráfico del embudo donde se puedan alcanzar resultados significativos más rápido, en lugar de dar por concluida antes de tiempo una prueba con potencia insuficiente y arriesgarse a una conclusión falsa.
