Cuatro maneras de dimensionar un estudio de usabilidad y cuándo se rompe la regla de los cinco usuarios.

Cuatro maneras de dimensionar un estudio de usabilidad y cuándo se rompe la regla de los cinco usuarios.

Alguien de tu equipo dice que cinco usuarios son suficientes. Se basan en un modelo de 1993, pero no especifican sus parámetros. En el estudio de Laura Faulkner de 2003, al seleccionar aleatoriamente a cinco participantes de un grupo de 60, se detectaron entre el 55 % y el 99 % de los problemas conocidos en la misma interfaz, con las mismas tareas y el mismo moderador. El número de participantes depende de quién participe.

Esta guía está dirigida a investigadores, gerentes de producto y responsables de CRO que deben justificar el número de participantes antes de que comience un estudio. Al finalizar, podrá seleccionar uno de los cuatro métodos de dimensionamiento, indicar la suposición en la que se basa y explicar qué cobertura de problemas le aporta dicho número. No le sugerirá que realice más pruebas. Le indicará cuándo cinco es una respuesta justificable y cuándo es una simple conjetura.

De dónde proviene el número de cinco usuarios

Nielsen y Landauer modelaron el descubrimiento de problemas como N x (1 - (1 - p)^n): con N problemas en el diseño, p la probabilidad de que un participante individual se encuentre con un problema determinado, y n participantes, la proporción de problemas que encuentras es 1 - (1 - p)^nMidieron un valor p promedio de 0.31 en su conjunto de datos. Con p = 0.31, cinco participantes alcanzan una cobertura del 84.4 %. De ahí proviene la afirmación de que "cinco usuarios detectan el 85 % de los problemas".

En la reinterpretación se omiten dos cosas. Primero, el redondeo: con p = 0.31 se necesitan seis participantes para alcanzar el 85 %, no cinco. Segundo, y más importante, p no es una constante de la naturaleza. Virzi midió 0.32, Lewis midió 0.16 en un sistema diferente, y Spool y Schroeder encontraron problemas graves que seguían surgiendo después de que decenas de participantes realizaran tareas abiertas de comercio electrónico. La versión honesta de la afirmación es condicional. Esto es lo que encuentran cinco, diez y veinte participantes con cuatro tasas de aparición de problemas:

Tasa de ocurrencia de problemas (p)Encontrado con 5Encontrado con 10Encontrado con 20
0.31 (promedio de Nielsen y Landauer)84%98%99.9%
0.16 (Lewis)58%83%97%
0.10 (problemas poco comunes)41%65%88%
0.05 (problemas raros y de alta gravedad)23%40%64%

Lee la última fila antes de tu próxima reunión de planificación. Los problemas que arruinan una compra no suelen ser los que afectan a cuatro de cada cinco personas. Esos se solucionaron hace años.

Método 1: cinco fijos, repetidos con frecuencia

Ejecuta cinco participantes, corrige lo que encuentres, ejecuta cinco más en la siguiente compilación. El argumento de Nielsen nunca fue que cinco sean estadísticamente suficientes. Fue que el usuario marginal vale menos que el marginal Estudio.

Úselo cuando: Estás iterando sobre un diseño que aún cambia semanalmente, la interfaz es lo suficientemente nueva como para que la mayoría de los problemas sean comunes (alta probabilidad de éxito) y, de hecho, puedes enviar correcciones entre rondas.

Falla cuando: El estudio es una auditoría única que no se repetirá; los resultados se presentan a las partes interesadas, quienes interpretarán el "no encontramos nada más" como evidencia de calidad, o bien, el producto está maduro y los problemas restantes son, por definición, poco frecuentes.

Método 2: tamaño a partir de un objetivo de descubrimiento

Invierta el modelo. Elija la cobertura que necesita (P) y la tasa de ocurrencia que espera (p), luego resuelva n = ln(1 - P) / ln(1 - p).

Objetivo de coberturap = 0.31p = 0.16p = 0.10p = 0.05
85%6111937
90%7142245
95%9182959

Úselo cuando: El estudio tiene un propósito de cumplimiento, legal o de lanzamiento, y es necesario indicar la cobertura por escrito, o cuando se busca una clase específica de falla de baja frecuencia, como una ruta de recuperación de errores.

Falla cuando: No tienes ninguna base para p. Elegir 0.31 porque es el promedio publicado es lo mismo que elegir cinco, usando una fórmula como disfraz.

Método 3: estima p a partir de tu primera ronda y luego redimensiona.

Este es el método que utilizamos por defecto, ya que reemplaza la suposición con tus propios datos.

  1. Realiza una ronda inicial de cinco participantes. Registra cada problema distinto e indica qué participantes lo resolvieron.
  2. Calcula la p observada como la media de (participantes que resolvieron el problema / participantes que corrieron) en todos los problemas distintos.
  3. Reduzca la sobreestimación. Las muestras iniciales pequeñas sobreestiman sistemáticamente p, porque los problemas que solo una persona experimentó son los que usted aún no ha encontrado. Hertzum y Jacobsen documentaron esta sobreestimación. Una corrección práctica consiste en eliminar del numerador los problemas que vio exactamente un participante al reestimar.
  4. Introduzca la p desinflada en la tabla anterior en su objetivo de cobertura y reclute la diferencia.

Puntos de decisión: si el valor p deflactado supera 0.25, deténgase en cinco a ocho participantes y destine el resto del presupuesto a un segundo estudio con un flujo diferente. Si se sitúa entre 0.10 y 0.25, extiéndalo a 12 a 18 participantes. Si es inferior a 0.10, es probable que sus tareas sean demasiado abiertas o que su segmento sea demasiado amplio, y añadir participantes no solucionará ninguno de los dos problemas. Redefina el alcance antes de volver a reclutar participantes.

Falla cuando: No se puede reclutar de forma incremental, o el estudio es moderado por diferentes personas en cada ronda, lo que cambia lo que se registra como un problema distinto.

Método 4: tamaño por segmento de comportamiento

El modelo presupone una sola población. La mayoría de los productos en esta región no la tienen. Un minorista turco que vende a nivel nacional, transfronterizo a la UE y al Golfo Pérsico tiene al menos tres grupos con diferentes modelos mentales, diferentes expectativas de pago y, en el caso del Golfo, una interfaz de derecha a izquierda. La recomendación de Nielsen es de 3 a 4 participantes por grupo para dos grupos, y 3 por grupo para tres o más. Esto es un mínimo, no un objetivo, y significa que un "estudio de cinco usuarios" en tres segmentos se reduce en realidad a tres estudios con poca potencia estadística.

Dos reglas que conviene aplicar antes de escribir el cuestionario de selección:

  • Segmentación basada en el comportamiento, no en datos demográficos. Los compradores primerizos y los compradores habituales se enfrentan a problemas diferentes. Las personas de entre 25 y 34 años y de entre 35 y 44 años generalmente no los tienen.
  • Si vende en la UE, trate a los usuarios de tecnologías de asistencia como un segmento de mercado propio. La Ley Europea de Accesibilidad se aplica a los servicios de comercio electrónico dirigidos al consumidor desde el 28 de junio de 2025, y una muestra exclusivamente de personas videntes no permite determinar si se cumple con la normativa. Los usuarios de lectores de pantalla y quienes utilizan únicamente el teclado se enfrentan a un tipo de problema que no se detectaría con la participación de ninguna persona vidente adicional.

¿Qué método se ajusta mejor a tu estudio?

Si esto es ciertoUsarTípico n
Iteración semanal, el diseño sigue avanzando.Método 15 por ronda
Auditoría única con una reclamación de cobertura por escrito.Método 211-29
Puedes reclutar en oleadas y quieres el número defendible más barato.Método 35, luego redimensionar
Dos o más grupos de comportamiento distintosMétodo 43-4 por grupo, mínimo
Necesitas una métrica con un intervalo de confianza, no una lista de problemas.Ninguno de los anteriores20+ (ver más abajo)

Ejemplo trabajado

Este ejemplo es ilustrativo, no un caso real de un cliente. Supongamos que está dimensionando un estudio de proceso de compra para un minorista de moda turco de gama media, con tráfico exclusivamente nacional y un rediseño ya implementado. El método 1 queda descartado porque el diseño ya se ha enviado, y el método 2 requiere una aplicación que usted no tiene, por lo que: el método 3 se basa en el método 4.

Dos segmentos de comportamiento, clientes que realizan compras como invitados y compradores recurrentes registrados, cuatro participantes cada uno. La primera ronda produce 19 problemas distintos, 11 de ellos observados por un único participante. El valor p bruto es 0.28; tras eliminar los casos únicos del numerador, se reduce a aproximadamente 0.17. Con un objetivo de cobertura del 90 % y p = 0.17, la tabla indica 14. Usted tiene 8, por lo que recluta 6 más, priorizando el segmento con los resultados menos significativos.

Total: 14 participantes, con una justificación escrita para dicho número. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Aquí es donde se produce el fallo

El modelo binomial asume que los problemas son independientes y que p es estable entre los participantes. Ninguna de estas suposiciones es cierta. Una etiqueta confusa provoca tres fallos posteriores, y un participante familiarizado con los patrones de interfaz de usuario del mercado se enfrenta a un conjunto de problemas diferente al de uno que no lo está. Considere las cifras anteriores como herramientas de planificación, no como mediciones. Woolrych, Cockton y Caulton han argumentado que una sola p no representa adecuadamente a una población compuesta por subgrupos.

Esta guía tampoco cubre:

  • Evaluación comparativa cuantitativa. Si lo que busca es una tasa de éxito de la tarea con un intervalo de confianza, se trata de una pregunta diferente. Planifique al menos 20 participantes, y más si los intervalos son ajustados.
  • Clasificación de tarjetas y prueba de árboles. Nielsen sugiere al menos 15 por grupo de usuarios. No se aplican las matemáticas para la detección de problemas.
  • Seguimiento ocular. Se necesitan alrededor de 39 participantes para obtener mapas de calor estables.
  • Pruebas A/B. El tamaño de la muestra determina la potencia estadística de una métrica de conversión, no la detección de problemas. Es una fórmula diferente, con una lógica distinta.

Otro límite que vale la pena mencionar: el diseño de la tarea influye más en p que en n. Cinco participantes en una tarea precisa y realista encontrarán más participantes que doce en una tarea vaga. Si la conversación sobre el tamaño de la tarea es más larga que la conversación sobre su redacción, la proporción es incorrecta.

Preguntas Frecuentes

¿Es incorrecta la regla de los cinco usuarios?
No, es condicional. Se cumple con una tasa de incidencia cercana al 0.31 y un objetivo de cobertura cercano al 85 %. Fuera de esas condiciones, su rendimiento es inferior al esperado, y en el trabajo original no se afirmaba lo contrario.

¿Cómo puedo estimar p antes de haber ejecutado nada?
En la mayoría de los casos no es posible, por eso existe el Método 3. Si tienes que adivinar, usa 0.30 para una interfaz nueva o muy modificada y 0.15 para una ya consolidada; luego, corrige después de la primera ronda.

¿Cambia el resultado el hecho de realizar pruebas moderadas o no moderadas?
No se trata de las matemáticas, sino que cambia lo que se considera un problema. Las sesiones no moderadas tienden a pasar por alto la causa de un fallo, lo que infla el número de problemas distintos y reduce la p observada.

¿Qué ocurre si solo puedo reclutar a cinco personas?
Realice cinco pruebas e informe la cobertura con honestidad, en lugar de presentar la lista de problemas como completa. Indique qué segmentos no cubrió. Un estudio de tamaño reducido con límites definidos es útil; un estudio de tamaño reducido presentado como exhaustivo no lo es.

¿Necesito más participantes para las pruebas de accesibilidad?
Necesitas participantes diferentes. Los usuarios de tecnología de asistencia constituyen un segmento de comportamiento aparte, con un mínimo de 3 a 4 participantes, y no se trata de un añadido a una muestra ya existente.

¿Pueden los participantes sintéticos generados por IA reemplazar a algunos de los participantes de esta muestra?
Pueden ayudarte a practicar tareas y pruebas de selección. No pueden generar una tasa de ocurrencia de problemas, ya que p es una propiedad del comportamiento real en una población real. No incluyas sesiones sintéticas en el denominador.

¿Se aplican los mismos cálculos matemáticos a los productos B2B o al sector público?
Las matemáticas sí. El reclutamiento no. Los segmentos B2B y del sector público, que suelen ser muy específicos, tienen un límite de seis u ocho participantes alcanzables; en ese caso, indique el límite como una limitación del estudio en lugar de fingir que el número fue elegido al azar.

Ejecuta esto en tu próximo estudio.

Tome el estudio que está a punto de presentar, escriba cuál de los cuatro métodos está utilizando y el valor p que está asumiendo, y coloque ambos en el plan de investigación. Si ninguno sobrevive al ser escrito, ese es el hallazgo. Si prefiere que el dimensionamiento, la selección y el diseño de segmentos se manejen por usted, Habla con Switas sobre tu próxima ronda de investigación..

Fuentes


Artículos Relacionados

Switas como se ve en

Magnify: Escalando el marketing de influencers con Engin Yurtdakul

Consulte nuestro caso práctico de Microsoft Clarity

Destacamos Microsoft Clarity como un producto diseñado con casos de uso prácticos y reales, por expertos en productos que comprenden los desafíos que enfrentan empresas como Switas. Funciones como los clics de ira y el seguimiento de errores de JavaScript resultaron invaluables para identificar las frustraciones y los problemas técnicos de los usuarios, lo que permitió mejoras específicas que impactaron directamente en la experiencia del usuario y las tasas de conversión.