Quatre façons de dimensionner une étude d'utilisabilité, et quand la règle des cinq utilisateurs n'est plus applicable

Un membre de votre équipe affirme que cinq utilisateurs suffisent. Il se base sur un modèle de 1993 sans en préciser les paramètres. Dans l'étude de Laura Faulkner (2003), des tirages aléatoires de cinq participants parmi un groupe de 60 ont permis de constater que, sur la même interface, avec les mêmes tâches et le même modérateur, entre 55 % et 99 % des problèmes connus se reproduisaient. Le résultat dépend donc des personnes présentes.

Ce guide s'adresse aux chercheurs, aux chefs de produit et aux responsables d'organismes de recherche sous contrat (CRO) qui doivent justifier un effectif de recrutement avant le début d'une étude. À la fin de votre lecture, vous serez en mesure de choisir l'une des quatre méthodes de dimensionnement, d'en exposer les hypothèses sous-jacentes et d'indiquer la couverture du problème que cet effectif vous apporte. Ce guide ne vous incitera pas à inclure davantage de participants dans l'étude. Il vous indiquera si un effectif de cinq participants est justifié ou s'il s'agit d'une simple estimation.

D'où vient le nombre de cinq utilisateurs ?

Nielsen et Landauer ont modélisé la découverte des problèmes comme N x (1 - (1 - p)^n): avec N problèmes de conception, p la probabilité qu'un participant donné rencontre un problème donné, et n participants, la part des problèmes que vous rencontrez est 1 - (1 - p)^nIls ont mesuré une valeur p moyenne de 0.31 sur l'ensemble de leurs données. Avec une valeur p de 0.31, cinq participants atteignent une couverture de 84.4 %. C'est de là que vient l'expression « cinq utilisateurs trouvent 85 % des problèmes ».

Deux éléments sont omis dans la version remaniée. Premièrement, l'arrondi : avec p = 0.31, il faut six participants pour atteindre 85 %, et non cinq. Deuxièmement, et surtout, p n'est pas une constante. Virzi a mesuré 0.32, Lewis a mesuré 0.16 sur un système différent, et Spool et Schroeder ont constaté que des problèmes importants persistaient même après la participation de dizaines de personnes à des tâches de commerce électronique ouvertes. La version honnête de l'affirmation est conditionnelle. Voici les résultats obtenus avec cinq, dix et vingt participants pour quatre taux d'occurrence de problèmes :

Lisez la dernière ligne avant votre prochaine réunion de planification. Les problèmes qui bloquent une caisse ne sont généralement pas ceux qui font trébucher quatre personnes sur cinq. Ils ont été résolus il y a des années.

Méthode 1 : cinq éléments fixes, répétés souvent

Menez un sondage auprès de cinq participants, corrigez les problèmes rencontrés, puis menez un autre sondage auprès de cinq autres participants lors de la prochaine phase. L'argument de Nielsen n'a jamais été que cinq participants constituent un nombre statistiquement suffisant. Il s'agissait plutôt de dire que l'utilisateur marginal a moins de valeur que l'utilisateur marginal. étude.

Utilisez-le quand : Vous itérez sur une conception qui change encore chaque semaine, l'interface est suffisamment nouvelle pour que la plupart des problèmes soient communs (p élevé), et vous pouvez effectivement déployer des correctifs entre les itérations.

Cela échoue lorsque : L'étude est un audit ponctuel que vous ne répéterez pas ; les résultats sont transmis aux parties prenantes qui considéreront le fait de n'avoir rien trouvé d'autre comme une preuve de qualité, ou bien le produit est mature et les problèmes restants sont rares par définition.

Méthode 2 : taille à partir d’un objectif de découverte

Inversez le modèle. Choisissez la couverture nécessaire (P) et le taux d'occurrence attendu (p), puis résolvez le problème. n = ln(1 - P) / ln(1 - p).

Utilisez-le quand : L'étude a un objectif de conformité, légal ou de lancement et vous devez indiquer la couverture par écrit, ou lorsque vous recherchez une catégorie spécifique de défaillance à basse fréquence telle qu'un chemin de récupération d'erreur.

Cela échoue lorsque : Vous n'avez aucun fondement pour p. Choisir 0.31 parce que c'est la moyenne publiée revient à deviner que de choisir cinq, en utilisant une formule comme déguisement.

Méthode 3 : estimez p à partir de votre premier tour, puis redimensionnez.

C’est la méthode que nous utilisons par défaut, car elle remplace les estimations par vos propres données.

1. Effectuez un premier tour de cinq manches. Notez chaque problème distinct et indiquez quels participants l'ont résolu.
2. Calculez le p observé comme la moyenne de (participants qui ont rencontré le problème / participants qui ont couru) sur tous les problèmes distincts.
3. Réduisez l'ampleur du problème. Les petits échantillons initiaux surestiment systématiquement p, car les problèmes rencontrés par une seule personne sont ceux que vous n'avez pas encore rencontrés. Hertzum et Jacobsen ont documenté cette surestimation. Une correction pratique consiste à supprimer du numérateur, lors de la réestimation, les problèmes rencontrés par un seul participant.
4. Saisissez la valeur de p dégonflée dans le tableau ci-dessus à votre objectif de couverture et recrutez la différence.

Points de décision : si le p dégonflé dépasse 0.25, limitez-vous à cinq à huit participants et consacrez le reste du budget à une seconde étude portant sur un flux différent. S’il se situe entre 0.10 et 0.25, étendez l’étude à 12 à 18 participants. S’il est inférieur à 0.10, vos tâches sont probablement trop ouvertes ou votre segment trop large, et l’ajout de participants ne résoudra aucun de ces problèmes. Redéfinissez le périmètre de l’étude avant de procéder à un nouveau recrutement.

Cela échoue lorsque : Vous ne pouvez pas recruter progressivement, ou bien l'étude est encadrée par différentes personnes au fil des tours, ce qui modifie ce qui est enregistré comme un problème distinct.

Méthode 4 : taille par segment comportemental

Le modèle part du principe d'une population unique. Or, la plupart des produits de cette région n'en ont pas. Un distributeur turc vendant sur le marché intérieur, à l'international (UE et pays du Golfe) s'adresse à au moins trois groupes distincts, avec des attentes différentes en matière de consommation et, dans le cas des pays du Golfe, une interface utilisateur s'écoulant de droite à gauche. Nielsen recommande 3 à 4 participants par groupe pour deux segments, et 3 par groupe pour trois segments ou plus. Il s'agit d'un minimum, et non d'un objectif, ce qui signifie qu'une « étude auprès de cinq utilisateurs » répartie sur trois segments se résume en réalité à trois études sous-dimensionnées.

Deux règles à appliquer avant de rédiger le questionnaire de sélection :

• Segmentez en fonction du comportement, et non des données démographiques. Les primo-accédants et les acheteurs récurrents rencontrent des problèmes différents. Ce n'est généralement pas le cas pour les personnes âgées de 25 à 34 ans et de 35 à 44 ans.
• Si vous commercialisez vos produits dans l'UE, considérez les utilisateurs de technologies d'assistance comme un segment à part entière. La loi européenne sur l'accessibilité s'applique aux services de commerce électronique destinés aux consommateurs depuis le 28 juin 2025, et un échantillon composé uniquement de personnes voyantes ne permet pas de déterminer votre conformité. Les participants utilisant un lecteur d'écran ou naviguant uniquement au clavier constatent un type de problème qu'aucun participant voyant supplémentaire ne permettra de mettre en évidence.

Quelle méthode convient le mieux à votre étude ?

Exemple concret

Cet exemple est illustratif et ne représente pas un cas client. Imaginons que vous réalisiez une étude de performance des caisses pour un détaillant de mode turc de milieu de gamme, ciblant uniquement le marché national, et dont le nouveau design est déjà déployé. La méthode 1 est exclue car le design a été expédié, et la méthode 2 nécessite une application que vous ne possédez pas. Par conséquent : la méthode 3 est basée sur la méthode 4.

Deux segments comportementaux ont été définis : les clients effectuant un paiement en ligne et les clients réguliers connectés. Chaque segment compte quatre participants. Le premier tour a permis d’identifier 19 problèmes distincts, dont 11 rencontrés par un seul participant. La valeur p brute est de 0.28 ; après avoir retiré les cas isolés du numérateur, elle tombe à environ 0.17. Avec un objectif de couverture de 90 % et une valeur p de 0.17, le tableau indique 14 participants. Vous en avez 8, vous recrutez donc 6 participants supplémentaires, en privilégiant le segment présentant les résultats les moins nombreux.

Total : 14 participants, avec une justification écrite du nombre. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

Là où cela dysfonctionne

Le modèle binomial suppose que les problèmes sont indépendants et que p est stable d'un participant à l'autre. Or, ces deux hypothèses sont fausses. Une étiquette mal interprétée peut entraîner trois défaillances en aval, et un participant maîtrisant les interfaces utilisateur des plateformes de vente rencontre des problèmes différents de celui qui ne les maîtrise pas. Il convient donc de considérer les chiffres mentionnés ci-dessus comme des outils de planification, et non comme des mesures. Woolrych, Cockton et Caulton ont tous démontré qu'une valeur unique de p ne permet pas de représenter fidèlement une population composée de sous-groupes.

Ce guide ne couvre pas non plus :

• Analyse comparative quantitative. Si vous souhaitez obtenir un taux de réussite de la tâche assorti d'un intervalle de confiance, vous répondez à une autre question. Prévoyez au moins 20 participants, et davantage pour les intervalles rapprochés.
• Tri de cartes et test d'arbres. Nielsen recommande au moins 15 par groupe d'utilisateurs. Les calculs liés à la détection des problèmes ne s'appliquent pas.
• Suivi oculaire. Environ 39 participants pour des cartes thermiques stables.
• Tests A/B. La taille de l'échantillon influe sur la puissance statistique d'une mesure de conversion, et non sur la détection d'un problème. Formule et logique différentes.

Une autre limite importante à mentionner : la conception de la tâche permet d’obtenir des résultats plus précis que ceux obtenus avec n. Cinq participants travaillant sur une tâche précise et réaliste seront plus performants que douze participants travaillant sur une tâche vague. Si votre discussion sur la taille de l’équipe est plus longue que celle sur la rédaction de la tâche, le ratio est incorrect.

QFP

La règle des cinq utilisateurs est-elle erronée ?
Non, c'est conditionnel. Cela se vérifie pour un taux d'occurrence des problèmes proche de 0.31 et un objectif de couverture proche de 85 %. En dehors de ces conditions, ses performances sont insuffisantes, et rien dans l'étude originale n'affirme le contraire.

Comment estimer p avant même d'avoir effectué la moindre exécution ?
Dans la plupart des cas, c'est impossible, d'où l'existence de la méthode 3. Si vous devez absolument deviner, utilisez 0.30 pour une interface nouvelle ou ayant subi des modifications importantes et 0.15 pour une interface éprouvée, puis corrigez votre choix après le premier tour.

Le fait que les tests soient modérés ou non modérés change-t-il quelque chose ?
Cela ne change pas les calculs, mais la définition même d'un problème. Les séances non modérées ont tendance à passer à côté de la cause d'un échec, ce qui augmente le nombre de problèmes distincts et diminue la probabilité observée.

Et si je ne parviens à recruter que cinq personnes ?
Réalisez cinq études et indiquez honnêtement leur couverture plutôt que de prétendre qu'elles sont exhaustives. Précisez les segments non couverts. Une étude de taille réduite, dont les limites sont clairement définies, est utile ; une étude de taille réduite présentée comme exhaustive ne l'est pas.

Ai-je besoin de plus de participants pour les tests d'accessibilité ?
Il vous faut des participants différents. Les utilisateurs de technologies d'assistance constituent un segment comportemental distinct, avec leur propre sous-groupe de 3 à 4 personnes, et non un ajout à un échantillon existant.

Des participants synthétiques générés par l'IA peuvent-ils remplacer une partie de cet échantillon ?
Ces outils peuvent vous aider à répéter les tâches et les tests de sélection. Ils ne permettent pas de calculer un taux d'occurrence de problèmes, car ce taux est une propriété du comportement réel au sein d'une population réelle. N'incluez pas les sessions synthétiques au dénominateur.

Les mêmes calculs s'appliquent-ils aux produits B2B ou aux produits du secteur public ?
Les calculs le permettent. Le recrutement, en revanche, est plus complexe. Les segments B2B et du secteur public, souvent restreints, sont limités à six ou huit participants potentiels ; dans ce cas, il convient de mentionner cette limite comme une contrainte de l’étude plutôt que de prétendre que le nombre a été choisi.

Exécutez ceci lors de votre prochaine étude

Prenez l'étude que vous vous apprêtez à résumer, notez laquelle des quatre méthodes vous utilisez et la valeur de p que vous supposez, et intégrez ces deux éléments dans le plan de recherche. Si aucun de ces éléments ne figure par écrit, cela constitue le résultat. Si vous préférez que le dimensionnement, le criblage et la conception des segments soient pris en charge pour vous, Discutez avec Switas de votre prochaine phase de recherche..

Références

• Nielsen, J. et Landauer, TK (1993). Un modèle mathématique de la détection des problèmes d'utilisabilité. INTERCHI '93, 206-213.
• Faulkner, L. (2003). Au-delà de l'hypothèse des cinq utilisateurs : avantages de l'augmentation de la taille des échantillons dans les tests d'utilisabilité. Behavior Research Methods, Instruments, & Computers, 35(3), 379-383.
• Spool, J. et Schroeder, W. (2001). Tester les sites web : cinq utilisateurs, c’est loin d’être suffisant. CHI '01 Extended Abstracts.
• Sauro, J. Une brève histoire du nombre magique 5 dans les tests d'utilisabilité. MeasuringU.
• Sauro, J. Tailles d'échantillon pour les études d'utilisabilité : une taille unique ne convient pas à tous. MeasuringU.
• Nielsen, J. Pourquoi il suffit de tester avec 5 utilisateurs. Nielsen Norman Group.
• Nielsen, J. Combien d'utilisateurs tests dans une étude d'utilisabilité ? Nielsen Norman Group.
• Directive (UE) 2019/882 relative aux exigences d’accessibilité des produits et services (loi européenne sur l’accessibilité), résumé EUR-Lex.