Κάποιος στην ομάδα σας λέει ότι πέντε χρήστες είναι αρκετοί. Αναφέρουν ένα μοντέλο του 1993 και δεν αναφέρουν την παράμετρό του. Στη μελέτη της Laura Faulkner το 2003, τυχαίες κληρώσεις πέντε συμμετεχόντων από μια ομάδα 60 ατόμων βρήκαν μεταξύ 55% και 99% των γνωστών προβλημάτων στην ίδια διεπαφή, με τις ίδιες εργασίες και τον ίδιο συντονιστή. Ο αριθμός που θα λάβετε εξαρτάται από το ποιος θα μπει στην πόρτα.
Αυτός ο οδηγός απευθύνεται σε ερευνητές, διαχειριστές προϊόντων και επικεφαλής CRO που πρέπει να υπερασπιστούν έναν αριθμό προσλήψεων πριν ξεκινήσει μια μελέτη. Μέχρι το τέλος, θα μπορείτε να επιλέξετε μία από τις τέσσερις μεθόδους προσδιορισμού μεγέθους, να δηλώσετε την υπόθεση στην οποία βασίζεται και να πείτε τι σας εξασφαλίζει ο αριθμός σας στην κάλυψη προβλημάτων. Δεν θα σας πει να δοκιμάσετε περισσότερα άτομα. Θα σας πει πότε το πέντε είναι μια υπερασπίσιμη απάντηση και πότε είναι μια εικασία.
Από πού προέρχεται ο αριθμός των πέντε χρηστών
Οι Nielsen και Landauer μοντελοποίησαν την ανακάλυψη προβλημάτων ως εξής: N x (1 - (1 - p)^n): με N προβλήματα στο σχεδιασμό, p η πιθανότητα οποιοσδήποτε μεμονωμένος συμμετέχων να αντιμετωπίσει ένα δεδομένο πρόβλημα, και n συμμετέχοντες, το μερίδιο των προβλημάτων που εντοπίζετε είναι 1 - (1 - p)^nΜέτρησαν ένα μέσο p 0.31 σε όλο το σύνολο δεδομένων τους. Στο p = 0.31, πέντε συμμετέχοντες φτάνουν σε κάλυψη 84.4%. Από εκεί προέρχεται η φράση «πέντε χρήστες βρίσκουν το 85% των προβλημάτων».
Δύο πράγματα παραλείπονται στην επανάληψη. Πρώτον, η στρογγυλοποίηση: με p = 0.31 χρειάζεστε έξι συμμετέχοντες για να περάσετε το 85%, όχι πέντε. Δεύτερον, και πιο σημαντικό, το p δεν είναι μια σταθερά της φύσης. Ο Virzi μέτρησε 0.32, ο Lewis μέτρησε 0.16 σε ένα διαφορετικό σύστημα, και οι Spool και Schroeder διαπίστωσαν σοβαρά προβλήματα που εξακολουθούσαν να εμφανίζονται μετά από δεκάδες συμμετέχοντες σε ανοιχτές εργασίες ηλεκτρονικού εμπορίου. Η ειλικρινής εκδοχή του ισχυρισμού είναι υπό όρους. Ακολουθεί τι βρίσκουν πέντε, δέκα και είκοσι συμμετέχοντες σε τέσσερα ποσοστά εμφάνισης προβλημάτων:
| Ποσοστό εμφάνισης προβλήματος (p) | Βρέθηκε με 5 | Βρέθηκε με 10 | Βρέθηκε με 20 |
|---|---|---|---|
| 0.31 (μέσος όρος Nielsen και Landauer) | 84% | 98% | 99.9% |
| 0.16 (Λούις) | 58% | 83% | 97% |
| 0.10 (ασυνήθιστα προβλήματα) | 41% | 65% | 88% |
| 0.05 (σπάνια, σοβαρά προβλήματα) | 23% | 40% | 64% |
Διαβάστε την τελευταία σειρά πριν από την επόμενη συνάντηση σχεδιασμού. Τα προβλήματα που καταστρέφουν ένα ταμείο συνήθως δεν είναι αυτά στα οποία σκοντάφτουν τέσσερις στους πέντε ανθρώπους. Αυτά διορθώθηκαν πριν από χρόνια.
Μέθοδος 1: σταθερό πέντε, επαναλαμβανόμενο συχνά
Εκτελέστε πέντε συμμετέχοντες, διορθώστε ό,τι βρείτε, εκτελέστε άλλους πέντε στην επόμενη έκδοση. Το επιχείρημα του Nielsen δεν ήταν ποτέ ότι το πέντε είναι στατιστικά επαρκές. Ήταν ότι ο οριακός χρήστης αξίζει λιγότερο από τον οριακό χρήστη. μελέτη.
Χρησιμοποιήστε το όταν: Επαναλαμβάνετε ένα σχέδιο που εξακολουθεί να αλλάζει εβδομαδιαίως, η διεπαφή είναι αρκετά νέα ώστε τα περισσότερα προβλήματα να είναι κοινά (υψηλό p) και μπορείτε στην πραγματικότητα να στέλνετε διορθώσεις μεταξύ των γύρων.
Αποτυγχάνει όταν: Η μελέτη είναι ένας εφάπαξ έλεγχος που δεν θα επαναληφθεί, τα ευρήματα πηγαίνουν στα ενδιαφερόμενα μέρη που θα αντιμετωπίσουν το «δεν βρήκαμε τίποτα άλλο» ως απόδειξη ποιότητας, ή το προϊόν είναι ώριμο και τα υπόλοιπα προβλήματα είναι σπάνια εξ ορισμού.
Μέθοδος 2: μέγεθος από έναν στόχο ανακάλυψης
Αντιστρέψτε το μοντέλο. Επιλέξτε την κάλυψη που χρειάζεστε (P) και τον ρυθμό εμφάνισης που αναμένετε (p) και, στη συνέχεια, λύστε το n = ln(1 - P) / ln(1 - p).
| Στόχος κάλυψης | ρ = 0.31 | ρ = 0.16 | ρ = 0.10 | ρ = 0.05 |
|---|---|---|---|---|
| 85% | 6 | 11 | 19 | 37 |
| 90% | 7 | 14 | 22 | 45 |
| 95% | 9 | 18 | 29 | 59 |
Χρησιμοποιήστε το όταν: Η μελέτη έχει σκοπό συμμόρφωσης, νομικό σκοπό ή σκοπό εκκίνησης και πρέπει να δηλώσετε την κάλυψη γραπτώς ή όταν αναζητάτε μια συγκεκριμένη κατηγορία αστοχίας χαμηλής συχνότητας, όπως μια διαδρομή αποκατάστασης σφάλματος.
Αποτυγχάνει όταν: Δεν έχετε καμία βάση για το p. Το να επιλέξετε 0.31 επειδή είναι ο δημοσιευμένος μέσος όρος είναι το ίδιο με το να κάνετε εικασία με το να επιλέξετε πέντε, φορώντας μια φόρμουλα ως κοστούμι.
Μέθοδος 3: εκτίμηση του p από τον πρώτο σας γύρο και, στη συνέχεια, αλλαγή μεγέθους
Αυτή είναι η μέθοδος που χρησιμοποιούμε από προεπιλογή, επειδή αντικαθιστά την εικασία με τα δικά σας δεδομένα.
- Διεξάγετε έναν αρχικό γύρο πέντε ατόμων. Καταγράψτε κάθε ξεχωριστό πρόβλημα και σημειώστε ποιοι συμμετέχοντες το πέτυχαν.
- Υπολογίστε το παρατηρούμενο p ως τον μέσο όρο (συμμετέχοντες που έλυσαν το πρόβλημα / συμμετέχοντες που τρέχουν) σε όλα τα διακριτά προβλήματα.
- Ξεφουσκώστε το. Μικρά αρχικά δείγματα υπερεκτιμούν συστηματικά το p, επειδή τα προβλήματα που αντιμετωπίζει μόνο ένα άτομο είναι αυτά που δεν έχετε αντιμετωπίσει ακόμη. Οι Hertzum και Jacobsen τεκμηρίωσαν αυτόν τον πληθωρισμό. Μια πρακτική διόρθωση είναι να αφαιρέσετε τα προβλήματα που παρατηρούνται από ακριβώς έναν συμμετέχοντα από τον αριθμητή κατά την επανεκτίμηση.
- Τροφοδοτήστε το ξεφούσκωτο p στον παραπάνω πίνακα στο στόχο κάλυψης και προσλάβετε τη διαφορά.
Σημεία απόφασης: εάν το αποπληθωρισμένο p βρεθεί πάνω από 0.25, σταματήστε στο πέντε έως οκτώ και δαπανήστε το υπόλοιπο του προϋπολογισμού σε μια δεύτερη μελέτη διαφορετικής ροής. Εάν βρεθεί μεταξύ 0.10 και 0.25, επεκτείνετε σε 12 έως 18. Εάν βρεθεί κάτω από 0.10, οι εργασίες σας είναι πιθανώς πολύ ανοιχτές ή το τμήμα σας είναι πολύ ευρύ και η προσθήκη συμμετεχόντων δεν θα διορθώσει κανένα από τα δύο. Επαναπροσδιορίστε το πεδίο εφαρμογής πριν από την εκ νέου πρόσληψη.
Αποτυγχάνει όταν: Δεν μπορείτε να στρατολογήσετε σταδιακά ή η μελέτη εποπτεύεται από διαφορετικά άτομα σε όλους τους γύρους, γεγονός που αλλάζει αυτό που καταγράφεται ως ξεχωριστό πρόβλημα.
Μέθοδος 4: μέγεθος ανά τμήμα συμπεριφοράς
Το μοντέλο υποθέτει έναν πληθυσμό. Τα περισσότερα προϊόντα σε αυτήν την περιοχή δεν έχουν έναν. Ένας Τούρκος λιανοπωλητής που πουλάει εγχώρια, διασυνοριακά στην ΕΕ και στον Κόλπο έχει τουλάχιστον τρεις ομάδες με διαφορετικά νοητικά μοντέλα, διαφορετικές προσδοκίες πληρωμής και, στην περίπτωση του Κόλπου, μια διεπαφή από δεξιά προς τα αριστερά. Η καθοδήγηση της Nielsen εδώ είναι 3 έως 4 συμμετέχοντες ανά ομάδα σε δύο ομάδες και 3 ανά ομάδα σε τρεις ή περισσότερες. Αυτό είναι ένα κατώτατο όριο, όχι ένας στόχος, και σημαίνει ότι μια «μελέτη πέντε χρηστών» σε τρία τμήματα είναι στην πραγματικότητα τρεις μελέτες χαμηλής ισχύος.
Δύο κανόνες που αξίζει να εφαρμόσετε πριν γράψετε το screener:
- Τμήμα που αφορά τη συμπεριφορά, όχι τα δημογραφικά στοιχεία. Οι αγοραστές για πρώτη φορά και οι επαναλαμβανόμενοι αγοραστές αντιμετωπίζουν διαφορετικά προβλήματα. Οι ηλικίες 25-34 και 35-44 συνήθως δεν αντιμετωπίζουν προβλήματα.
- Αντιμετωπίστε τους χρήστες υποστηρικτικής τεχνολογίας ως ξεχωριστό τμήμα της αγοράς εάν πουλάτε στην ΕΕ. Ο Ευρωπαϊκός Νόμος για την Προσβασιμότητα εφαρμόζεται στις υπηρεσίες ηλεκτρονικού εμπορίου που απευθύνονται σε καταναλωτές από τις 28 Ιουνίου 2025 και ένα δείγμα ατόμων με προβλήματα όρασης δεν μπορεί να σας πει εάν συμμορφώνεστε. Οι συμμετέχοντες που χρησιμοποιούν μόνο συσκευές ανάγνωσης οθόνης και πληκτρολόγιο εντοπίζουν μια κατηγορία προβλημάτων που κανένας επιπλέον αριθμός συμμετεχόντων με προβλήματα όρασης δεν θα αναδείξει.
Ποια μέθοδος ταιριάζει στη μελέτη σας
| Αν αυτό είναι αλήθεια | Χρήση | Τυπικό n |
|---|---|---|
| Εβδομαδιαία επανάληψη, ο σχεδιασμός εξακολουθεί να κινείται | Μέθοδος 1 | 5 ανά γύρο |
| Εφάπαξ έλεγχος με γραπτή αίτηση κάλυψης | Μέθοδος 2 | 11-29 |
| Μπορείτε να στρατολογήσετε κατά κύματα και να θέλετε τον φθηνότερο υπερασπίσιμο αριθμό | Μέθοδος 3 | 5, έπειτα αλλάξτε το μέγεθος |
| Δύο ή περισσότερες διακριτές ομάδες συμπεριφοράς | Μέθοδος 4 | 3-4 ανά ομάδα, ελάχιστο |
| Χρειάζεστε μια μέτρηση με διάστημα εμπιστοσύνης, όχι μια λίστα προβλημάτων | Κανένα από αυτά | 20+ (δείτε παρακάτω) |
Λειτουργικό παράδειγμα
Αυτό το παράδειγμα είναι ενδεικτικό, όχι περίπτωση πελάτη. Ας υποθέσουμε ότι σχεδιάζετε το μέγεθος μιας μελέτης ολοκλήρωσης αγοράς για έναν τουρκικό λιανοπωλητή μόδας μεσαίας αγοράς, μόνο εγχώρια επισκεψιμότητα, ο επανασχεδιασμός είναι ήδη ενεργός. Η Μέθοδος 1 δεν είναι διαθέσιμη επειδή το σχέδιο έχει αποσταλεί και η Μέθοδος 2 χρειάζεται AP που δεν έχετε, επομένως: Η Μέθοδος 3 έχει ρυθμιστεί από τη Μέθοδο 4.
Δύο τμήματα συμπεριφοράς, ολοκλήρωση αγοράς από επισκέπτη και συνδεδεμένοι επαναλαμβανόμενοι αγοραστές, τέσσερις συμμετέχοντες το καθένα. Ο πρώτος γύρος παράγει 19 ξεχωριστά προβλήματα, 11 από τα οποία αντιμετωπίζονται από ακριβώς έναν συμμετέχοντα. Το ακατέργαστο p είναι 0.28. Μετά την αφαίρεση των singletons από τον αριθμητή, μειώνεται σε περίπου 0.17. Με στόχο κάλυψης 90% και p = 0.17, ο πίνακας αναφέρει 14. Έχετε 8, επομένως στρατολογείτε 6 ακόμη, με στάθμιση προς το τμήμα με τα πιο περιορισμένα ευρήματα.
Σύνολο: 14 συμμετέχοντες, με γραπτή αιτιολόγηση του αριθμού. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]
Πού καταρρέει αυτό
Το διωνυμικό μοντέλο υποθέτει ότι τα προβλήματα είναι ανεξάρτητα και ότι το p είναι σταθερό σε όλους τους συμμετέχοντες. Τίποτα από τα δύο δεν ισχύει. Μία συγκεχυμένη ετικέτα προκαλεί τρεις αποτυχίες κατάντη και ένας συμμετέχων που γνωρίζει άπταιστα τα πρότυπα UI της αγοράς αντιμετωπίζει διαφορετικό σύνολο προβλημάτων από έναν που δεν είναι. Αντιμετωπίστε τους παραπάνω αριθμούς ως εργαλεία σχεδιασμού, όχι ως μετρήσεις. Οι Woolrych, Cockton και Caulton έχουν υποστηρίξει όλοι ότι ένα μόνο p παρουσιάζει λανθασμένα έναν πληθυσμό που αποτελείται από υποομάδες.
Αυτός ο οδηγός δεν καλύπτει επίσης:
- Ποσοτική συγκριτική αξιολόγηση. Αν θέλετε ένα ποσοστό επιτυχίας εργασίας με ένα διάστημα εμπιστοσύνης, απαντάτε σε μια διαφορετική ερώτηση. Σχεδιάστε τουλάχιστον 20 συμμετέχοντες και περισσότερους για στενά χρονικά διαστήματα.
- Ταξινόμηση καρτών και δοκιμή δέντρων. Η Nielsen προτείνει τουλάχιστον 15 ανά ομάδα χρηστών. Τα μαθηματικά της ανακάλυψης προβλημάτων δεν ισχύουν.
- Παρακολούθηση των ματιών. Περίπου 39 συμμετέχοντες για σταθερούς χάρτες θερμότητας.
- Δοκιμές Α/Β. Μέγεθος δείγματος: Υπάρχει στατιστική ισχύς σε μια μέτρηση μετατροπής, όχι στην ανακάλυψη προβλημάτων. Διαφορετικός τύπος, διαφορετική λογική.
Ένα ακόμη όριο που αξίζει να αναφερθεί: ο σχεδιασμός εργασιών μετακινεί το p περισσότερο από το n. Πέντε συμμετέχοντες σε μια σαφή, ρεαλιστική εργασία θα ξεπεράσουν δώδεκα συμμετέχοντες σε μια αόριστη. Εάν η συνομιλία σας για τον καθορισμό μεγέθους είναι μεγαλύτερη από τη συνομιλία σας για τη σύνταξη εργασιών, η αναλογία είναι λανθασμένη.
Συχνές Ερωτήσεις
Είναι λάθος ο κανόνας των πέντε χρηστών;
Όχι, είναι υπό όρους. Ισχύει με ποσοστό εμφάνισης προβλημάτων κοντά στο 0.31 και στόχο κάλυψης κοντά στο 85%. Εκτός αυτών των συνθηκών, υποαποδίδει και τίποτα στην αρχική εργασία δεν ισχυρίστηκε διαφορετικά.
Πώς μπορώ να εκτιμήσω το p πριν εκτελέσω οτιδήποτε;
Συνήθως δεν μπορείτε, γι' αυτό και υπάρχει η Μέθοδος 3. Αν πρέπει να μαντέψετε, χρησιμοποιήστε την τιμή 0.30 για μια νέα ή πολύ αλλαγμένη διεπαφή και την τιμή 0.15 για μια παλαιότερη και, στη συνέχεια, διορθώστε την μετά τον πρώτο γύρο.
Αλλάζει ο αριθμός μεταξύ των μετριοπαθών και των μη μετριοπαθών δοκιμών;
Όχι τα μαθηματικά, αλλά αλλάζουν τι θεωρείται πρόβλημα. Οι μη εποπτευόμενες συνεδρίες τείνουν να μην εντοπίζουν την αιτία πίσω από μια αποτυχία, γεγονός που διογκώνει τον αριθμό των διακριτών προβλημάτων και υποβαθμίζει το παρατηρούμενο p.
Τι γίνεται αν μπορώ να προσλάβω μόνο πέντε άτομα;
Εκτελέστε την πέμπτη εκτέλεση και αναφέρετε την κάλυψη με ειλικρίνεια αντί να αναφέρετε τη λίστα προβλημάτων ως πλήρη. Πείτε ποια τμήματα δεν καλύψατε. Μια μελέτη μικρού μεγέθους με καθορισμένα όρια είναι χρήσιμη, ενώ μια μελέτη μικρού μεγέθους που παρουσιάζεται ως εξαντλητική δεν είναι.
Χρειάζομαι περισσότερους συμμετέχοντες για τις δοκιμές προσβασιμότητας;
Χρειάζεστε διαφορετικούς συμμετέχοντες. Οι χρήστες υποστηρικτικής τεχνολογίας αποτελούν ξεχωριστό συμπεριφορικό τμήμα με το δικό τους κατώτατο όριο βαθμολογίας 3 έως 4, όχι προσθήκη σε ένα υπάρχον δείγμα.
Μπορούν οι συνθετικοί συμμετέχοντες που δημιουργούνται από την Τεχνητή Νοημοσύνη να αντικαταστήσουν μέρος αυτού του δείγματος;
Μπορούν να σας βοηθήσουν να κάνετε πρόβες σε εργασίες και σε διαλογές. Δεν μπορούν να παράγουν ποσοστό εμφάνισης προβλήματος, επειδή το p είναι μια ιδιότητα της πραγματικής συμπεριφοράς σε έναν πραγματικό πληθυσμό. Μην τοποθετείτε συνθετικές συνεδρίες στον παρονομαστή.
Ισχύουν τα ίδια μαθηματικά για προϊόντα B2B ή του δημόσιου τομέα;
Οι μαθηματικοί υπολογισμοί ισχύουν. Η στρατολόγηση όχι. Τα στενά τμήματα B2B και του δημόσιου τομέα συχνά περιορίζονται σε έξι ή οκτώ προσβάσιμους συμμετέχοντες, οπότε στην περίπτωση αυτή αναφέρεται το όριο ως περιορισμό της μελέτης αντί να προσποιείται ότι επιλέχθηκε ο αριθμός.
Εκτελέστε το στην επόμενη μελέτη σας
Πάρτε τη μελέτη που πρόκειται να παρουσιάσετε, καταγράψτε ποια από τις τέσσερις μεθόδους χρησιμοποιείτε και το p που υποθέτετε και συμπεριλάβετε και τις δύο στο ερευνητικό σχέδιο. Εάν καμία από τις δύο δεν καταγραφεί, αυτό είναι το εύρημα. Εάν προτιμάτε να αναλάβετε εσείς το μέγεθος, την επιλογή και τον σχεδιασμό του τμήματος, μιλήστε με τον Switas για τον επόμενο γύρο της έρευνάς σας.
Πηγές
- Nielsen, J. και Landauer, TK (1993). Ένα μαθηματικό μοντέλο για την εύρεση προβλημάτων χρηστικότητας. INTERCHI '93, 206-213.
- Faulkner, L. (2003). Πέρα από την υπόθεση των πέντε χρηστών: οφέλη από την αύξηση του μεγέθους του δείγματος στις δοκιμές χρηστικότητας. Behavior Research Methods, Instruments, & Computers, 35(3), 379-383.
- Spool, J. και Schroeder, W. (2001). Δοκιμή ιστοσελίδων: πέντε χρήστες δεν είναι καθόλου αρκετά. CHI '01 Εκτεταμένες Περιλήψεις.
- Sauro, J. Μια σύντομη ιστορία του μαγικού αριθμού 5 στις δοκιμές χρηστικότητας. ΜέτρησηU.
- Sauro, J. Μεγέθη δειγμάτων για μελέτες χρηστικότητας: ένα μέγεθος δεν ταιριάζει σε όλους. ΜέτρησηU.
- Nielsen, J. Γιατί χρειάζεται να κάνετε δοκιμή μόνο με 5 χρήστες. Nielsen Norman Group.
- Nielsen, J. Πόσοι χρήστες ελέγχουν μια μελέτη χρηστικότητας; Nielsen Norman Group.
- Οδηγία (ΕΕ) 2019/882 σχετικά με τις απαιτήσεις προσβασιμότητας για προϊόντα και υπηρεσίες (Ευρωπαϊκός Νόμος για την Προσβασιμότητα), περίληψη EUR-Lex.
