उपयोगिता अध्ययन का आकार निर्धारित करने के चार तरीके, और पांच-उपयोगकर्ता नियम कब टूटता है

आपकी टीम में कोई कहता है कि पाँच उपयोगकर्ता ही काफी हैं। वे 1993 के एक मॉडल का हवाला दे रहे हैं, लेकिन उसके मापदंडों का उल्लेख नहीं कर रहे हैं। लॉरा फॉल्कनर के 2003 के अध्ययन में, 60 प्रतिभागियों के समूह में से यादृच्छिक रूप से चुने गए पाँच प्रतिभागियों में, समान इंटरफ़ेस, समान कार्यों और समान मॉडरेटर के साथ, 55% से 99% तक ज्ञात समस्याएं पाई गईं। आपको कितने उपयोगकर्ता मिलेंगे, यह इस बात पर निर्भर करता है कि कौन आता है।

यह गाइड उन शोधकर्ताओं, उत्पाद प्रबंधकों और CRO प्रमुखों के लिए है जिन्हें किसी अध्ययन के शुरू होने से पहले भर्ती संख्या का औचित्य सिद्ध करना होता है। इसके अंत तक आप चार आकार निर्धारण विधियों में से एक का चयन कर सकेंगे, उस पर आधारित धारणा बता सकेंगे और यह बता सकेंगे कि आपकी संख्या समस्या के समाधान में कितना लाभ प्रदान करती है। यह आपको अधिक लोगों का परीक्षण करने के लिए नहीं कहेगी। यह आपको बताएगी कि कब पाँच लोगों का उत्तर उचित है और कब यह केवल एक अनुमान है।

पांच उपयोगकर्ताओं की संख्या कहाँ से आती है?

नीलसन और लैंडौअर ने समस्या की खोज को इस प्रकार मॉडल किया: N x (1 - (1 - p)^n): साथ N डिजाइन में समस्याएं, p किसी भी प्रतिभागी द्वारा किसी दी गई समस्या को हल करने की संभावना, और n प्रतिभागियों, आपके द्वारा पाई जाने वाली समस्याओं का हिस्सा यह है 1 - (1 - p)^nउन्होंने अपने डेटा सेट में औसतन p का मान 0.31 मापा। p = 0.31 पर, पाँच प्रतिभागियों ने 84.4% कवरेज प्राप्त किया। यहीं से "पाँच उपयोगकर्ताओं द्वारा 85% समस्याओं का पता लगाना" का सूत्र निकलता है।

पुनर्कथन में दो बातें छूट जाती हैं। पहली, पूर्णांकन: p = 0.31 पर 85% अंक प्राप्त करने के लिए पाँच नहीं बल्कि छह प्रतिभागियों की आवश्यकता होती है। दूसरी, और अधिक महत्वपूर्ण बात, p प्रकृति का स्थिरांक नहीं है। विर्ज़ी ने 0.32 मापा, लुईस ने एक अलग प्रणाली पर 0.16 मापा, और स्पूल और श्रोएडर ने खुले ई-कॉमर्स कार्यों पर दर्जनों प्रतिभागियों के बाद भी गंभीर समस्याएं पाईं। दावे का वास्तविक संस्करण सशर्त है। यहाँ बताया गया है कि पाँच, दस और बीस प्रतिभागियों को चार समस्या-घटना दरों पर क्या परिणाम मिले:

अपनी अगली योजना बैठक से पहले सबसे नीचे वाली पंक्ति को ध्यान से पढ़ें। चेकआउट में बाधा डालने वाली समस्याएं आमतौर पर वे नहीं होतीं जिन पर पांच में से चार लोग ठोकर खाते हैं। वे समस्याएं तो वर्षों पहले ही ठीक हो चुकी हैं।

विधि 1: निश्चित पाँच, बार-बार दोहराया गया

पांच प्रतिभागियों पर प्रयोग करें, जो भी खामियां मिलें उन्हें सुधारें, अगले चरण में पांच और प्रतिभागियों पर प्रयोग करें। नीलसन का तर्क कभी यह नहीं था कि पांच सांख्यिकीय रूप से पर्याप्त हैं। उनका तर्क यह था कि सीमांत उपयोगकर्ता का मूल्य सीमांत उपयोगकर्ता से कम होता है। अध्ययन.

इसका प्रयोग तब करें जब: आप एक ऐसे डिज़ाइन पर काम कर रहे हैं जो अभी भी साप्ताहिक रूप से बदल रहा है, इंटरफ़ेस इतना नया है कि अधिकांश समस्याएं सामान्य हैं (उच्च पी), और आप वास्तव में राउंड के बीच फिक्स जारी कर सकते हैं।

यह तब विफल होता है जब: यह अध्ययन एक बार का ऑडिट है जिसे आप दोहराएंगे नहीं, इसके निष्कर्ष हितधारकों को दिए जाएंगे जो "हमें और कुछ नहीं मिला" को गुणवत्ता के प्रमाण के रूप में मानेंगे, या उत्पाद परिपक्व है और शेष समस्याएं परिभाषा के अनुसार दुर्लभ हैं।

विधि 2: खोज लक्ष्य से आकार

मॉडल को उलट दें। आवश्यक कवरेज (P) और अपेक्षित घटना दर (p) चुनें, फिर हल करें। n = ln(1 - P) / ln(1 - p).

इसका प्रयोग तब करें जब: यदि अध्ययन का उद्देश्य अनुपालन, कानूनी या लॉन्च-गेट से संबंधित है, तो आपको लिखित रूप में कवरेज बताना होगा, या जब आप कम आवृत्ति वाली विफलता के किसी विशिष्ट वर्ग की तलाश कर रहे हों, जैसे कि त्रुटि-पुनर्प्राप्ति पथ।

यह तब विफल होता है जब: आपके पास p के लिए कोई आधार नहीं है। प्रकाशित औसत होने के कारण 0.31 चुनना, पांच चुनने के समान ही अनुमान है, मानो किसी सूत्र को वेशभूषा की तरह पहनना।

विधि 3: अपने पहले दौर से p का अनुमान लगाएं, फिर उसका आकार बदलें।

हम डिफ़ॉल्ट रूप से इसी विधि का उपयोग करते हैं, क्योंकि यह अनुमान को आपके अपने डेटा से बदल देता है।

1. पहले पांच प्रतिभागियों का प्रारंभिक दौर चलाएं। प्रत्येक समस्या को नोट करें और यह चिह्नित करें कि किन प्रतिभागियों ने उस समस्या का सामना किया।
2. सभी अलग-अलग समस्याओं में (समस्या का सामना करने वाले प्रतिभागियों / दौड़ में भाग लेने वाले प्रतिभागियों) के औसत के रूप में प्रेक्षित p की गणना करें।
3. इसे कम करें। छोटे प्रारंभिक नमूने p का अनुमान अक्सर बढ़ा-चढ़ाकर लगाते हैं, क्योंकि जिन समस्याओं का सामना केवल एक व्यक्ति करता है, वे ऐसी समस्याएं होती हैं जिनसे आप अभी तक परिचित नहीं हुए हैं। हर्ट्ज़म और जैकबसेन ने इस अतिवृद्धि का दस्तावेजीकरण किया है। एक व्यावहारिक सुधार यह है कि पुनर्मूल्यांकन करते समय अंश से उन समस्याओं को हटा दिया जाए जिनका सामना केवल एक प्रतिभागी ने किया है।
4. अपने कवरेज लक्ष्य पर अवमूल्यित p को उपरोक्त तालिका में डालें और अंतर की भर्ती करें।

निर्णय बिंदु: यदि अवमूल्यन p का मान 0.25 से अधिक हो जाता है, तो पाँच से आठ प्रतिभागियों पर ही रुकें और शेष बजट को किसी अन्य प्रवाह के दूसरे अध्ययन पर खर्च करें। यदि यह 0.10 और 0.25 के बीच हो, तो इसे 12 से 18 तक बढ़ाएँ। यदि यह 0.10 से कम हो जाता है, तो संभवतः आपके कार्य बहुत अधिक खुले-अंत वाले हैं या आपका सेगमेंट बहुत व्यापक है, और प्रतिभागियों को जोड़ने से इनमें से कोई भी समस्या हल नहीं होगी। पुनः भर्ती करने से पहले कार्यक्षेत्र का पुनः निर्धारण करें।

यह तब विफल होता है जब: आप धीरे-धीरे भर्ती नहीं कर सकते, या अध्ययन को अलग-अलग चरणों में अलग-अलग लोगों द्वारा संचालित किया जाता है, जिससे यह बदल जाता है कि किस चीज को एक अलग समस्या के रूप में दर्ज किया जाता है।

विधि 4: व्यवहारिक खंड के अनुसार आकार

यह मॉडल एक ही जनसंख्या मानकर चलता है। इस क्षेत्र के अधिकांश उत्पादों की एक ही जनसंख्या नहीं होती। एक तुर्की खुदरा विक्रेता जो घरेलू स्तर पर, यूरोपीय संघ में और खाड़ी देशों में माल बेचता है, उसके पास कम से कम तीन समूह होते हैं जिनके मानसिक मॉडल अलग-अलग होते हैं, भुगतान की अपेक्षाएँ अलग-अलग होती हैं, और खाड़ी देशों के मामले में इंटरफ़ेस दाएं से बाएं होता है। नीलसन का दिशानिर्देश है कि दो समूहों में प्रति समूह 3 से 4 प्रतिभागी हों, और तीन या अधिक समूहों में प्रति समूह 3 प्रतिभागी हों। यह एक न्यूनतम मानक है, लक्ष्य नहीं, और इसका अर्थ है कि तीन खंडों में किया गया "पांच-उपयोगकर्ता अध्ययन" वास्तव में तीन अपर्याप्त अध्ययन हैं।

स्क्रीनर लिखने से पहले दो नियमों का पालन करना उपयोगी होगा:

• व्यवहार के आधार पर विभाजन करें, जनसांख्यिकी के आधार पर नहीं। पहली बार घर खरीदने वालों और दोबारा घर खरीदने वालों को अलग-अलग समस्याओं का सामना करना पड़ता है। 25-34 और 35-44 आयु वर्ग के लोगों को आमतौर पर ऐसी समस्याओं का सामना नहीं करना पड़ता।
• यदि आप यूरोपीय संघ में अपना उत्पाद या सेवा बेचते हैं, तो सहायक प्रौद्योगिकी उपयोगकर्ताओं को एक अलग वर्ग के रूप में मानें। यूरोपीय अभिगम्यता अधिनियम 28 जून 2025 से उपभोक्ता-केंद्रित ई-कॉमर्स सेवाओं पर लागू हो गया है, और केवल दृष्टिहीन लोगों का नमूना यह नहीं बता सकता कि आप इसका अनुपालन करते हैं या नहीं। स्क्रीन-रीडर और केवल कीबोर्ड का उपयोग करने वाले प्रतिभागियों को एक ऐसी समस्या का सामना करना पड़ता है जो अतिरिक्त दृष्टिहीन प्रतिभागियों की संख्या से भी उत्पन्न नहीं होती।

आपके अध्ययन के लिए कौन सी विधि उपयुक्त है?

कार्य उदाहरण

यह उदाहरण मात्र है, किसी ग्राहक का मामला नहीं। मान लीजिए कि आप एक मध्यम आकार के तुर्की फैशन रिटेलर के लिए चेकआउट अध्ययन का आकार निर्धारित कर रहे हैं, जिसका ग्राहक वर्ग केवल घरेलू है और जिसका रीडिजाइन पहले से ही लागू है। मेथड 1 लागू नहीं है क्योंकि डिजाइन पहले ही शिप हो चुका है, और मेथड 2 के लिए ऐसे एप्लिकेशन की आवश्यकता है जो आपके पास नहीं हैं, इसलिए: मेथड 3 के बाद मेथड 4 को आधार बनाया जाएगा।

व्यवहार के दो खंड, अतिथि चेकआउट और लॉग-इन किए हुए बार-बार खरीदारी करने वाले ग्राहक, प्रत्येक में चार प्रतिभागी। पहले दौर में 19 अलग-अलग समस्याएं सामने आईं, जिनमें से 11 को केवल एक प्रतिभागी ने देखा। कच्चा p मान 0.28 है; अंश से एकल समस्याओं को हटाने के बाद यह लगभग 0.17 हो जाता है। 90% कवरेज लक्ष्य और p = 0.17 पर तालिका के अनुसार 14 प्रतिभागी हैं। आपके पास 8 प्रतिभागी हैं, इसलिए आप कम समस्या वाले खंड की ओर अधिक झुकाव रखते हुए 6 और प्रतिभागियों को भर्ती करते हैं।

कुल: 14 प्रतिभागी, जिनकी संख्या का लिखित कारण दिया गया है। [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

जहां यह टूट जाता है

द्विपद मॉडल यह मानता है कि समस्याएं स्वतंत्र हैं और p सभी प्रतिभागियों में स्थिर है। लेकिन ये दोनों ही बातें सच नहीं हैं। एक भ्रामक लेबल तीन तरह की विफलताओं का कारण बन सकता है, और बाज़ार के UI पैटर्न में पारंगत प्रतिभागी को उन प्रतिभागियों से अलग तरह की समस्याओं का सामना करना पड़ता है जो इसमें पारंगत नहीं हैं। ऊपर दिए गए आंकड़ों को नियोजन उपकरण के रूप में मानें, माप के रूप में नहीं। वूलरिच, कॉकटॉन और कॉल्टन सभी ने तर्क दिया है कि एक अकेला p उप-समूहों से बनी जनसंख्या का गलत प्रतिनिधित्व करता है।

इस गाइड में निम्नलिखित बातें भी शामिल नहीं हैं:

• मात्रात्मक बेंचमार्किंग। यदि आप आत्मविश्वास अंतराल के साथ कार्य-सफलता दर जानना चाहते हैं, तो आप एक अलग प्रश्न का उत्तर दे रहे हैं। कम से कम 20 प्रतिभागियों की योजना बनाएं, और कम समय अंतराल के लिए और भी अधिक प्रतिभागियों की आवश्यकता होगी।
• कार्ड सॉर्टिंग और ट्री टेस्टिंग। नील्सन प्रत्येक उपयोगकर्ता समूह के लिए कम से कम 15 का सुझाव देता है। समस्या-खोज गणितीय विधि लागू नहीं होती।
• आँख ट्रैकिंग। स्थिर हीटमैप के लिए लगभग 39 प्रतिभागियों की आवश्यकता थी।
• ए/बी परीक्षण। नमूना आकार रूपांतरण मीट्रिक पर सांख्यिकीय शक्ति रखता है, समस्या की खोज पर नहीं। अलग सूत्र, अलग तर्क।

एक और महत्वपूर्ण सीमा: कार्य डिज़ाइन p को n से अधिक आगे ले जाता है। एक स्पष्ट और यथार्थवादी कार्य पर पाँच प्रतिभागी एक अस्पष्ट कार्य पर बारह प्रतिभागियों की तुलना में बेहतर खोज क्षमता प्रदर्शित करेंगे। यदि आपकी आकार निर्धारण संबंधी बातचीत कार्य लेखन संबंधी बातचीत से लंबी है, तो अनुपात गलत है।

सामान्य प्रश्न

क्या पांच उपयोगकर्ता वाला नियम गलत है?
नहीं, यह सशर्त है। यह समस्या-घटना दर लगभग 0.31 और कवरेज लक्ष्य लगभग 85% पर लागू होता है। इन शर्तों के बाहर यह अपेक्षित परिणाम नहीं देता है, और मूल कार्य में इसके विपरीत कोई दावा नहीं किया गया है।

मैंने कुछ भी चलाने से पहले p का अनुमान कैसे लगाया?
आप आमतौर पर ऐसा नहीं कर सकते, इसीलिए विधि 3 मौजूद है। यदि आपको अनुमान लगाना ही है, तो नए या काफी बदले हुए इंटरफ़ेस के लिए 0.30 और पुराने इंटरफ़ेस के लिए 0.15 का उपयोग करें, और पहले चरण के बाद सुधार करें।

क्या नियंत्रित और अनियंत्रित परीक्षण के आंकड़ों में कोई बदलाव आता है?
गणित नहीं, लेकिन इससे समस्या की परिभाषा बदल जाती है। अनियंत्रित सत्रों में विफलता के पीछे के कारण का पता नहीं चल पाता, जिससे अलग-अलग समस्याओं की संख्या बढ़ जाती है और आपके द्वारा देखे गए p का मान कम हो जाता है।

अगर मैं सिर्फ पांच लोगों को ही भर्ती कर पाऊं तो क्या होगा?
पांच बार अध्ययन करें और समस्या सूची को पूर्ण बताने के बजाय कवरेज की ईमानदारी से रिपोर्ट करें। यह बताएं कि आपने किन क्षेत्रों को कवर नहीं किया है। स्पष्ट सीमाओं के साथ किया गया छोटा अध्ययन उपयोगी होता है; संपूर्ण बताकर प्रस्तुत किया गया छोटा अध्ययन उपयोगी नहीं होता।

क्या मुझे अभिगम्यता परीक्षण के लिए और अधिक प्रतिभागियों की आवश्यकता है?
आपको अलग-अलग प्रतिभागियों की आवश्यकता है। सहायक प्रौद्योगिकी उपयोगकर्ता एक अलग व्यवहारिक वर्ग हैं, जिनका अपना न्यूनतम स्तर 3 से 4 है, न कि मौजूदा नमूने में कोई अतिरिक्त हिस्सा।

क्या कृत्रिम बुद्धिमत्ता द्वारा उत्पन्न कृत्रिम प्रतिभागी इस नमूने के कुछ हिस्से को प्रतिस्थापित कर सकते हैं?
वे आपको कार्यों और स्क्रीनिंग का अभ्यास करने में मदद कर सकते हैं। वे समस्या-घटना दर नहीं बता सकते, क्योंकि p वास्तविक जनसंख्या में वास्तविक व्यवहार का एक गुण है। कृत्रिम सत्रों को हर में शामिल न करें।

क्या यही गणितीय प्रक्रिया बी2बी या सार्वजनिक क्षेत्र के उत्पादों पर भी लागू होती है?
गणितीय रूप से तो यह बात सही है, लेकिन भर्ती प्रक्रिया में नहीं। संकीर्ण बी2बी और सार्वजनिक क्षेत्र के सेगमेंट में अक्सर छह या आठ प्रतिभागियों तक ही सीमित रहते हैं, ऐसे में इस सीमा को अध्ययन की एक सीमा के रूप में बताएं, न कि यह दिखावा करें कि यह संख्या जानबूझकर चुनी गई थी।

इसे अपने अगले अध्ययन में लागू करें।

जिस अध्ययन का आप संक्षिप्त विवरण देने वाले हैं, उसे लें, उसमें उपयोग की जा रही चार विधियों में से कौन सी विधि और आप जो p मान मान रहे हैं, उसे लिख लें और दोनों को शोध योजना में शामिल करें। यदि इनमें से कोई भी लिखित रूप में नहीं बचता है, तो वही निष्कर्ष है। यदि आप चाहते हैं कि आकार निर्धारण, स्क्रीनिंग और सेगमेंट डिज़ाइन का कार्य आपके लिए किया जाए, अपने अगले शोध दौर के बारे में स्विटास से बात करें.

सूत्रों का कहना है

• नीलसन, जे. और लैंडौअर, टीके (1993)। उपयोगिता समस्याओं को खोजने का एक गणितीय मॉडल। इंटरची '93, 206-213।
• फाल्कनर, एल. (2003). पांच-उपयोगकर्ता धारणा से परे: उपयोगिता परीक्षण में बढ़े हुए नमूना आकार के लाभ। व्यवहार अनुसंधान विधियाँ, उपकरण, और कंप्यूटर, 35(3), 379-383.
• स्पूल, जे. और श्रोएडर, डब्ल्यू. (2001). वेब साइटों का परीक्षण: पाँच उपयोगकर्ता बिल्कुल भी पर्याप्त नहीं हैं। सी.एच.आई. '01 विस्तारित सार।
• सौरो, जे. उपयोगिता परीक्षण में जादुई संख्या 5 का संक्षिप्त इतिहास। मेजरिंगयू।
• सौरो, जे. उपयोगिता अध्ययनों के लिए नमूना आकार: एक आकार सभी के लिए उपयुक्त नहीं होता। मेजरिंगयू.
• नीलसन, जे. आपको केवल 5 उपयोगकर्ताओं के साथ परीक्षण करने की आवश्यकता क्यों है। नीलसन नॉर्मन ग्रुप।
• नीलसन, जे. उपयोगिता अध्ययन में कितने परीक्षण उपयोगकर्ता? नीलसन नॉर्मन ग्रुप।
• उत्पादों और सेवाओं के लिए अभिगम्यता आवश्यकताओं पर निर्देश (ईयू) 2019/882 (यूरोपीय अभिगम्यता अधिनियम), ईयू-लेक्स सारांश।