अधिकांश टीमें बजट या आदत के आधार पर उपयोगिता परीक्षण विधि चुनती हैं, फिर पाती हैं कि परीक्षण सत्रों से उस प्रश्न का उत्तर नहीं मिल पाता जिसके लिए उन्हें यह विधि चुनने के लिए प्रेरित किया गया था। विधि का चुनाव पसंद-नापसंद पर निर्भर नहीं करता; यह उस निर्णय पर आधारित होता है जिसे आप अंतिम रूप देना चाहते हैं। यह मार्गदर्शिका आपको मॉडरेटेड, अनमॉडरेटेड और एसिंक्रोनस परीक्षण में से निर्णय लेने से पहले निर्णय लेने का एक तरीका बताती है: प्रत्येक विधि के लिए उपयुक्त नमूना आकार, प्रत्येक की लागत और डेटा गुणवत्ता की वास्तविकता, और तुर्की और यूरोपीय संघ में डेटा स्थानांतरण के नियम जो इस चुनाव को सीमित करते हैं। यह उन उत्पाद, यूएक्स और सीआरओ टीमों के लिए है जो साल में कुछ ही अध्ययन करती हैं और एक भी अध्ययन व्यर्थ नहीं जाने देना चाहतीं। सबसे पहले एक कैलिब्रेशन संख्या: लौरा फॉल्कनर के 2003 के अध्ययन में, पांच उपयोगकर्ताओं के यादृच्छिक नमूनों ने औसतन 85.5% ज्ञात समस्याओं का पता लगाया, लेकिन सबसे खराब पांच उपयोगकर्ता वाले नमूने ने 55% समस्याओं का पता लगाया।
तुलना करने के लिए पर्याप्त रूप से सटीक रूप से परिभाषित तीनों विधियाँ
नियंत्रित। शोधकर्ता और प्रतिभागी आमने-सामने या फोन पर बातचीत के दौरान एक साथ सत्र में शामिल होते हैं। शोधकर्ता कार्य निर्धारित करता है, अवलोकन करता है और प्रश्न पूछता है। परिणाम: प्रेक्षित व्यवहार और उसकी व्याख्या।
अनियंत्रित, रिकॉर्ड किया गया। प्रतिभागी एक निर्धारित कार्य को अकेले पूरा करता है, जबकि एक प्लेटफॉर्म स्क्रीन, क्लिक और आमतौर पर ऑडियो रिकॉर्ड करता है। शोधकर्ता बाद में इन रिकॉर्डिंग का विश्लेषण करता है। परिणाम: बिना किसी स्पष्टीकरण के व्यवहार।
अतुल्यकालिक स्व-रिपोर्ट। प्रतिभागी अकेले काम करता है और जो कुछ भी गलत हुआ उसे लिखता है — डायरी अध्ययन, फीडबैक फॉर्म, एनोटेटेड टास्क। किसी भी रिकॉर्डिंग का विश्लेषण नहीं किया जाता है। परिणाम: प्रतिभागी का स्वयं का विवरण।
इन तीनों को "नियंत्रित बनाम अनियंत्रित" में समेटने से एक व्यापक रूप से दोहराया जाने वाला आंकड़ा गलत तरीके से लागू हो जाता है। यह निष्कर्ष कि उपयोगकर्ता प्रशिक्षित शोधकर्ता द्वारा देखी गई समस्याओं में से लगभग आधी समस्याओं की रिपोर्ट करते हैं, इस तथ्य से आता है कि... स्व-रिपोर्ट अध्ययनजहां प्रतिभागियों ने स्वयं समस्याओं का दस्तावेजीकरण किया। यह अतुल्यकालिक स्व-रिपोर्टिंग का तथ्य है, न कि किसी शोधकर्ता द्वारा विश्लेषण किए गए अनियंत्रित रिकॉर्ड किए गए सत्रों का। जब कोई कहता है कि अनियंत्रित विश्लेषण से आधी समस्याएं सामने आती हैं, तो पूछें कि उनका मतलब दोनों में से किससे है।
निर्णय से शुरुआत करें, विधि से नहीं।
वह वाक्य लिख लें जिसे आप अध्ययन समाप्त होने पर बोल पाना चाहते हैं, फिर उस पंक्ति को ढूंढें।
| आपको बंद करने का निर्णय लेना होगा | ऐसे सबूत जो इसे बंद कर देते हैं | विधि |
|---|---|---|
| लोग इस चरण पर क्यों हार मान लेते हैं? | व्यवहार और उसके पीछे का तर्क | संचालित |
| क्या इस अवधारणा को बिल्कुल भी समझा गया है? | समझ की जांच उपयोगकर्ता के अपने शब्दों में की गई। | संचालित |
| क्या यह स्क्रीन रीडर के साथ काम करता है? | इसका दैनिक उपयोग करने वाले लोगों द्वारा देखे गए उपयोग | संचालित |
| क्या लोग कार्य X को बिना किसी सहायता के पूरा कर सकते हैं? | विश्वास अंतराल के साथ पूर्णता दर | अनियंत्रित, रिकॉर्ड किया गया |
| किस लेआउट से कम त्रुटियां उत्पन्न होती हैं? | एक तुलनात्मक माप जो उन्हें अलग कर सके, नमूने के आकार के आधार पर। | अनियंत्रित, रिकॉर्ड किया गया |
| वास्तविक उपयोग के एक सप्ताह का अनुभव कैसा होता है? | कई दिनों में बार-बार प्रविष्टियाँ | अतुल्यकालिक डायरी |
| किस बदलाव से हमें अधिक धन प्राप्त होगा? | वास्तविक यातायात पर एक लाइव प्रयोग | तीनों में से कोई नहीं — ए/बी टेस्ट चलाएँ |
अंतिम पंक्ति दिखने में जितनी महत्वपूर्ण लगती है, उससे कहीं अधिक महत्वपूर्ण है। उपयोगिता परीक्षण से यह पता चलता है कि इंटरफ़ेस का उपयोग किया जा सकता है या नहीं और उसमें क्या कमियां हैं, न कि किसी बदलाव के राजस्व पर पड़ने वाले प्रभाव का। किसी व्यावसायिक मापदंड से संबंधित प्रश्न का उत्तर पाने के लिए पांच लोगों का अध्ययन करना एक गलत तरीका है, और इसका उत्तर वास्तविक ग्राहक सेवा से जुड़ने पर मान्य नहीं होगा।
चार प्रश्नों वाली स्क्रीन
यदि तालिका में आपका प्रश्न नहीं है, तो इन्हें क्रम से चलाएँ। पहला "हाँ" उत्तर ही निर्णायक होगा।
- क्या घटना घटित होते समय आपको "क्यों" पूछने की आवश्यकता है? नियंत्रित। आप रिकॉर्डिंग पर कोई प्रोब नहीं लगा सकते।
- क्या प्रतिभागी को क्रेडेंशियल, सैंडबॉक्स, सहायक तकनीक या आपके द्वारा उपलब्ध कराए गए किसी उपकरण की आवश्यकता है? नियंत्रित। अनियंत्रित प्लेटफ़ॉर्म सार्वजनिक प्रोटोटाइप को अच्छी तरह से संभालते हैं, लेकिन प्रतिबंधित वातावरण को खराब तरीके से।
- क्या आपको विश्वास अंतराल सहित कोई संख्या चाहिए? अनियंत्रित। आठ नियंत्रित सत्रों से पूर्णता दर में इतना अधिक अंतर आता है कि 50% और 90% के बीच अंतर करना असंभव है।
- क्या यह व्यवहार एक से अधिक बार होता है? अतुल्यकालिक। एक सप्ताह में होने वाली ऑनबोर्डिंग, या बुकिंग रद्द होने और फिर से शुरू होने की प्रक्रिया, 60 मिनट के सत्र में समाहित नहीं होगी।
नमूना आकार: प्रत्येक विधि कितना समर्थन कर सकती है
"पांच उपयोगकर्ता ही काफी हैं" का नियम यहाँ से आया है जैकब नीलसन का 2000 का लेख और समस्या की पहचान के लिए, यह केवल एक ही प्रवाह में औसतन ही लागू होता है। फॉल्कनर ने एक टाइमशीट एप्लिकेशन पर 60 प्रतिभागियों का परीक्षण किया, 45 समस्याओं को सूचीबद्ध किया, फिर प्रत्येक आकार के 100 यादृच्छिक समूहों का पुनः नमूना लिया। फैलाव ही वह बात है जिसे हर कोई भूल जाता है।
| उपयोगकर्ता | पाई गई समस्याओं का औसत प्रतिशत | 100 नमूनों में सबसे खराब नमूना |
|---|---|---|
| 5 | 85.5% तक | 55% तक |
| 10 | 94.7% तक | 82% तक |
| 20 | 98.4% तक | 95% तक |
| 30 | 99.0% तक | 97% तक |
| 50 | 100% तक | 98% तक |
इसे जोखिम विवरण के रूप में पढ़ें, लक्ष्य के रूप में नहीं। आमतौर पर पाँच सत्रों में अधिकांश गलतियाँ सामने आ जाती हैं, और लगभग बीस में से एक बार ऐसा होता है कि आपको लगता है कि टूटा हुआ प्रवाह ठीक है - प्रोटोटाइप के लिए स्वीकार्य, लेकिन उस उत्पाद के लिए खराब जिसे आप जल्द ही शिप करने वाले हैं। हमारा कार्य विभाजन: एक प्रवाह की खोज के लिए 5 से 8 नियंत्रित सत्र, जब यह खंड या उपकरण के अनुसार विभाजित होता है तो 10 से 12 सत्र, और जब परिणाम समस्या सूची के बजाय दर हो तो 30 या अधिक अनियंत्रित सत्र।
लागत और समयसीमा: असल में पैसा कहाँ खर्च होता है
नियंत्रित लागत मुख्य रूप से शोधकर्ता के समय से संबंधित होती है - कार्यक्रम तय करना, अनुपस्थिति, सत्र और फिर विश्लेषण। अनियंत्रित लागत मुख्य रूप से अधिक प्रतिभागियों की भर्ती से संबंधित होती है, क्योंकि आप उन प्रतिभागियों के लिए भी भुगतान करते हैं जिन्हें आप शामिल नहीं करते हैं, और यह अस्वीकृति दर अधिकांश बजट अनुमानों से कहीं अधिक होती है।
में 2023 में PLOS ONE द्वारा पांच अनुसंधान प्लेटफार्मों की तुलना (N = 2,729) के अनुसार, संयुक्त गुणवत्ता मानक को पूरा करने वाले उत्तरदाताओं का हिस्सा प्रोलिफिक पर 75.4%, क्लाउड रिसर्च पर 75.1%, SONA पर 62.7%, क्वाल्ट्रिक्स पर 59.1% और MTurk पर 54.2% था, जिसमें उच्च-गुणवत्ता वाले उत्तरदाता की प्रति लागत $1.90 से $8.17 तक थी। गुणवत्ता और मात्रा पर 2026 का अध्ययन यह और भी कठोर है: 4,453 सहमति देने वाले प्रतिभागियों में से, स्क्रीनिंग के बाद 15.97% को ही रखा गया, जिसमें ध्यान जांच के कारण 27.13% अयोग्य घोषित हो गए, जबकि स्पष्ट बॉट-डिटेक्शन प्रश्नों ने केवल 3.48% को ही पकड़ा।
इसलिए, विश्लेषण के लिए आवश्यक संख्या को अपेक्षित प्रतिधारण दर से विभाजित करके अनियंत्रित अध्ययनों का आकार निर्धारित करें, और प्रत्येक स्क्रिप्ट में कम से कम एक खुला प्रश्न और एक ध्यान जांच शामिल करें, क्योंकि सस्ते बॉट स्क्रीन काम नहीं करते। एक नियंत्रित सत्र स्वयं ही जांच करता है: जो व्यक्ति कॉल में शामिल होता है और आपसे 45 मिनट तक बात करता है, वह, चाहे कुछ भी सच हो, एक व्यक्ति है।
[आंतरिक डेटा की आवश्यकता है: भर्ती संबंधी संक्षिप्त जानकारी से लेकर पहले पूर्ण सत्र तक स्विटास के औसत दिन, और तुर्की भाषा के अनियंत्रित अध्ययनों पर हमारी देखी गई स्क्रीनिंग-आउट दर, ताकि ऊपर दिए गए सामान्य प्लेटफ़ॉर्म आंकड़ों को प्रतिस्थापित किया जा सके।]
तुर्की और यूरोपीय संघ की वह परत जो आपके विकल्प को रद्द कर सकती है
एक अनियंत्रित प्लेटफॉर्म प्रतिभागी की स्क्रीन, अक्सर उनकी आवाज और चेहरे को रिकॉर्ड करता है और इसे विक्रेता के बुनियादी ढांचे पर संग्रहीत करता है, जो आमतौर पर तुर्की के बाहर और अक्सर यूरोपीय आर्थिक क्षेत्र (ईईए) के बाहर स्थित होता है। यह व्यक्तिगत डेटा का विदेश में स्थानांतरण है, और 1 जून 2024 से तुर्की कानून इसे निर्धारित प्रक्रियाओं के माध्यम से स्थानांतरित करता है।
कानून 7499 (आधिकारिक राजपत्र 32487, 12 मार्च 2024) ने कानून 6698 के अनुच्छेद 9 को पुनर्लिखित किया। विदेशों में स्थानांतरण के लिए अब पर्याप्तता निर्णय या सूचीबद्ध सुरक्षा उपाय की आवश्यकता है: पूर्व-अनुमोदित बाध्यकारी कॉर्पोरेट नियम, प्राधिकरण द्वारा प्रकाशित और उसे सूचित किया गया एक मानक अनुबंध, या प्राधिकरण द्वारा अनुमोदित एक विशिष्ट वचनबद्धता। असाधारण आधार, जिसमें स्पष्ट सहमति शामिल है, आकस्मिक, गैर-आवर्ती स्थानांतरणों के लिए तैयार किए गए हैं - जो एक स्थायी अनुसंधान कार्यक्रम नहीं है। प्राधिकरण का अपना पृष्ठ रिकॉर्ड के अनुसार, अभी तक किसी भी देश को पर्याप्त घोषित नहीं किया गया है, इसलिए व्यवहार में एक विदेशी परीक्षण मंच एक मानक अनुबंध पर आधारित होता है जिस पर किसी को हस्ताक्षर करना और सूचित करना होता है।
हमारा नियम यह है: यदि अध्ययन में प्रतिभागी का व्यक्तिगत विवरण, वास्तविक ग्राहक डेटा, या विशेष श्रेणी की जानकारी शामिल है — जो स्वास्थ्य और सार्वजनिक क्षेत्र के कार्यों में आम बात है — तो आपके नियंत्रण वाले बुनियादी ढांचे पर संचालित सत्र अनुपालन का सबसे आसान तरीका है, भले ही असंचालित सत्र सस्ता हो। सार्वजनिक प्रोटोटाइप और कृत्रिम कार्य के लिए, प्लेटफ़ॉर्म का तरीका उपयुक्त है। तुर्की के बाहर के पाठक GDPR के अध्याय V से इस संरचना को पहचान लेंगे, लेकिन एक महत्वपूर्ण अंतर है: कोई पर्याप्तता निर्णय लागू नहीं है, इसलिए यूरोपीय संघ-अमेरिका जैसी कोई रूपरेखा उपलब्ध नहीं है।
कुछ भी बुक करने से पहले
- निर्णय वाक्य लिखा हुआ है, और आप उस निष्कर्ष का नाम बता सकते हैं जो इसे बदल देगा।
- यह विधि ऊपर दी गई तालिका या स्क्रीन से ली गई है, न कि उस विधि से जिसे आपने पिछली बार चलाया था।
- नमूना आकार को परिणाम स्वरूप निर्धारित किया जाता है: चाहे वह समस्याओं की सूची हो या दर।
- केवल अनियंत्रित: लक्षित n को अपेक्षित प्रतिधारण से विभाजित किया गया; स्क्रिप्ट में एक खुला प्रश्न और ध्यान जाँच शामिल है।
- केवल नियंत्रित निगरानी: कार्य इस प्रकार लिखे गए हैं कि प्रतिभागी को किसी स्पष्टीकरण की आवश्यकता नहीं है; प्रश्न तैयार किए गए हैं लेकिन वे भ्रामक नहीं हैं।
- भर्ती प्रक्रिया शुरू होने से पहले रिकॉर्डिंग, भंडारण स्थान, प्रतिधारण अवधि और स्थानांतरण तंत्र पर सहमति बन जाती है।
- विश्लेषण कैलेंडर का मालिक कोई न कोई होता है; बिना विश्लेषण वाली रिकॉर्डिंग के कारण ही अनियंत्रित अध्ययन से कोई परिणाम नहीं निकलता।
जहां यह टूट जाता है
फॉल्कनर की तालिका 45 सूचीबद्ध समस्याओं वाले एक टाइमशीट एप्लिकेशन से प्राप्त की गई है। खोज वक्र इस बात पर निर्भर करते हैं कि एक औसत प्रतिभागी के लिए एक औसत समस्या को हल करने की कितनी संभावना है, और कई शाखाओं वाले प्रवाह वाले उत्पाद में यह संभावना कम हो जाती है। तालिका को एक सरल प्रवाह के लिए आधार मानिए।
यह मार्गदर्शिका भर्ती प्रक्रिया, मॉडरेशन तकनीक, निष्कर्षों को परिकल्पनाओं में परिवर्तित करने या अभिगम्यता अनुरूपता परीक्षण को कवर नहीं करती है, जो कि उपयोगिता अध्ययन के बजाय मानदंडों के विरुद्ध एक ऑडिट है।
एआई-संचालित साक्षात्कार अब नियंत्रित और अनियंत्रित साक्षात्कारों के बीच की स्थिति में हैं, जिन्हें दोनों का संयोजन बताकर प्रचारित किया जा रहा है। यहाँ उद्धृत अध्ययनों के स्तर के अनुरूप प्रकाशित पद्धति-तुलना संबंधी प्रमाण अभी तक उपलब्ध नहीं हैं। जब तक ऐसा प्रमाण उपलब्ध नहीं हो जाता, एआई-संचालित सत्र को बेहतर स्क्रिप्ट के साथ अनियंत्रित परीक्षण की तरह मानें, और इस पर कोई ऐसा निर्णय न लें जो कुशल पूछताछ पर निर्भर करता हो।
सामान्य प्रश्न
क्या पांच प्रतिभागी वाकई पर्याप्त हैं? औसतन, पांच लोग एक ही प्रक्रिया में लगभग 85% समस्याओं का पता लगा लेते हैं, लेकिन फॉल्कनर के 100 पांच-व्यक्ति नमूनों में से सबसे खराब नमूने में केवल 55% समस्याएं ही पाई गईं। प्रोटोटाइप के लिए यह ठीक है, लेकिन किसी भी ऐसे उत्पाद के लिए जो आप जल्द ही शिप करने वाले हैं, यह अपर्याप्त है।
क्या मैं दूरस्थ रूप से नियंत्रित अध्ययन संचालित कर सकता हूँ? हां, और अधिकांश उत्पाद संबंधी कार्यों के लिए आपको ऐसा करना चाहिए। मॉडरेटेड प्रक्रिया में शोधकर्ता की उपस्थिति महत्वपूर्ण होती है, न कि कमरे की मौजूदगी। इससे आप परिवेशीय संदर्भ खो देते हैं और पहुंच प्राप्त कर लेते हैं।
किसी प्रोजेक्ट को सफलतापूर्वक पूरा करने के लिए मुझे कितने प्रतिभागियों की आवश्यकता है? एक नियंत्रित अध्ययन की क्षमता से कहीं अधिक। सबसे पहले उस अंतर का निर्धारण करें जिसे आपको पहचानना है — 70% को 85% से अलग करने के लिए 30% को 80% से अलग करने की तुलना में एक बहुत अलग नमूने की आवश्यकता होती है — फिर उसके अनुसार नमूने का आकार निर्धारित करें और भर्ती किए गए लोगों में से एक चौथाई को हटाने की अपेक्षा रखें।
क्या अनियंत्रित परीक्षण में नियंत्रित परीक्षण की तुलना में कम समस्याएं पाई जाती हैं? एक शोधकर्ता द्वारा किए गए अनियंत्रित रिकॉर्डिंग सत्रों के विश्लेषण से व्यवहार संबंधी समस्याओं का एक समान समूह तो सामने आया, लेकिन उनका कोई स्पष्टीकरण नहीं मिला। "आधी समस्याएं" का आंकड़ा उन स्व-रिपोर्ट प्रारूपों पर लागू होता है जहां कोई भी सत्र को नहीं देखता है।
क्या सेशन रिकॉर्ड करने के लिए हमें स्पष्ट सहमति की आवश्यकता है? आप जो भी तरीका चुनें, आपको एक वैध आधार और एक स्पष्ट सूचना की आवश्यकता होगी, और तुर्की में विदेश में हस्तांतरण का प्रश्न रिकॉर्डिंग के प्रश्न से अलग है।
अनियंत्रित कार्य समूह की अवधि कितनी होनी चाहिए? आमतौर पर 15 से 20 मिनट। लंबे स्क्रिप्ट से प्रतिभागियों के बीच में ही छोड़ देने की दर बढ़ जाती है और ठीक उन्हीं प्रतिभागियों को फायदा होता है जिन्हें आप बाहर करना चाहते हैं।
हमारे साथ काम करें
यदि कोई निर्णय साक्ष्य पर निर्भर है और आप निश्चित नहीं हैं कि इन तीनों में से कौन सा निर्णय निर्णायक होगा, तो हम आपके साथ अध्ययन की रूपरेखा तैयार कर सकते हैं - विधि, नमूना आकार, भर्ती और डेटा-स्थानांतरण संबंधी कागजी कार्रवाई। देखें स्विटास उपयोगकर्ता अनुसंधान सेवाएं.
सूत्रों का कहना है
- फाल्कनर, एल. (2003). पांच-उपयोगकर्ता धारणा से परेव्यवहार अनुसंधान विधियाँ, 35(3), 379–383.
- नीलसन, जे. (19 मार्च 2000)। आपको केवल 5 उपयोगकर्ताओं के साथ परीक्षण करने की आवश्यकता क्यों है?नीलसन नॉर्मन ग्रुप।
- मापनायू. क्या उपयोगकर्ता उपयोगिता संबंधी समस्याओं की स्वयं रिपोर्ट कर सकते हैं? - कैस्टिलो (1998), ब्रून एट अल का सारांश। (2007), एंड्रीसेन एट अल। (2009)।
- डगलस, इवेल और ब्रावर (14 मार्च 2023)। ऑनलाइन मानव-विषय अनुसंधान में डेटा की गुणवत्ता। एक और।
- बॉट्स और गलत डेटा से लड़ना (11 अप्रैल 2026). गुणवत्ता और मात्रा, 60(4).
- किसिसेल वेरिलेरी कोरुमा कुरुमु, Yurt Dışına Aktarım — कानून 6698 अनुच्छेद 9 जैसा कि कानून 7499 द्वारा संशोधित किया गया है (ओजी 32487, 12 मार्च 2024; 1 जून 2024 से प्रभावी)।
