उपयोगकर्ता अनुसंधान में एआई: क्या कारगर है, क्या विफल है, और हम सीमा रेखा कहाँ खींचते हैं

साक्षात्कार कभी भी अड़चन नहीं था।

एआई और उपयोगकर्ता अनुसंधान के बारे में हर लेख की शुरुआत एक ही तरह से होती है: अनुसंधान धीमा होता है, एआई इसे तेज़ बनाता है। यह दृष्टिकोण गलत नहीं है, लेकिन इतना अस्पष्ट है कि सोमवार सुबह यह तय करते समय कि वास्तव में क्या बदलाव करना है, यह बेकार साबित होता है।

यह अधिक सटीक विवरण है। एक नियंत्रित साक्षात्कार में साठ मिनट लगते हैं और हमेशा लगेंगे, क्योंकि व्यक्ति को साठ मिनट तक बोलना होता है। जो काम पहले चार दिन में होता था, वह अब पूरी तरह बदल गया है। चारों ओर इसमें तीन प्रतिभागियों द्वारा एक ही बात को तीन अलग-अलग शब्दावलियों में कहने के क्षण को खोजना, उसे शब्दों में उतारना, टैग करना, और स्प्रिंट समाप्त होने से पहले उसे ऐसी चीज में बदलना शामिल है जिस पर उत्पाद प्रबंधक कार्रवाई कर सके।

समय इसी दिशा में लगा, और भाषा मॉडल की ताकत भी ठीक इसी में है। वे पाठ पर पैटर्न का मिलान करने में सक्षम हैं। शोध संश्लेषण पाठ पर आधारित पैटर्न मिलान की समस्या है। दोनों का मेल बिल्कुल सटीक है।

लेकिन जिस गुण के कारण वे संश्लेषण में कुशल होते हैं, वही गुण उन्हें खतरनाक भी बना देता है। एक मॉडल जो पैटर्न खोजता है, वह पैटर्न खोज ही लेगा चाहे वे मौजूद हों या न हों, और वह अपने द्वारा बनाए गए पैटर्नों का वर्णन भी ठीक उसी आत्मविश्वासपूर्ण लहजे में करेगा जैसे कि पहले से मौजूद पैटर्नों का। शोध में, एक आत्मविश्वासपूर्ण गलत विषय, किसी विषय के न होने से भी बदतर होता है, क्योंकि गलत विषय को ही आधार मिल जाता है।

तो सवाल यह नहीं है या उपयोगकर्ता अनुसंधान में एआई का उपयोग करना। हर कोई पहले से ही ऐसा कर रहा है। सवाल यह है कि प्रक्रिया के किन हिस्सों को आप स्वचालित करना चाहते हैं, परिणाम पर भरोसा करने से पहले आप किन चीजों की जांच करते हैं, और किन चीजों को आप बिल्कुल भी स्वचालित नहीं करना चाहते। यह लेख इसी बारे में है।

जहां एआई वास्तव में अपना स्थान अर्जित करता है

हम एआई को एक ही निर्णय के रूप में मानने के बजाय, अनुसंधान प्रक्रिया के विभिन्न चरणों के साथ जोड़कर देखते हैं। अलग-अलग चरणों में जोखिम का स्तर बहुत भिन्न होता है।

उस तालिका की दो पंक्तियों का मूल्य बाकी सभी पंक्तियों के कुल मूल्य से अधिक है।

बड़े पैमाने पर कोडिंग। यदि आपके पास किसी मानव द्वारा लिखित कोडबुक है, तो 40 प्रतिलेखों पर इसे लगातार लागू करना ठीक उसी प्रकार का थकाऊ, नियम-पालन वाला कार्य है जिसमें मॉडल विश्वसनीय होते हैं। वास्तव में, अधिकांश समय यहीं व्यतीत होता है जिसे बचाया जा सकता है।

निरंतर प्रतिक्रिया विश्लेषण। अधिकांश कंपनियों के पास हजारों ऐप स्टोर समीक्षाएं, सपोर्ट टिकट और सर्वेक्षण के दस्तावेज पड़े रहते हैं जिन्हें आने के बाद से किसी ने नहीं पढ़ा है। यह पूरे क्षेत्र में एआई का सबसे अधिक लाभ देने वाला और सबसे कम जोखिम वाला उपयोग है, क्योंकि आप उस शोध को प्रतिस्थापित नहीं कर रहे हैं जो पहले से चल रहा था - आप उस डेटा को पढ़ रहे हैं जिसे फेंका जा रहा था। हम इस विषय पर विस्तार से चर्चा करते हैं। एआई किस प्रकार उपयोगकर्ता की प्रतिक्रिया को उपयोगी उत्पाद संबंधी जानकारियों में बदल सकता है?.

हम जिन चार प्रकार की विफलताओं का बार-बार सामना करते हैं

ये सैद्धांतिक जोखिम नहीं हैं। ये वे विशिष्ट बातें हैं जो वास्तविक परियोजनाओं में गलत हो जाती हैं, और इन्हें पकड़ने की आवृत्ति के आधार पर लगभग घटते क्रम में प्रस्तुत किया गया है।

1. आवृत्ति को महत्व के रूप में प्रस्तुत करना

किसी मॉडल से बीस साक्षात्कारों का सारांश देने को कहें, तो वह सबसे अधिक बार कही गई बातों को प्रमुखता देगा। लेकिन शोध का महत्व आमतौर पर सबसे आम प्रतिक्रिया में नहीं होता। यह उस एक प्रतिभागी में होता है जिसने बातचीत का प्रवाह पूरी तरह से छोड़ दिया, या उन दो प्रतिभागियों में जिन्होंने एक ही समाधान को स्वतंत्र रूप से बताया, या उस खंड में जो उस चरण तक नहीं पहुंचा जिस पर बाकी सभी ने चर्चा की थी।

चेकआउट अध्ययन का सारांश प्रस्तुत करने वाला एक मॉडल आपको बताएगा कि शिपिंग लागत पारदर्शिता का मुद्दा बार-बार उठा। लेकिन यह आपको यह नहीं बताएगा कि खरीदारी पूरी करने वाले केवल दो प्रतिभागी पहले से ही लॉग इन थे - जो कि वास्तविक निष्कर्ष है, और जो पूरे डेटा में केवल अनुपस्थिति के रूप में दिखाई देता है।

हमारा चेक: हम स्पष्ट रूप से अल्पमत की स्थिति के बारे में पूछते हैं। "किस प्रतिभागी ने उभरती आम सहमति से असहमति जताई, और उन्होंने क्या कहा?" यदि मॉडल किसी एक का नाम नहीं बता पाता है, तो हम सारांश को अपूर्ण मानते हैं, न कि सहमति के प्रमाण के रूप में।

2. धाराप्रवाह आविष्कार

मॉडल ऐसे कथन तैयार करते हैं जो सुनने में बिल्कुल वैसे ही लगते हैं जैसे किसी प्रतिभागी ने कहे हों, लेकिन उन्हें ऐसे प्रतिभागी के नाम से जोड़ दिया जाता है जिसने वास्तव में वे कथन नहीं कहे होते। ऐसा अक्सर नहीं होता, लेकिन कई बार होता है। और जाँच करने पर यह खामी नज़र नहीं आती, क्योंकि गढ़ा हुआ कथन असली कथन से बेहतर लगता है — असली लोग बोलते समय शब्दों को टुकड़ों में बाँटते हैं।

हमारा चेक: क्लाइंट डेक तक पहुंचने वाले प्रत्येक उद्धरण में एक ट्रांसक्रिप्ट संदर्भ और एक टाइमस्टैम्प होता है। यदि यह मूल ऑडियो में नहीं मिलता है, तो इसे भेजा नहीं जाता है। यह एक यांत्रिक नियम है, कोई निर्णय नहीं, क्योंकि यहाँ निर्णय ही विफल हो जाता है।

3. चापलूसीपूर्ण संश्लेषण

किसी मॉडल को अपनी परिकल्पना और फिर अपना डेटा दें, और उसका विश्लेषण आपकी परिकल्पना का समर्थन करेगा। उसी डेटा को विपरीत परिकल्पना के साथ दें, और विश्लेषण उसका समर्थन करेगा। परामर्श के संदर्भ में यह सबसे महंगी विफलता का तरीका है, क्योंकि यह ग्राहक द्वारा चाहा गया परिणाम तो देता है, लेकिन उस कारण को ही नष्ट कर देता है जिसके लिए उन्होंने आपको नियुक्त किया था।

हमारा चेक: संश्लेषण संबंधी संकेतों में परिकल्पना शामिल नहीं होती। मॉडल को केवल कॉर्पस और शोध प्रश्न मिलता है, और कुछ नहीं। जब हम किसी परिकल्पना का परीक्षण करना चाहते हैं, तो हम उसे एक अलग, प्रतिवादात्मक प्रक्रिया के रूप में चलाते हैं: "इस कॉर्पस में सबसे मजबूत साक्ष्य खोजें।" के खिलाफ निम्नलिखित दावे।"

4. सिंथेटिक उपयोगकर्ता

सबसे आत्मविश्वास से प्रचारित और सबसे कम तर्कसंगत अनुप्रयोग: कृत्रिम प्रतिभागियों को उत्पन्न करना और वास्तविक लोगों के बजाय उनका साक्षात्कार लेना। यह विश्वसनीय प्रतिलेख तेजी से तैयार करता है, और यही विश्वसनीयता असल समस्या है। इंटरनेट पर प्रशिक्षित एक मॉडल आपको बताएगा कि एक व्यक्ति कैसा व्यवहार करता है। लगता हैयह इस बात का सारांश है कि ऐसे लोगों के बारे में कैसे लिखा जाता है - न कि वे कैसा व्यवहार करते हैं जब आपका फॉर्म सत्यापन तीसरी बार में उनके पते को अस्वीकार कर देता है।

कृत्रिम उपयोगकर्ता एक ही काम के लिए उपयोगी होते हैं: किसी वास्तविक प्रतिभागी को शामिल करने से पहले चर्चा मार्गदर्शिका का अभ्यास करना। हम उनका उपयोग इसी उद्देश्य से करते हैं। हम उन्हें प्रमाण के रूप में इस्तेमाल नहीं करते, और न ही उनके परिणामों को शोध निष्कर्षों के रूप में प्रस्तुत करते हैं। यदि कोई आपूर्तिकर्ता आपको बिना मानव प्रतिभागियों वाला शोध कार्यक्रम प्रदान कर रहा है, तो वह आपको आपके पहले से माने हुए विश्वास की पुष्टि करने का एक बहुत महंगा तरीका बेच रहा है।

हमारा कार्य प्रोटोकॉल

यह वास्तविक क्रम है, आदर्श क्रम नहीं।

1. कोडबुक सबसे पहले मनुष्य ही लिखते हैं। किसी भी मॉडल द्वारा ट्रांसक्रिप्ट पर काम शुरू करने से पहले, एक शोधकर्ता तीन से पाँच साक्षात्कार पढ़ता है और कोडिंग फ्रेम को हाथ से तैयार करता है। यह फ्रेम इस अध्ययन के डेटा से लिया गया है, न कि किसी सामान्य UX वर्गीकरण से। आगे की सभी प्रक्रियाओं की गुणवत्ता इसी चरण से निर्धारित होती है, इसीलिए हम इस चरण को कभी भी संक्षिप्त नहीं करते।

2. यह मॉडल फ्रेम को लागू करता है, और केवल फ्रेम को ही लागू करता है। निश्चित कोडबुक, रन के दौरान कोई नई श्रेणियां नहीं जोड़ी गईं। जब मॉडल को ऐसा कुछ मिलता है जो फ्रेम में शामिल नहीं है, तो वह उसे जबरदस्ती फिट करने के बजाय अवर्गीकृत के रूप में चिह्नित करता है। अवर्गीकृत श्रेणी अक्सर पूरे रन का सबसे दिलचस्प आउटपुट होती है।

3. 15% नमूने को दोहरा कोडित करें। एक ही ट्रांसक्रिप्ट को एक इंसान और एक मॉडल द्वारा स्वतंत्र रूप से कोड किया जाता है, और हम असहमति दर को मापते हैं। 10% से कम होने पर हम आगे बढ़ते हैं। 20% से अधिक होने पर कोडबुक गलत होती है, मॉडल नहीं - हम पहले चरण पर वापस जाते हैं। असहमति दर फ्रेम पर एक डायग्नोस्टिक है, और इसे इस तरह से मानने से हमें टूलिंग पर गुणवत्ता जांच के रूप में मानने की तुलना में अधिक बचत हुई है।

4. प्रश्न में परिकल्पना के बिना संश्लेषण का मसौदा। यह मॉडल डेटा और शोध प्रश्न प्राप्त करता है। यह क्लस्टर और एक प्रारंभिक विवरण तैयार करता है।

5. पता लगाने की क्षमता पास। मसौदे में प्रत्येक दावे को समय-चिह्न सहित कम से कम दो प्रतिभागियों से जोड़ा जाता है। जिन दावों का पता नहीं लगाया जा सकता, उन्हें हटा दिया जाता है, न कि उनमें कोई बदलाव किया जाता है। केवल एक प्रतिभागी द्वारा समर्थित दावे को एक अवलोकन के रूप में चिह्नित किया जाता है, जो रिपोर्ट करने योग्य एक वैध और अक्सर मूल्यवान बात है - लेकिन इसे विषयवस्तु नहीं माना जाता।

6. व्यवहार संबंधी आंकड़ों के आधार पर त्रिकोणीकरण। बताए गए व्यवहार और देखे गए व्यवहार में लगातार अंतर होता है। क्लाइंट तक कुछ भी पहुंचने से पहले, हम साक्षात्कार के निष्कर्षों की तुलना सेशन रिकॉर्डिंग और हीटमैप डेटा (गुस्से में किए गए क्लिक, निष्क्रिय क्लिक, बीच में ही छोड़ देने वाले बिंदु) से करते हैं। जब प्रतिभागी कहते हैं कि फ़िल्टर ठीक है और रिकॉर्डिंग से पता चलता है कि वे फ़िल्टर छोड़ रहे हैं, तो रिकॉर्डिंग को ही सही माना जाता है। यहीं पर AI-आधारित गुणात्मक कार्य के पकड़े जाने की सबसे अधिक संभावना होती है, क्योंकि व्यवहार संबंधी डेटा को इस बात से कोई फर्क नहीं पड़ता कि कथन कितना सुसंगत था।

7. सिफारिश एक इंसान द्वारा लिखी जाती है। सहायता से निष्कर्ष संकलित किए जा सकते हैं। इस संगठन में, इन सीमाओं और इस कार्ययोजना के साथ, इन निष्कर्षों के बारे में क्या करना है, यह निर्णय उन लोगों द्वारा लिया जाएगा जो साक्षात्कारों में उपस्थित थे।

हम किन चीजों को स्वचालित नहीं करते हैं?

हमने सूची का नाम छोटा कर लिया है और हम इसे दृढ़ता से अपने पास रखते हैं।

• संवेदनशील या संकटग्रस्त उपयोगकर्ताओं के साथ साक्षात्कारों का संचालन करना। स्वास्थ्य सेवा, आर्थिक कठिनाई, पहुंच संबंधी अनुसंधान। वहां मॉडरेटर का काम आंशिक रूप से देखभाल का कर्तव्य है, और यह कार्य किसी और को सौंपा नहीं जा सकता।
• सिफारिश। सातवां चरण देखें।
• पहुँचयोग्यता मूल्यांकन। स्वचालित उपकरण — जिनमें हमारे अपने भी शामिल हैं WCAG ऑडिट टूल — यह WCAG की लगभग एक तिहाई समस्याओं को पकड़ लेता है। बाकी समस्याओं के लिए सहायक तकनीक के साथ मैन्युअल परीक्षण की आवश्यकता होती है। कोई भी विक्रेता जो पूर्ण स्वचालित कवरेज का दावा करता है, वह एक स्कैन का वर्णन कर रहा है, ऑडिट का नहीं।
• किन विषयों पर शोध नहीं करना है, यह तय करना। शोध के मूल्य का अधिकांश हिस्सा दायरे के निर्धारण में ही तय होता है, और यह एक रणनीतिक बातचीत है, न कि सारांश प्रस्तुत करने का कार्य।

तुर्की भाषा अनुसंधान पर एक टिप्पणी

एआई-सहायता प्राप्त अनुसंधान पर प्रकाशित अधिकांश दिशानिर्देश अंग्रेजी में लिखे और मान्य किए गए हैं, और प्रदर्शन का अंतर वास्तविक है और इस पर कम चर्चा की गई है।

ब्रांड नामों, क्षेत्रीय शब्दावली और इस्तांबुल के उत्पाद और ई-कॉमर्स टीमों में आम तौर पर होने वाले अंग्रेज़ी-तुर्की भाषा के आदान-प्रदान के कारण तुर्की भाषा का प्रतिलेखन का स्तर काफ़ी गिर जाता है। भावना वर्गीकरण तुर्की भाषा की अप्रत्यक्षता को ठीक से नहीं संभाल पाता — किसी गंभीर शिकायत से पहले इस्तेमाल किया जाने वाला विनम्र कथन अक्सर अंग्रेज़ी पर प्रशिक्षित वर्गीकरणकर्ता के लिए तटस्थ या सकारात्मक प्रतीत होता है। संयोजनात्मक रूप-रचना का अर्थ यह भी है कि खुले सर्वेक्षण डेटा के लिए कीवर्ड-आवृत्ति दृष्टिकोण गलत गणना करता है, क्योंकि एक ही अवधारणा एक दर्जन विभक्ति रूपों में दिखाई देती है जिन्हें टोकनाइज़र असंबंधित मानता है।

व्यावहारिक परिणाम: अंग्रेज़ी के लिए उपयोग की जाने वाली 10% की तुलना में अपने ट्रांसक्रिप्शन स्पॉट-चेक की दर बढ़ाएँ, तुर्की कॉर्पोरा में स्वचालित भावना को कभी भी अकेले संकेत के रूप में उपयोग न करें, और किसी भी क्लासिफायर को बड़ी मात्रा में उपयोग करने से पहले हाथ से लेबल किए गए तुर्की नमूने पर मान्य करें। हम ठीक इसी कारण से अपना स्वयं का सत्यापन सेट चलाते हैं।

यह कैसे पता करें कि यह काम कर रहा है या नहीं?

गति एक गलत मापदंड है। हर कोई तेज़ हो रहा है; सवाल यह है कि क्या परिणाम वास्तविकता के साथ तालमेल बिठा पाता है। तीन मापदंड जिन्हें हम वास्तव में मापते हैं:

अंतर्दृष्टि की उत्तरजीविता दर। किसी शोध रिपोर्ट में प्रस्तुत निष्कर्षों में से कितने प्रतिशत निष्कर्ष छह महीने बाद भी मान्य माने गए? इसका मापन करना कठिन है, लेकिन यह कठिनाई सहना सार्थक है।

मानव-मॉडल असहमति दर। ऊपर दिए गए तीसरे चरण से। समय के साथ इस पर नज़र रखें। असहमति बढ़ने का आमतौर पर मतलब होता है कि शोध का क्षेत्र बदल गया है और कोडबुक नहीं बदली है।

अंतिम साक्षात्कार से लेकर पहली परीक्षण योग्य परिकल्पना तक का समय। यह वो आंकड़ा है जिसे एआई वास्तव में बदल सकता है। अगर संश्लेषण में पहले आठ दिन लगते थे और अब दो दिन लगते हैं, तो इसका मतलब है कि प्रति तिमाही दो अतिरिक्त प्रयोग चक्र - जो कि असल में व्यावसायिक तर्क है, और यह एक अच्छा तर्क है। लेकिन ज्यादातर विक्रेता यही दावा नहीं करते।

गहराई में जाना

यह लेख एक संक्षिप्त परिचय है। इसके साथ ही चार अन्य लेख भी हैं जो अलग-अलग चरणों का विस्तार से वर्णन करते हैं:

• कृत्रिम बुद्धिमत्ता के साथ डेटा-संचालित उपयोगकर्ता व्यक्तित्व बनाना — मॉडल पूर्वधारणाओं के बजाय मान्य साक्ष्यों से व्यक्तित्व कलाकृतियों का निर्माण करना
• डेटा से निर्णय तक: एआई उपयोगकर्ता अनुसंधान संश्लेषण को कैसे सुव्यवस्थित कर सकता है संश्लेषण चरण का विस्तृत विवरण
• एआई किस प्रकार उपयोगकर्ता की प्रतिक्रिया को उपयोगी उत्पाद संबंधी जानकारियों में बदल सकता है? — समीक्षाएं, टिकट और एनपीएस के सटीक विवरण व्यापक स्तर पर
• एआई-संचालित उपयोगकर्ता अनुसंधान के साथ उत्पाद खोज को सुव्यवस्थित करना — इन सभी को एक खोज चक्र के भीतर लागू करना

ज़्यादातर पूछे जाने वाले सवाल

क्या एआई उपयोगकर्ता साक्षात्कारों को पूरी तरह से प्रतिस्थापित कर सकता है? नहीं। यह साक्षात्कार से जुड़े कुछ कार्यों – प्रतिलेखन, कोडिंग, प्रारंभिक विश्लेषण – की जगह ले सकता है और बेहतर साक्षात्कार तैयार करने में आपकी मदद कर सकता है। यह लोगों के व्यवहार के बारे में प्रमाण नहीं दे सकता, क्योंकि इसके पास उनके व्यवहार तक पहुंच नहीं होती। कृत्रिम प्रतिभागी आपको बताते हैं कि पाठ में ऐसे लोगों का वर्णन कैसे किया गया है, जो एक अलग बात है और अक्सर भ्रामक होती है।

कृत्रिम बुद्धिमत्ता की सहायता से किए गए शोध से वास्तव में कितना समय बचता है? हमारे अनुभव के अनुसार, बचत लगभग पूरी तरह से संश्लेषण और कोडिंग में केंद्रित होती है, जहाँ यह काफी महत्वपूर्ण होती है। फील्डवर्क, भर्ती और हितधारकों का समन्वय अपरिवर्तित रहता है। एक नियंत्रित अध्ययन के लिए एक यथार्थवादी अपेक्षा यह है कि फील्डवर्क के बाद का चरण काफी कम हो जाता है, जबकि कुल परियोजना अवधि में बहुत कम कमी आती है - क्योंकि फील्डवर्क हमेशा से ही सबसे लंबा चरण रहा है।

क्या कृत्रिम उपयोगकर्ताओं का उपयोग कभी वैध होता है? चर्चा के लिए मार्गदर्शक तैयार करने और सर्वेक्षण की शब्दावली को परखने के लिए एक अभ्यास उपकरण के रूप में, हाँ। लेकिन शोध निष्कर्ष में प्रमाण के रूप में, नहीं। यह अंतर महत्वपूर्ण है: एक तैयारी में सहायक है, जबकि दूसरा शोध का लेबल लगा हुआ मनगढ़ंत डेटा है।

सबसे बड़ा जोखिम क्या है? आत्मविश्वासपूर्ण, धाराप्रवाह, गलत आउटपुट — और विशेष रूप से उसका वह संस्करण जो टीम के पहले से माने गए विश्वासों से मेल खाता हो। मनगढ़ंत कथनों को ट्रेसिबिलिटी नियमों द्वारा पकड़ा जा सकता है। चापलूसीपूर्ण संश्लेषण कठिन है, क्योंकि इससे ऐसा परिणाम मिलता है जिससे हर कोई संतुष्ट होता है। एकमात्र विश्वसनीय बचाव परिकल्पना को संश्लेषण प्रॉम्प्ट से अलग करना और एक स्पष्ट विरोधी विश्लेषण करना है।

क्या तुर्की भाषा में एआई-सहायता प्राप्त शोध उतना ही कारगर है? यह पूरी तरह से तैयार नहीं है। अंग्रेजी की तुलना में तुर्की भाषा में प्रतिलेखन सटीकता, भावना वर्गीकरण और कीवर्ड-आवृत्ति विधियाँ सभी कम प्रभावी होती हैं। यह उपयोगी है और हम इसे प्रतिदिन उपयोग करते हैं, लेकिन इसके लिए उच्च नमूना दर, मान्य वर्गीकरण और भाषा को समझने वाले शोधकर्ता की आवश्यकता होती है।

क्या आप अपनी शोध प्रक्रिया पर दूसरी राय चाहते हैं?

यदि आप एआई-सहायता प्राप्त अनुसंधान कर रहे हैं और यह जानना चाहते हैं कि आपके निष्कर्ष जांच में खरे उतरेंगे या नहीं - या आप यह तय कर रहे हैं कि किसे स्वचालित करना है और किसे सुरक्षित रखना है - तो हम आपकी वर्तमान प्रक्रिया की समीक्षा करेंगे और आपको स्पष्ट रूप से बताएंगे कि जोखिम कहां है।