होल्डआउट समूह

होल्डआउट समूह दर्शकों का एक यादृच्छिक रूप से चयनित हिस्सा होता है जिसे जानबूझकर किसी बदलाव, अभियान या बदलावों के पूरे कार्यक्रम से बाहर रखा जाता है, ताकि उस समूह पर पड़ने वाले संचयी प्रभाव की तुलना बाकी सभी से की जा सके। जहां एक मानक प्रयोग कुछ हफ्तों के लिए किसी एक चीज़ के दो संस्करणों की तुलना करता है, वहीं होल्डआउट समूह कई निर्णयों के संयुक्त प्रभाव को महीनों तक मापता है, और उस प्रश्न का उत्तर देता है जिसका उत्तर व्यक्तिगत परीक्षण नहीं दे सकते: क्या इस सारे काम से वास्तव में व्यवसाय में कोई प्रगति हुई?

यह आवश्यकता अनुकूलन और विपणन कार्यक्रमों में एक सुप्रसिद्ध लेखांकन समस्या से उत्पन्न होती है। व्यक्तिगत प्रयोग अलग-अलग लाभों की रिपोर्ट करते हैं, और उन लाभों को वार्षिक प्रभाव आंकड़े में जोड़कर नेतृत्व को प्रस्तुत किया जाता है। लेकिन यह योग लगभग हमेशा वास्तविकता से अधिक होता है, क्योंकि सफल प्रभाव एक दूसरे से ओवरलैप होते हैं, क्षीण होते हैं, परस्पर क्रिया करते हैं, और अक्सर समय से पहले रोक दिए जाने या विजेता के अभिशाप के कारण बढ़ा-चढ़ाकर बताए जाते हैं। एक दीर्घकालिक प्रयोग पूरे कार्यक्रम के योगदान का एक एकल, प्रत्यक्ष माप प्रदान करता है, जो या तो रिपोर्ट किए गए आंकड़ों को मान्य करता है या एक ऐसे अंतर को उजागर करता है जिसे स्पष्टीकरण की आवश्यकता होती है।

होल्डआउट कई प्रकार के होते हैं। लॉन्च के बाद का होल्डआउट सफल वेरिएंट जारी होने के बाद कुछ चुनिंदा उपयोगकर्ताओं को नियंत्रण समूह में रखता है, ताकि इसके प्रभाव को महीनों तक ट्रैक किया जा सके और गिरावट की जांच की जा सके। प्रोग्राम-स्तर का होल्डआउट एक तिमाही या उससे अधिक समय के लिए हर ऑप्टिमाइज़ेशन परिवर्तन से कुछ निश्चित उपयोगकर्ताओं को बाहर रखता है। मार्केटिंग होल्डआउट किसी यादृच्छिक उपसमूह के लिए अभियान संपर्क को रोकता है ताकि प्रतिक्रिया में वृद्धि को मापा जा सके, न कि वास्तविक प्रतिक्रिया को। इससे अक्सर पता चलता है कि श्रेय प्राप्त रूपांतरणों का एक बड़ा हिस्सा वैसे भी हो जाता। प्रत्येक अलग-अलग प्रश्न का उत्तर देता है, और प्रत्येक के लिए बहिष्कृत समूह को यादृच्छिक रूप से चुना जाना और माप अवधि के दौरान स्थिर रखा जाना आवश्यक है।

डिजाइन संबंधी विचार काफी चुनौतीपूर्ण हैं। अपेक्षित संचयी प्रभाव का पता लगाने के लिए समूह का आकार पर्याप्त होना चाहिए, जो आमतौर पर एकल परीक्षण की तुलना में आसान होता है क्योंकि मापा जाने वाला प्रभाव व्यापक होता है। असाइनमेंट सत्रों, उपकरणों (जहां संभव हो) और चैनलों में निरंतर बना रहना चाहिए, अन्यथा संदूषण तुलना को कमजोर कर देता है। बहिष्करण को वास्तव में लागू किया जाना चाहिए, जो सुनने में जितना आसान लगता है, उतना आसान नहीं है, खासकर जब एक दर्जन टीमें विभिन्न तंत्रों के माध्यम से परिवर्तन कर रही हों। और संगठन को वास्तविक ग्राहकों से लंबे समय तक सुधारों को रोके रखने की जानबूझकर की गई लागत को स्वीकार करना होगा, जो एक विश्लेषणात्मक निर्णय के बजाय एक प्रशासनिक निर्णय है।

लागत ही मुख्य आपत्ति है, और इसका सीधा जवाब देना ज़रूरी है। किसी ऐसे प्रोग्राम से पांच प्रतिशत ट्रैफ़िक को रोकना, जो वास्तव में कन्वर्ज़न को बेहतर बनाता है, कुछ राजस्व का नुकसान तो ज़रूर करता है। इसके विपरीत तर्क यह है कि ट्रैफ़िक को रोके बिना, किसी को पता नहीं चलता कि प्रोग्राम से कन्वर्ज़न में कोई सुधार होता भी है या नहीं, और इस पर खर्च की गई राशि आमतौर पर रोके गए ट्रैफ़िक से होने वाले नुकसान से कहीं अधिक होती है। जिन संगठनों ने पहली बार प्रोग्राम स्तर पर ट्रैफ़िक को रोककर रखा है, वे अक्सर पाते हैं कि मापा गया प्रभाव, परीक्षण परिणामों के कुल अनुमान से काफी कम होता है, जो असहज करने वाला है, लेकिन बजट को समझदारी से आवंटित करने के लिए यही जानकारी आवश्यक है।

किसी कार्यक्रम को रोके रखने के बारे में आंतरिक चर्चा तब बेहतर होती है जब लागत को अमूर्त अवधारणा के बजाय मात्रात्मक रूप से परिभाषित किया जाता है। यदि कार्यक्रम का अनुमानित प्रभाव एक निश्चित प्रतिशत सुधार है, तो पांच प्रतिशत ट्रैफ़िक को रोकना उस सुधार के पांच प्रतिशत का नुकसान है, जो आमतौर पर कार्यक्रम की लागत के मुकाबले एक छोटी राशि होती है और उस जोखिम के मुकाबले नगण्य होती है जिसमें किसी ऐसी चीज़ में निवेश जारी रखा जाता है जिसका योगदान अज्ञात है। समूह को अभाव के बजाय एक निरंतर मापन उपकरण के रूप में प्रस्तुत करना भी सहायक होता है, क्योंकि यही तंत्र लॉन्च के बाद गिरावट की निगरानी में सहायक होता है और कार्यक्रम के मूल्य के बारे में किसी भी बाद के दावे के लिए आधार प्रदान करता है। जहां सुधारों को रोकने से निष्पक्षता संबंधी चिंताएं उत्पन्न होती हैं, जैसा कि वैधानिक या संविदात्मक दायित्वों वाली सेवाओं में हो सकता है, वहां उचित समाधान मापन को पूरी तरह से छोड़ने के बजाय एक छोटा समूह, एक छोटी अवधि या एक भौगोलिक डिज़ाइन है।

किसी भी स्थिति में अड़चन स्थापित करना आमतौर पर सबसे महत्वपूर्ण सिफारिशों में से एक होता है। विकास प्रबंधन सहभागिता महत्वपूर्ण है, क्योंकि यह पूरे कार्यक्रम के मूल्यांकन के आधार को बदल देती है, व्यक्तिगत रिपोर्टों के ढेर से एक एकल मापे गए परिणाम में। कार्यान्वयन के लिए सामान्यतः दर्शकों के विभाजन और पहचान समाधान क्षमता की आवश्यकता होती है, जिसे बनाए रखा जाता है। डेटा विश्लेषण यह एक ऐसा फ़ंक्शन है, क्योंकि चैनलों या उपकरणों के बीच रिसाव करने वाला कोई भी डेटा विश्वसनीय रूप से कुछ भी नहीं मापता है।