आपका प्रोग्राम लगभग हर महीने एक विजेता की रिपोर्ट करता है। बारह जीतों को जोड़ें तो वार्षिक रिपोर्ट के अनुसार कन्वर्ज़न पिछले वर्ष की तुलना में 18% अधिक होना चाहिए। वित्त विभाग लाभ-हानि रिपोर्ट देखता है और कहता है कि ऐसा नहीं है। आमतौर पर रिपोर्ट गलत होती है।
माइक्रोसॉफ्ट के प्रायोगिक मंच पर, परीक्षण किए गए विचारों में से केवल लगभग एक तिहाई ने ही उस मापदंड में सुधार किया जिसके लिए उन्हें डिज़ाइन किया गया था, और लॉन्च किए जाने वाले विचारों का चयन केवल इसलिए किया जाता है क्योंकि वे देखने में अच्छे लगते हैं, और यहीं से गणितीय गणना में गड़बड़ी शुरू हो जाती है।कोहावी और लॉन्गबोथम, 2015होल्डआउट समूह सबसे सस्ता उपकरण है जो मापता है कार्यक्रम व्यक्तिगत परीक्षण के बजाय।
यह गाइड उन CRO लीड्स और एनालिटिक्स ओनर्स के लिए है जो महीने में कम से कम एक एक्सपेरिमेंट करते हैं। इसके अंत तक आप एक ऐसा होल्डआउट निर्धारित कर पाएंगे जो वास्तव में आपके प्रोग्राम के प्रभाव का पता लगा सके, अवधि और विश्लेषण विंडो का चयन कर सकें, और परिणाम प्रस्तुत करने से पहले ही उन विफलता मोड्स को पहचान सकें जो परिणाम को अमान्य कर देते हैं।
एक अड़ियल समूह जिस चीज को मापता है, वह जीतों का योग नहीं मापता।
होल्डआउट उपयोगकर्ताओं का एक ऐसा समूह है जिसे यादृच्छिक रूप से चुना जाता है और उन्हें परिवर्तन से पहले के अनुभव पर रखा जाता है, जबकि बाकी सभी को लॉन्च किए गए सभी सफल उत्पाद प्राप्त होते हैं। कुछ महीनों बाद आप दोनों समूहों की तुलना करते हैं। अंतर आपके द्वारा जारी किए गए सभी उत्पादों के संचयी, अभी भी सक्रिय प्रभाव को दर्शाता है - न कि बारह अल्पकालिक अनुमानों को एक साथ जोड़कर बनाया गया परिणाम।
नेटफ्लिक्स भी इसी उपकरण का उपयोग करता है, और "होल्डबैक एबी टेस्ट" को "दीर्घकालिक प्रभावों को समझने, नए सदस्यों पर पुरानी मान्यताओं का पुन: परीक्षण करने और संचयी मूल्य को मापने" के तरीके के रूप में वर्णित करता है।नेटफ्लिक्स टेक्नोलॉजी ब्लॉग).
परीक्षा परिणामों का कुल आंकड़ा वास्तविक घटना को बढ़ा-चढ़ाकर क्यों बताता है?
चार तंत्र योग को सत्य से ऊपर खींचते हैं, और वे संचयी होते जाते हैं:
- विजेता का अभिशाप। आप केवल उन्हीं वेरिएंट्स को लॉन्च करते हैं जिन्होंने महत्व को पार कर लिया है, इसलिए लॉन्च किए गए सेट में ऊपर की ओर शोर की भरमार होती है। Airbnb में ली और शेन ने इस चयन पूर्वाग्रह को औपचारिक रूप दिया और एक सुधार प्रकाशित किया।केडीडी 2018).
- नवीनता और प्रधानता का क्षय। छोटी अवधि में नवीनता के प्रति प्रतिक्रियाएं दर्ज की जाती हैं। माइक्रोसॉफ्ट न्यूज़ के एक उदाहरण में, एक नए बटन पर क्लिक में शुरू में 28% की वृद्धि हुई, जो प्रयोग की अवधि के दौरान दिन-प्रतिदिन कम होती गई।सादेघी एट अल., 2022).
- अंतःक्रिया और घटते प्रतिफल। एक ही फ़नल चरण पर स्वतंत्र रूप से परीक्षण किए गए दो परिणाम अक्सर एक दूसरे के पूरक नहीं होते; वे एक ही सीमांत उपयोगकर्ता के लिए प्रतिस्पर्धा करते हैं।
- विश्लेषण में ढिलाई। झाँकना, मीट्रिक स्विचिंग और चयनात्मक रिपोर्टिंग प्रत्येक बदलाव के साथ लॉन्च किए गए सेट को और ऊपर ले जाती है (एप्पो).
इसका मतलब यह नहीं है कि आपके परीक्षण फर्जी थे। इसका मतलब यह है कि योग एक ऊपरी सीमा है, अनुमान नहीं।
इसे बनाने से पहले होल्डआउट का आकार निर्धारित कर लें।
यह वह चरण है जिसे लगभग हर कोई छोड़ देता है, और यहीं पर अधिकांश होल्डआउट विफल हो जाते हैं। होल्डआउट एक जानबूझकर असमान विभाजन वाला दो-आर्म परीक्षण होता है, और सटीकता छोटे आर्म द्वारा निर्धारित होती है। आवश्यक कुल नमूना पैमाने के साथ 1 / (p × (1 − p)), जहां p यह होल्डआउट शेयर है। इसलिए, समान प्रभाव देखने के लिए 1% होल्डआउट को संतुलित परीक्षण की तुलना में लगभग 25 गुना अधिक ट्रैफ़िक की आवश्यकता होती है।
2% की आधारभूत रूपांतरण दर, 80% शक्ति और 5% द्विपक्षीय सार्थकता पर, प्रतीक्षा अवधि के दौरान आवश्यक कुल उपयोगकर्ता:
| होल्डआउट शेयर | उपयोगकर्ताओं को +5% सापेक्षिक अंतर का पता लगाने की आवश्यकता थी | उपयोगकर्ताओं को +10% सापेक्षिक अंतर का पता लगाने की आवश्यकता थी |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% तक | 1,720,000 | 432,000 |
| 20% तक | 971,000 | 245,000 |
| 50% तक | 630,000 | 161,000 |
अब इसे विक्रेता की चूक के संदर्भ में पढ़ें। स्टेट्सिग का सुझाव है कि "कम एकल-अंकीय होल्डआउट प्रतिशत, जैसे कि 1%–2%" (आलीशान); ऑप्टिमाइज़ली 5% से ऊपर चेतावनी देता है (Optimizelyग्रोथबुक की रिपोर्ट के अनुसार, फेसबुक और एक्स की टीमें 5% या उससे कम की दर से काम कर रही हैं।ग्रोथबुक).
ये आंकड़े इनके लेखकों के लिए तो सही हैं, लेकिन अधिकांश मध्यम आकार की वेबसाइटों के लिए गलत हैं। एक क्षेत्रीय ई-कॉमर्स साइट जिसके मासिक उपयोगकर्ता 400,000 हैं, एक तिमाही में 1.2 मिलियन उपयोगकर्ता जुटा लेती है। 1% की दर से भी इसमें लगभग एक दशक लग जाएगा। 10% की दर से भी यह +5% की वृद्धि से कम रह जाती है। 20% की दर से यह एक तिमाही में +5% और लगभग एक महीने में +10% की वृद्धि का पता लगा लेती है। अपने ट्रैफिक से हिस्सा चुनें, न कि किसी विक्रेता के डिफ़ॉल्ट से। यदि इसका सटीक उत्तर 20% है, तो इस सौदे को व्यवसाय के सामने स्पष्ट रूप से रखें: एक-पांचवां उपयोगकर्ता नई सुविधाओं के लिए एक तिमाही तक इंतजार करते हैं, इस उम्मीद में कि उन्हें पता चल सके कि वह तिमाही सार्थक थी या नहीं।
अवधि और विश्लेषण विंडो चुनें
स्टेट्सिग होल्डआउट जारी करने से पहले तीन से छह महीने का समय सुझाता है; ग्रोथबुक आधे महीने से लेकर एक चौथाई तक की सक्रिय अवधि और फिर दो से चार सप्ताह की विश्लेषण अवधि की सलाह देता है ताकि प्रभाव स्थिर हो जाएं और लुकबैक विंडो भर जाएं।
हमारा कार्यप्रणाली नियम: सक्रिय अवधि वह अवधि होती है जो आपकी साइजिंग टेबल की आवश्यकता और एक पूर्ण व्यावसायिक चक्र में से जो भी लंबी हो। इस क्षेत्र में इसका अर्थ है कम से कम एक अभियान शिखर और एक सामान्य माह को कवर करना, ताकि परिणाम केवल 11.11 से ही निर्धारित न हो। फिर फ्लैग को फ्रीज करें और डैशबोर्ड खोलने से पहले विश्लेषण विंडो के समाप्त होने का इंतजार करें।
इसे बनाएं: सात चीजें जिन्हें सही ढंग से करना आवश्यक है
- एक पर यादृच्छिक करें स्थायी, सर्वर-साइड उपयोगकर्ता या खाता पहचानकर्ताएक कुकी जिसे सहमति बैनर ब्लॉक करता है या उपयोगकर्ता साफ़ करता है, लोगों के बीच से जानकारी लीक कर देती है।
- होल्डआउट को असाइन करें एक बार, पहले सेजिन लॉन्च का आप मूल्यांकन करना चाहते हैं, उनसे पहले ही यह जानकारी जुटा लें। लॉन्च होने के बाद बनाया गया होल्डआउट, होल्डआउट नहीं कहलाता।
- लॉन्च किए गए प्रत्येक विजेता को एक ही फ्लैग सिस्टम के माध्यम से रूट करें, इसलिए "होल्डआउट = ऑफ" का वास्तव में मतलब पुराना अनुभव है। होल्डआउट किए गए उपयोगकर्ताओं को डिफ़ॉल्ट गेट और लेयर मान मिलते हैं, जैसा कि स्टेट्सिग के कार्यान्वयन में होता है।
- स्पष्ट रखें अपवर्जन सूचीसुरक्षा संबंधी सुधार, कानूनी और पहुंच संबंधी अनुपालन कार्य, और मूल्य निर्धारण में परिवर्तन सभी को भेजे जाते हैं। प्रत्येक अपवाद को उसकी तिथि के साथ दर्ज करें।
- दो से चार चुनें टिकाऊ राजस्व प्रति उपयोगकर्ता, प्रतिधारण, ऑर्डर आवृत्ति जैसे मापदंडों के साथ-साथ अपनी प्राथमिक रूपांतरण दर को भी शामिल करें। पांचवां मापदंड न जोड़ें।
- निर्धारित समय सीमा के भीतर भेजे गए प्रत्येक उत्पाद के लॉन्च का दिनांकित रिकॉर्ड और मापित लिफ्ट (लिफ्ट) दर्ज करें। इसी के आधार पर आप लंबित उत्पादों की तुलना करेंगे।
- इंजीनियरिंग टीम को बता दें कि विश्लेषण विंडो बंद होने तक फ्लैग कोडबेस में बने रहेंगे। सांख्यिकीय कारणों की तुलना में समय से पहले फ्लैग की सफाई के कारण बचे हुए फ्लैग अक्सर नष्ट हो जाते हैं।
परिणाम को ईमानदारी से पढ़ें
अपने लॉन्च रजिस्टर में होल्डआउट-मापी गई लिफ्ट और कुल लिफ्ट के अनुपात की गणना करें। हमारी कार्यशील सीमाएँ - ये निर्णय पर आधारित हैं, प्रकाशित मानक नहीं:
| होल्डआउट लिफ्ट ÷ सम्ड लिफ्ट | पढ़ना | कार्य |
|---|---|---|
| ≥ 0.6, अंतराल में शून्य शामिल नहीं है | कार्यक्रम लगभग ईमानदार है | बाहरी तौर पर होल्डआउट संख्या की रिपोर्ट करें, पूर्वानुमान को अद्यतन रखें। |
| 0.3 – 0.6 | चयन और अंतःक्रिया से सामान्य संकुचन | भविष्य के व्यावसायिक मामलों में देखे गए अनुपात को कटौती के रूप में लागू करें। |
| < 0.3, या अंतराल में शून्य शामिल है | यह राशि प्रमाण नहीं है | कुल लिफ्ट का हवाला देना बंद करें; जीत के मानदंडों और रोकने के नियमों की पुनः जांच करें। |
| नकारात्मक बिंदु अनुमान | किसी वस्तु को भेजने में पैसे लगते हैं। | सबसे बड़े प्रक्षेपणों का एक-एक करके रिवर्स-टेस्ट करें। |
वैकल्पिक टीमों द्वारा सबसे पहले अपनाए जाने वाले विकल्पों के बारे में एक क्षेत्रीय चेतावनी। यदि आप होल्डआउट को छोड़ना चाहते हैं और इस तिमाही की तुलना पिछले वर्ष से करना चाहते हैं, तो ध्यान दें कि अगस्त 2026 में तुर्की की वार्षिक उपभोक्ता मूल्य मुद्रास्फीति 31.51% थी।TÜİK के आंकड़े, 3 सितंबर 2026 को प्रकाशितप्रति उपयोगकर्ता राजस्व (लीरा में) की तुलना उस दर पर विभिन्न अवधियों में नहीं की जा सकती, और इसे कम करने से इसमें कुछ मान्यताएँ जुड़ जाती हैं। समवर्ती यादृच्छिकीकरण इस समस्या से बचाता है: दोनों पक्ष एक ही अर्थव्यवस्था में एक ही दिन मौजूद होते हैं।
[आंतरिक डेटा की आवश्यकता है: स्विटास क्लाइंट का एक उदाहरण — प्रोग्राम की अवधि, ट्रैफ़िक का पैमाना, कुल परीक्षण वृद्धि बनाम होल्डआउट-मापी गई वृद्धि, और उपयोग की गई होल्डआउट हिस्सेदारी।]
छह तरीके जिनसे कोई अड़ियल चुपचाप टूट जाता है
- दूषण। साझा डिवाइस, लॉग-आउट सत्र और पहचानकर्ता रीसेट उपयोगकर्ताओं को अलग-अलग समूहों में स्थानांतरित करते हैं। क्रॉसओवर को मापें; लगभग 2% से ऊपर का अनुमान विश्वसनीय नहीं है।
- खामोश रिसाव। फ्लैग सिस्टम के बाहर भेजा गया कोई भी बदलाव (एक सीडीएन नियम, एक सीएमएस संपादन, एक नया टेम्पलेट) होल्डआउट तक भी पहुंचता है और अंतर को शून्य की ओर कम कर देता है।
- बहिष्करण का क्रमिक विकास। हर बार "यह सबको मिलना चाहिए" वाला निर्णय आपके मापन में से एक लॉन्च को हटा देता है। ऐसे दस निर्णय लेने पर आप कुछ भी माप नहीं पा रहे होंगे।
- नमूना अनुपात में विसंगति। विभाजन अपने निर्धारित हिस्से से भटक जाता है। साप्ताहिक जाँच करें; SRM के साथ कोई भी होल्डआउट SRM के साथ किसी भी अन्य परीक्षण की तरह ही अमान्य है।
- असमय रिहाई। Optimizely के नेटिव ग्लोबल होल्डआउट को रोका नहीं जा सकता, केवल समाप्त किया जा सकता है। इसे नियम मान लें: समय से पहले समाप्त करने पर विंडो समाप्त हो जाएगी।
- पहले दिन से ही कमज़ोर। सबसे आम विफलता। 2% होल्डआउट से प्राप्त शून्य परिणाम आपके प्रोग्राम के बारे में कुछ नहीं बताता, बल्कि आपके साइजिंग के बारे में सब कुछ बताता है।
यह विधि कहाँ विफल हो जाती है?
होल्डआउट संयुक्त प्रभाव का आकार बताता है, न कि यह कि किस लॉन्च ने इसे उत्पन्न किया। एट्रीब्यूशन के लिए अभी भी व्यक्तिगत परीक्षणों की आवश्यकता है। यह ऐसी किसी भी चीज़ को माप नहीं सकता जिसे सभी तक पहुँचाना आवश्यक है, इसलिए अनुपालन कार्य इसके दायरे से बाहर है। यह उन मामलों में अनुपयुक्त है जहाँ समान उपयोगकर्ता निर्धारित समय सीमा के भीतर वापस नहीं आते हैं, और यह ब्रांड या ऑफ़लाइन स्पिलओवर के बारे में कुछ नहीं बताता है। लगभग 100,000 मासिक उपयोगकर्ताओं से कम होने पर कोई भी ऐसा हिस्सा नहीं है जिसे पहचाना और जिसका बचाव किया जा सके; इस पैमाने पर, सावधानीपूर्वक नियंत्रित पहले-बाद के विश्लेषण और गुणात्मक सत्यापन ही एकमात्र विश्वसनीय विकल्प हैं, जिनकी कमियों को स्पष्ट रूप से बताया गया है।
ज़्यादातर पूछे जाने वाले सवाल
विरोध करने वाले समूह का आकार कितना होना चाहिए?
इतना बड़ा कि अपेक्षित संचयी प्रभाव का पता लगाया जा सके, जो कि एक गणना है न कि कोई निश्चित नियम। 2% के आधारभूत स्तर और +5% के सापेक्ष लक्ष्य के साथ, 5% उपयोगकर्ताओं को बनाए रखने के लिए लगभग 3.25 मिलियन उपयोगकर्ताओं की आवश्यकता होती है, जबकि 20% उपयोगकर्ताओं को बनाए रखने के लिए लगभग 971,000 उपयोगकर्ताओं की आवश्यकता होती है।
विरोध प्रदर्शन कितने समय तक चलना चाहिए?
विक्रेता तीन से छह महीने की सक्रिय अवधि और दो से चार सप्ताह की विश्लेषण अवधि का सुझाव देते हैं। इसमें यह शर्त भी जोड़ें कि इस अवधि में कम से कम एक अभियान का चरम और एक सामान्य महीना शामिल हो, ताकि किसी एक बिक्री घटना से परिणाम तय न हो सके।
मेरे टेस्ट में मिली जीत के योग की तुलना में मेरा होल्डआउट लिफ्ट कम क्यों है?
यह अपेक्षित परिणाम है, कोई त्रुटि नहीं। विजेता का अभिशाप, नवीनता का क्षय, परिवर्तनों के बीच परस्पर क्रिया और विश्लेषण में शिथिलता, ये सभी योग को बढ़ा देते हैं। शेष संख्या वास्तविकता के सबसे करीब है।
क्या मैं किसी चीज़ को लॉन्च करने के बाद होल्डआउट बना सकता हूँ?
उन लॉन्च के लिए नहीं - सभी को वे पहले ही मिल चुके हैं। होल्डआउट केवल उसकी शुरुआत की तारीख से हुए बदलावों को मापता है। आप अगले दो तिमाहियों के लिए आज भी होल्डआउट शुरू कर सकते हैं।
क्या उपयोगकर्ताओं को रोके रखने से राजस्व को नुकसान होता है?
अगर आपके लॉन्च वाकई सफल होते हैं, तो लागत थोड़ी कम हो सकती है; यह लागत होल्डआउट शेयर और वास्तविक लाभ के गुणनफल के बीच सीमित होती है। अगर वे सफल नहीं होते हैं, तो होल्डआउट की कोई लागत नहीं होती और इससे आपको उन्हें दोहराने से भी मुक्ति मिल जाती है।
यदि होल्डआउट का परिणाम सपाट रहता है तो क्या होगा?
सबसे पहले अपनी साइजिंग टेबल के अनुसार पावर की जांच करें, फिर क्रॉसओवर और लीकेज की। सही मायने में सपाट और पर्याप्त पावर वाला परिणाम यह दर्शाता है कि दो तिमाही की शिपिंग से मीट्रिक में कोई बदलाव नहीं हुआ: इसे सीखना महंगा है, और न सीखना उससे भी ज्यादा महंगा।
अगला कदम
यदि आप प्रयोग करते हैं और यह नहीं बता सकते कि एक वर्ष की सफलताओं का क्या मूल्य था, तो इस सप्ताह अपने ट्रैफ़िक के आधार पर एक होल्डआउट का आकलन करें — या फिर हमें इसे एक विश्लेषण के हिस्से के रूप में आकलन करने, विकसित करने और पढ़ने दें। सीआरओ सहभागिता.
सूत्रों का कहना है
- कोहावी और लॉन्गबोथम, "ऑनलाइन नियंत्रित प्रयोग और ए/बी टेस्टिंग" (2015)
- ली और शेन (Airbnb), "विजेता का अभिशाप", KDD 2018
- सादेघी एट अल. (माइक्रोसॉफ्ट), "नवीनता और प्रधानता", टेक्नोमेट्रिक्स, 2022
- नेटफ्लिक्स टेकब्लॉग, "नेटफ्लिक्स में कारण-कार्य संबंध संबंधी अनुप्रयोग"
- स्टेट्सिग डॉक्स, "होल्डआउट्स"
- ग्रोथबुक, "ग्रोथबुक में अड़े रहने वाले लोग"
- ऑप्टिमाइज़ली सपोर्ट, "ग्लोबल होल्डआउट्स"
- एप्पो का कथन: "संपूर्ण वस्तु अपने भागों के योग से कम होती है।"
- रणनीति एवं बजट निदेशालय — TÜİK CPI, अगस्त 2026
