यदि आप हर सुबह ए/बी टेस्ट की जाँच करते हैं और डैशबोर्ड के हरे होते ही उसे रोक देते हैं, तो आपकी वास्तविक गलत सकारात्मक दर 5% नहीं है। प्रत्येक अवलोकन के बाद सार्थकता का परीक्षण करने वाले एक सिमुलेशन में, इवान मिलर ने इसे मापा। 26.1% तक यह स्तर अधिकांश टीमों के अनुमान से पांच गुना अधिक है।ए/बी टेस्ट कैसे न करेंचार में से एक "जीत" जो दोहराई नहीं जा सकेगी, वह सांख्यिकी की समस्या नहीं है। यह एक रोडमैप की समस्या है।
यह गाइड उन ग्रोथ और CRO टीमों के लिए है जो ई-कॉमर्स या ट्रैवल ट्रैफिक पर टेस्ट कर रही हैं, जो इतना मौसमी होता है कि चार सप्ताह तक स्थिर नहीं रह सकता। इसके अंत तक आप लॉन्च से पहले एक लुक शेड्यूल प्लान कर पाएंगे, एक टेबल से प्रत्येक लुक के लिए थ्रेशहोल्ड पढ़ पाएंगे, प्लानिंग में लगने वाले अतिरिक्त छोटे सैंपल के लिए टेस्ट का आकार तय कर पाएंगे और यह पहचान पाएंगे कि मेथड कब अप्रासंगिक हो जाता है।
झाँकने से निश्चित क्षितिज परीक्षण क्यों विफल हो जाता है
एक निश्चित समयावधि परीक्षण अपनी पूरी 5% त्रुटि सीमा का उपयोग एक पूर्व-निर्धारित नमूना आकार पर एक बार ही करता है। हर अतिरिक्त अवलोकन सीमा पार करने का एक और मौका होता है। समस्या डेटा को देखने में नहीं है; समस्या एक अवलोकन के लिए निर्धारित सीमा के साथ देखने में है। मिलर की तालिका रिपोर्ट किए गए महत्व स्तर को दर्शाती है जो एक निश्चित संख्या में अवलोकन करने पर भी वास्तविक 5% दर बनाए रखने के लिए आवश्यक है:
| देखने की संख्या | वास्तविक 5% के लिए आवश्यक रिपोर्ट की गई सार्थकता |
|---|---|
| 1 | 2.9% तक |
| 2 | 2.2% तक |
| 3 | 1.8% तक |
| 5 | 1.4% तक |
| 10 | 1.0% तक |
दूसरे शब्दों में कहें तो: दस बार देखने पर जो आपको 1% सार्थकता दिखती है, वह वास्तव में 5% होती है। यह थोड़ा अटपटा है, लेकिन सच है। नीचे दिए गए तरीके यही काम अधिक कुशलता से करते हैं।
जल्दी रुकने के तीन तरीके, और प्रत्येक तरीके के लिए आपको कितना शुल्क देना होगा
| दृष्टिकोण | लॉन्च से पहले ठीक करें | लागत बनाम एक निश्चित परीक्षण | इसका उपयोग तब करें जब |
|---|---|---|---|
| स्थिर क्षितिज | नमूना आकार, एक विश्लेषण तिथि | कोई नहीं, लेकिन बीच में रुकने की अनुमति नहीं है। | यातायात स्थिर है, समय सीमा कम है। |
| समूह अनुक्रमिक (अल्फा खर्च) | अधिकतम नमूने, संख्या और देखने का समय | अधिकतम नमूना लगभग 3% (ओ'ब्रायन-फ्लेमिंग) से बढ़कर लगभग 20% (पोकॉक) हो जाता है, 4 लुक | नमूने के आकार का अनुमान लगाया जा सकता है। |
| हमेशा मान्य (एमएसपीआरटी) | सिद्धांत रूप में कुछ भी नहीं। | समान नमूने पर तीनों में से सबसे अधिक बिजली हानि | नमूने के आकार का अनुमान लगाना संभव नहीं है। |
तीसरी पंक्ति महत्वपूर्ण है क्योंकि अधिकांश वाणिज्यिक प्लेटफॉर्म इसी को शामिल करते हैं। जॉर्जी जॉर्जीव के सिमुलेशन में, प्रति समूह 7,045 के निश्चित अधिकतम नमूने पर, एक निश्चित-क्षितिज परीक्षण 83.3% शक्ति तक पहुंचा, समूह-अनुक्रमिक एजाइल ने अपना 80% लक्ष्य प्राप्त किया, एसपीआरटी लगभग 73% और हमेशा-मान्य अनुमान 62.4% रहा। 80% शक्ति तक पहुंचने के लिए, हमेशा-मान्य अनुमान को लगभग आवश्यकता थी। 85% अधिक नमूना समूह-अनुक्रमिक डिजाइन की तुलना में (एनालिटिक्स-टूलकिट, 2022स्पॉटिफाई के इंजीनियरों ने भी स्वतंत्र रूप से यही निष्कर्ष निकाला: जब नमूने के आकार का अनुमान लगाया जा सकता है, तो समूह अनुक्रमिक परीक्षण "हमेशा मान्य दृष्टिकोणों की तुलना में व्यवस्थित रूप से बेहतर या तुलनीय" होते हैं।शुल्त्ज़बर्ग और अंकरग्रेन, 2023).
इसे सुधारना जरूरी है, क्योंकि विक्रेता का दृष्टिकोण इसके विपरीत है। ऑप्टिमाइज़ली के दस्तावेज़ में आपको "प्रयोग शुरू करने से पहले नमूना आकार की गणना जैसे पूर्व-प्रयोग कार्य को छोड़ देने" के लिए कहा गया है।ऑप्टिमाइज़ली समर्थनत्रुटि नियंत्रण वास्तविक है और अंतर्निहित शोध ठोस है (जोहारी एट अल., हमेशा मान्य निष्कर्ष); इस फ्रेमिंग में बिजली के बिल का जिक्र नहीं किया गया है। स्टेट्सिग, समान पद्धतियों का प्रयोग करते हुए, स्पष्ट रूप से कहता है: "यदि आपको प्रभाव आकार का सटीक माप चाहिए, तो उस पूर्ण शक्ति की प्रतीक्षा करें जिसका अनुमान आपके पूर्व-प्रयोग शक्ति गणना द्वारा लगाया गया है" (स्टेट्सिग डॉक्स"नमूने के आकार की आवश्यकता नहीं" को वैधता के दावे के रूप में पढ़ें, न कि दक्षता के रूप में।
विधि, चरण दर चरण
उदाहरण: एक परिधान खुदरा विक्रेता चेकआउट का परीक्षण कर रहा है। आधारभूत सत्र रूपांतरण 2.4%, लक्ष्य प्रभाव +10% सापेक्ष (2.64%), दो-तरफा अल्फा 5%, शक्ति 80%, लगभग 5,000 सत्र प्रतिदिन।
1. इसका आकार इस तरह से तय करें जैसे आप कभी इसे देखेंगे ही नहीं।
दो-अनुपात आकार देने से प्रत्येक हाथ में 66,943 सत्रकुल 133,886। यह कोई वैकल्पिक अतिरिक्त खर्च नहीं है, सिर्फ इसलिए कि आप जल्दी रुकने की योजना बना रहे हैं; यह वह आधार है जिस पर कार्यक्रम आधारित है।
2. कितने लुक चाहिए और कब चाहिए, यह चुनें।
तीन से पाँच लुक लगभग सभी उपलब्ध लाभों को समेट लेते हैं; इससे अधिक प्रत्येक लुक न्यूनतम प्रतिफल के लिए अधिकतम नमूना लागत बढ़ाता है। लुक को संरेखित करें पूरे सप्ताहक्योंकि सप्ताह के दिनों के अनुसार संरचना खुदरा बिक्री पर होने वाले ट्रैफ़िक में उतार-चढ़ाव का एक बड़ा कारण है। प्रतिदिन 5,000 सत्रों के हिसाब से, सप्ताह में चार बार के प्रदर्शन से लगभग 140,000 सत्र हो जाते हैं, जो नियोजित अधिकतम संख्या को कवर करता है।
3. एक व्यय फलन चुनें और सीमाएँ लिख लें।
एक अल्फा स्पेंडिंग फंक्शन यह निर्धारित करता है कि प्रत्येक लुक 5% बजट का कितना हिस्सा खर्च कर सकता है, यह इस बात पर निर्भर करता है कि कितना डेटा एकत्रित हुआ है।पेन स्टेट STAT 509). चार समान दूरी वाले दृश्यों में दो शास्त्रीय विकल्प, दो-तरफा अल्फा 0.05:
| देखिए | नियोजित नमूने का हिस्सा | ओ'ब्रायन-फ्लेमिंग: अगर p हो तो रुक जाओ | पोकॉक: अगर p हो तो रुक जाओ |
|---|---|---|---|
| 1 (सप्ताह 1 का अंत) | 25% तक | 0.0001 | 0.0179 |
| 2 (सप्ताह 2 का अंत) | 50% तक | 0.0055 | 0.0179 |
| 3 (सप्ताह 3 का अंत) | 75% तक | 0.0216 | 0.0184 |
| 4 (सप्ताह 4 का अंत) | 100% तक | 0.0411 | 0.0188 |
| अधिकतम नमूना बनाम निश्चित परीक्षण | + 3% | + 20% |
इनकी गणना लैन-डेमेट्स व्यय कार्यों के साथ की गई थी और ये प्रकाशित लक्षण वर्णन से मेल खाते हैं: ओ'ब्रायन-फ्लेमिंग "शुरुआत में बहुत सख्त सीमा का उपयोग करता है, लेकिन अंतिम विश्लेषण सीमा विशिष्ट p < 0.05 के निकट है", जबकि पोकॉक p < 0.016 के आसपास लगभग स्थिर सीमा रखता है (सिओलिनो, काइज़र और बोनर, 2023).
ओ'ब्रायन-फ्लेमिंग एक सस्ता बीमा है: यह लगभग कभी भी पहली बार में ही परिणाम नहीं देता, अधिकतम सैंपल के लिए लगभग 3% अधिक लागत आती है, और इसका अंतिम थ्रेशहोल्ड 0.05 से थोड़ा ही अधिक सटीक है। पोकॉक की तुलना में यह कहीं अधिक बार जल्दी परिणाम देता है, लेकिन इसके लिए 20% अधिक ट्रैफ़िक शुल्क लगता है। राजस्व-संबंधी मेट्रिक्स के लिए ओ'ब्रायन-फ्लेमिंग को प्राथमिकता दें।
4. लॉन्च से पहले नियम को टिकट में लिख लें।
एक वाक्य, जो परीक्षण को रोकने में सक्षम हर किसी को दिखाई देता है: "हम सप्ताह 1 से 4 के अंत का विश्लेषण करते हैं, विजेता की घोषणा तभी करते हैं जब [प्राथमिक मापदंड] के लिए दो-तरफ़ा p-मान उस विश्लेषण की सीमा से कम हो, अन्यथा हम सप्ताह 4 तक परीक्षण जारी रखते हैं।" किसी के दिमाग में बसा नियम, नियम नहीं होता।
5. निरर्थकता की सीमा भी निर्धारित करें
अधिकांश टीमें केवल प्रभावशीलता सीमाएँ ही लागू करती हैं, इसलिए वे जीतने वालों को जल्दी रोक देती हैं और हारने वालों को पूरी अवधि तक चलने देती हैं, जो अवसर लागत के लिहाज़ से उल्टा है। एक गैर-बाध्यकारी निरर्थकता सीमा—यानी जब सार्थक जीत असंभव हो जाए तब रोकना—समय की बचत का मुख्य स्रोत है। चार ओ'ब्रायन-फ्लेमिंग विश्लेषणों के साथ, वास्तविक प्रभाव के तहत अपेक्षित नमूना निश्चित समय सीमा की आवश्यकता का लगभग 83% तक गिर जाता है।
6. प्रारंभिक बिंदु अनुमान को प्रभाव आकार के रूप में रिपोर्ट न करें।
एक परीक्षण जो समय से पहले रुक जाता है, रुक गया क्योंकि देखा गया लिफ्ट असामान्य रूप से बड़ा था, इसलिए निर्माण के कारण अनुमान में ऊपर की ओर पूर्वाग्रह है। इसका उपयोग जहाज के निर्णय के लिए करें, न कि राजस्व पूर्वानुमान के लिए। स्टेट्सिग: "प्रारंभिक निर्णयों से अक्सर उच्च अनिश्चितता वाले कमज़ोर लिफ्ट अनुमान प्राप्त होते हैं।"
प्री-लॉन्च चेकलिस्ट
- एक प्राथमिक मापदंड, जिसे लॉन्च से पहले लिखित रूप में घोषित किया गया था।
- अधिकतम नमूना और कैलेंडर समाप्ति तिथि निर्धारित कर दी गई है।
- संख्या और समय निश्चित प्रतीत होते हैं, पूरे सप्ताहों के अनुरूप।
- खर्च करने का तरीका चुना गया, सीमाएँ टिकट में लिखी गईं
- निरर्थकता नियम को परिभाषित किया गया है, न कि केवल प्रभावकारिता नियम को।
- प्रत्येक निरीक्षण पर एसआरएम की जांच की गई। से पहले पी-वैल्यू पढ़ी जाती है
- सुरक्षा रेल संबंधी मापदंडों की निगरानी अलग से, रोक नियम के बाहर की जाती है।
- जो भी परीक्षा रोक सकता है, वह जानता है कि बिना सोचे-समझे देखना मना है।
इसे तुर्की और इस क्षेत्र के लिए कैलिब्रेट करना
मई 2026 में व्यापार मंत्रालय द्वारा प्रस्तुत ई-कॉमर्स आउटलुक रिपोर्ट के अनुसार, तुर्की में 2025 में 4.57 ट्रिलियन TL के मूल्य पर 5.94 बिलियन ई-कॉमर्स लेनदेन दर्ज किए गए।डेली सबाह, 12 मई 2026यह एक बड़ा बाजार है जो ज्यादातर मध्यम आकार के स्टोरों से बना है, इसलिए चार सप्ताह की अवधि नियमित होती है - जो किसी अभियान के साथ टकराने के लिए पर्याप्त लंबी होती है।
नवंबर के अंत में मिलने वाली छूट अवधि, जिसे स्थानीय रूप से एफ़सेन कुमा के नाम से जाना जाता है, और उससे पहले होने वाला 11.11 का आयोजन, कीमतों में बदलाव लाते हैं। कौन साइट पर मौजूद लोगों की संख्या ही मायने रखती है, न कि केवल उनकी उपस्थिति। छूट से प्रेरित आगंतुक अलग तर्क पर काम करते हैं, इसलिए किसी अभियान की सीमा पार करने वाला शेड्यूल किसी एक समूह का माप नहीं करता। हमारा नियम: अभियान से पहले समाप्त करें या उसके बाद शुरू करें। यदि किसी परीक्षण को अभियान के दौरान चलाना ही है, तो अभियान सप्ताह को एक अलग स्तर मानें और उसके भीतर कोई भी रोक निर्णय न लें।
यूरोपीय संघ और तुर्की में केवीकेके-संरेखित सहमति बैनरों पर दूसरा समायोजन लागू होता है: यदि विश्लेषण सहमति-आधारित हैं, तो आपके ट्रैफ़िक का एक हिस्सा अनदेखा रह जाता है। आकार और समय-सारणी मनाया सेशन, या हर लुक कैलेंडर में बताए गए समय से बाद में आता है।
[आंतरिक डेटा की आवश्यकता है: स्विटास ई-कॉमर्स ग्राहकों के लिए औसत दैनिक सत्र और औसत वास्तविक परीक्षण अवधि, ताकि उदाहरण के तौर पर दिए गए 5,000 सत्र/दिन के आंकड़े को वास्तविक वितरण से बदला जा सके।]
जहां यह टूट जाता है
- संरचना में बदलाव। अनुक्रमिक विधियाँ मानती हैं कि आने वाली स्ट्रीम समय के साथ बदली जा सकती है। कोई अभियान या सशुल्क मीडिया परिवर्तन इस धारणा को तोड़ देता है, और समय से पहले रोकने से वह सप्ताह निश्चित हो जाता है जो असामान्य रहा हो।
- नवीनता और प्रधानता। पहले सप्ताह की रीडिंग प्रतिक्रिया को मापती है, स्थिर व्यवहार को नहीं। यदि यह बदलाव लौटने वाले ग्राहकों को स्पष्ट रूप से दिखाई देता है, तो पहले सप्ताह की रीडिंग पर कोई प्रभावकारिता सीमा न लगाएं।
- हेवी-टेल्ड मेट्रिक्स। प्रति सत्र राजस्व मुख्य रूप से दुर्लभ बड़े ऑर्डरों पर निर्भर करता है, और छोटे अंतराल नमूनों पर सामान्य अनुमान अविश्वसनीय होते हैं। रूपांतरण दर पर रुकें और साथ ही राजस्व पढ़ें, या विंसोराइज़ेशन का उपयोग करें और ऐसा स्पष्ट रूप से बताएं।
- कई मापदंड। ये सीमाएँ त्रुटि को नियंत्रित करती हैं एक पांच मापदंड। पांच रोकने के नियमों के साथ पांच मापदंड और आगे कोई सुधार न होने पर आप वहीं वापस पहुँच जाते हैं जहाँ से आपने शुरुआत की थी।
- उपकरण खराब है। एक अनुक्रमिक परीक्षण दूषित डेटा पर भी आसानी से सीमा पार कर सकता है। यह एसआरएम जांच का विकल्प नहीं है।
- यहां शामिल नहीं हैं: बेयसियन स्टॉपिंग नियम, मल्टी-आर्म्ड बैंडिट्स और वेरिएंस रिडक्शन जैसे कि CUPED। इनमें से प्रत्येक अर्ली स्टॉपिंग के साथ इस तरह से परस्पर क्रिया करता है जिसके लिए अलग-अलग विश्लेषण की आवश्यकता होती है।
सामान्य प्रश्न
इस अनुभाग को FAQPage स्कीमा से चिह्नित करें।
क्या मैं स्पेंडिंग फंक्शन के बजाय अधिक सख्त पी-वैल्यू का उपयोग कर सकता हूँ?
हां, अगर आप पहले से ही लुक्स की संख्या तय कर लें और उनकी संख्या सीमित हो, तो मिलर की तालिका थ्रेशहोल्ड प्रदान करती है। यह अल्फा स्पेंडिंग की तुलना में अधिक रूढ़िवादी है, इसलिए आप आवश्यकता से अधिक सैंपल पर खर्च करते हैं, लेकिन इसके लिए किसी नए टूल की आवश्यकता नहीं होती है।
क्या अनुक्रमिक परीक्षण का मतलब यह है कि मैं नमूना आकार की गणना को छोड़ सकता हूँ?
नहीं। नमूना आकार के अनुमान के बिना भी वैधता बनी रहती है; शक्ति नहीं। जॉर्जीव और स्पॉटिफाई दोनों सिमुलेशन एक ही पैटर्न दिखाते हैं: जब आप नमूना आकार का अनुमान लगा सकते हैं, तो समूह अनुक्रमिक डिज़ाइन बेहतर प्रदर्शन करता है।
अगर मैं जीत की बजाय गिरावट की उम्मीद कर रहा हूँ तो क्या होगा?
यह सुरक्षा उपायों की निगरानी है, परिकल्पना परीक्षण नहीं। सुरक्षा और त्रुटि मापदंडों पर एक अलग, कम लचीले नियम के तहत लगातार नज़र रखें और प्राथमिक रोकथाम नियम को अपरिवर्तित रहने दें। उपयोगकर्ताओं को नुकसान पहुँचाने वाले किसी भी वेरिएंट को बंद करने के लिए किसी औपचारिकता की आवश्यकता नहीं है।
क्या बायेसियन परीक्षण झाँकने से अप्रभावित रहता है?
नहीं। जब तक नियम वैकल्पिक रूप से रोकने के लिए डिज़ाइन नहीं किया गया हो, पश्च संभाव्यता के एक सीमा को पार करते ही रुकने से निर्णय नियम की परिचालन विशेषताएँ बदल जाती हैं। पूर्व संभाव्यता समस्या के स्वरूप को बदलती है, न कि उसके अस्तित्व को।
ओ'ब्रायन-फ्लेमिंग या पोकॉक?
लगभग हर व्यावसायिक मामले में ओ'ब्रायन-फ्लेमिंग पद्धति का उपयोग किया जाता है। पोकॉक पद्धति का चयन तभी करें जब प्रारंभिक उत्तर का ठोस महत्व हो, आप अधिकतम नमूने का लगभग 20% अधिक विश्लेषण कर सकें, और कोई व्यक्ति पहले सप्ताह के परिणाम पर शिपिंग के लिए तैयार हो।
क्या मैं ऐसा लुक जोड़ सकती हूँ जिसकी मैंने योजना नहीं बनाई थी?
अल्फा स्पेंडिंग फ़ंक्शन के साथ, हाँ, बशर्ते कि देखने का निर्णय उस डेटा से प्रेरित न हो जिसे आप देखने वाले हैं। केवल डैशबोर्ड के "करीब दिखने" के कारण देखना डेटा पर निर्भर करता है और गारंटी को रद्द कर देता है।
इस पर हमारे साथ काम करें
यदि आप किसी तुर्की या क्षेत्रीय ई-कॉमर्स प्लेटफॉर्म पर प्रयोग करते हैं और आज का नियम है "हर सुबह इसकी जांच करें", तो हम आपके साथ मिलकर इसे फिर से तैयार करेंगे: आकार, देखने का शेड्यूल, सीमाएं, निरर्थकता नियम और एसआरएम गेट, आपके प्रयोग टेम्पलेट में लिखे जाएंगे ताकि अगला परीक्षण इसे विरासत में ले सके। अपने प्रयोग कार्यक्रम के बारे में स्विटास से बात करें.
सूत्रों का कहना है
- इवान मिलर, ए/बी टेस्ट कैसे न करें
- जोहारी, पेकेलिस, वॉल्श और कूमेन, सर्वमान्य निष्कर्ष: ए/बी परीक्षणों की निरंतर निगरानीप्रकाशित गतिविधि अनुसंधान 70(3), 2022
- जॉर्जी जॉर्जीव, अनुक्रमिक परीक्षणों की सांख्यिकीय शक्ति की तुलनाएनालिटिक्स-टूलकिट, नवंबर 2022 (मार्च 2023 में अपडेट किया गया)
- शुल्त्ज़बर्ग और अंकरग्रेन, अनुक्रमिक परीक्षण ढांचा चुननास्पॉटिफाई इंजीनियरिंग, मार्च 2023
- अनुकूलनपूर्वक, सांख्यिकीय विश्लेषण विधियों का अवलोकन
- स्टेट्सिग, फ्रीक्वेंटिस्ट अनुक्रमिक परीक्षण
- सिओलिनो, काइज़र और बोनर, नैदानिक परीक्षणों में अंतरिम विश्लेषण विधियों पर मार्गदर्शन, जे क्लिन ट्रांसल साइंस 7(1):ई124, 2023
- पेन स्टेट स्टेट 509, अल्फा स्पेंडिंग फंक्शन दृष्टिकोण
- प्रभाव, समूह अनुक्रमिक सीमाओं को परिभाषित करना
- 2025 में तुर्की के ई-कॉमर्स वॉल्यूम में 52% से अधिक की वृद्धि दर्ज की गई।डेली सबाह, 12 मई 2026, व्यापार मंत्रालय की ई-कॉमर्स आउटलुक रिपोर्ट की रिपोर्टिंग
