नमूने का आकार

नमूना आकार किसी प्रयोग के प्रत्येक समूह में शामिल आगंतुकों, सत्रों या उपयोगकर्ताओं की संख्या है, और यह इस बात का सबसे महत्वपूर्ण निर्धारक है कि कोई परीक्षण विश्वसनीय परिणाम दे सकता है या नहीं। परीक्षण शुरू होने से पहले इसकी गणना चार इनपुट के आधार पर की जाती है: नियंत्रण की आधारभूत रूपांतरण दर, न्यूनतम प्रभाव आकार जिसे व्यवसाय सार्थक मानता है, वांछित सांख्यिकीय शक्ति और सार्थकता स्तर। इनमें से किसी भी इनपुट को बदलने पर आवश्यक नमूना आकार में परिवर्तन होता है, जो अक्सर काफी अधिक होता है।

इन इनपुट के बीच का संबंध सहज नहीं है, और यहीं पर अधिकांश परीक्षण कार्यक्रम विफल हो जाते हैं। एक छोटे प्रभाव का पता लगाने के लिए एक बड़े प्रभाव का पता लगाने की तुलना में कहीं अधिक ट्रैफ़िक की आवश्यकता होती है, और यह आवश्यकता प्रभाव के आकार के व्युत्क्रमांकीय अनुपात में बढ़ती है। जिस प्रभाव का आप पता लगाना चाहते हैं, उसे आधा करने पर आवश्यक ट्रैफ़िक चार गुना हो जाता है। 2 प्रतिशत रूपांतरण दर वाली एक साइट जो 5 प्रतिशत के सापेक्ष सुधार का विश्वसनीय रूप से पता लगाना चाहती है, उसे प्रत्येक वेरिएंट के लिए हजारों आगंतुकों की आवश्यकता होती है; वही साइट जो 20 प्रतिशत सुधार का पता लगाने की कोशिश कर रही है, उसे इसकी एक छोटी सी मात्रा की आवश्यकता होती है। इसी प्रकार, कम आधारभूत रूपांतरण दरों के लिए उच्च दरों की तुलना में अधिक ट्रैफ़िक की आवश्यकता होती है, यही कारण है कि लीड जनरेशन साइटें और उच्च-विचार वाले ई-कॉमर्स श्रेणियां उच्च-आवृत्ति वाले खुदरा की तुलना में धीमे परीक्षण कार्यक्रम चलाती हैं।

सैंपल साइज़ की गणना किए बिना परीक्षण चलाने से दो प्रकार की विफलताएँ हो सकती हैं। पहली, अपर्याप्त परीक्षण किसी निष्कर्ष पर नहीं पहुँच पाता, हफ़्तों तक ट्रैफ़िक बर्बाद करता है और अंत में उसे अनिर्णायक मानकर छोड़ दिया जाता है, या इससे भी बदतर, उसे इस बात का प्रमाण मान लिया जाता है कि परिवर्तन का कोई प्रभाव नहीं पड़ा। दूसरी, परीक्षण तब रोक दिया जाता है जब संयोगवश कुछ कन्वर्ज़न एक निश्चित सीमा को पार कर जाते हैं, और इससे एक बड़ा प्रभाव दिखाई देता है जो परिवर्तन को सभी के लिए लागू करने पर लगभग गायब हो जाता है। दोनों विफलताओं का नुकसान एक ही है: संगठन के भीतर परीक्षण कार्यक्रम की विश्वसनीयता।

सैंपल साइज़ की आवश्यकताएं भी इस बात को सीमित करती हैं कि कोई साइट व्यावहारिक रूप से क्या परीक्षण कर सकती है। सीमित ट्रैफ़िक वाली साइट छोटे-छोटे सुधारों का पोर्टफोलियो नहीं चला सकती, क्योंकि प्रत्येक को हल करने में महीनों लग जाएंगे। उस ट्रैफ़िक स्तर पर उपयुक्त रणनीति यह है कि कम, लेकिन बड़े अपेक्षित प्रभावों वाले परिवर्तनों का परीक्षण किया जाए, फ़नल के ऊपरी भाग में परीक्षण किया जाए जहां वॉल्यूम अधिक हो, और बिना किसी प्रयोग के क्या जारी करना है, यह तय करने के लिए गुणात्मक अनुसंधान और अनुमानी विश्लेषण पर अधिक निर्भर रहा जाए। इस सीमा को ईमानदारी से समझना उन परीक्षणों का कार्यक्रम चलाने से कहीं अधिक उत्पादक है जो गणितीय रूप से सफल नहीं हो सकते।

व्यवहारिक गणना में सांख्यिकीय इकाई और व्यावसायिक इकाई के बीच के अंतर को भी ध्यान में रखना आवश्यक है। यदि यादृच्छिकीकरण इकाई आगंतुक है, लेकिन मीट्रिक को प्रति सत्र के हिसाब से मापा जाता है, तो गणना में गड़बड़ी हो जाती है और रिपोर्ट किया गया आत्मविश्वास बढ़ा-चढ़ाकर बताया जाता है। बाइनरी रूपांतरण के बजाय प्रति आगंतुक राजस्व मापने वाले परीक्षणों के लिए और भी बड़े नमूनों की आवश्यकता होती है, क्योंकि राजस्व एक उच्च-भिन्नता वाला मीट्रिक है जिसमें बड़े ऑर्डरों की एक लंबी श्रृंखला होती है। खंड-स्तरीय विश्लेषण इस समस्या को और भी जटिल बना देता है: संपूर्ण दर्शकों के लिए तैयार किया गया परीक्षण मोबाइल उपसमूह के लिए पर्याप्त नहीं होता है, और कुल दर्शकों के लिए किए गए प्रयोग से खंड परिणामों को पढ़ना इस क्षेत्र में गलत निष्कर्षों के सबसे आम स्रोतों में से एक है।

गणना से दो व्यावहारिक प्रश्न निकलते हैं, जिनका अक्सर गलत उत्तर दिया जाता है। पहला प्रश्न यह है कि क्या ट्रैफ़िक को समान रूप से विभाजित किया जाना चाहिए। असमान आवंटन, जैसे कि नब्बे प्रतिशत नियंत्रण और दस प्रतिशत परिवर्तन, कभी-कभी जोखिम भरे बदलाव के प्रभाव को सीमित करने के लिए प्रस्तावित किया जाता है, लेकिन इससे आवश्यक रनटाइम काफी बढ़ जाता है, क्योंकि छोटा समूह तुलना की सटीकता निर्धारित करता है। जोखिम को सीमित करने का बेहतर तरीका गार्डरेल मॉनिटरिंग के साथ एक छोटा प्रारंभिक रैंप बनाना है, जिसके बाद ट्रैफ़िक को समान रूप से विभाजित किया जाए। दूसरा प्रश्न यह है कि एक साथ कई परीक्षण चलाने के बारे में क्या किया जाए। साइट के असंबंधित भागों पर समवर्ती प्रयोग आम तौर पर स्वीकार्य होते हैं और अधिकांश प्रोग्राम इसी तरह उचित गति प्राप्त करते हैं, लेकिन परस्पर क्रिया करने वाले परीक्षण, जैसे कि एक ही फ़नल चरण को प्रभावित करने वाले दो परिवर्तन, या तो क्रमबद्ध होने चाहिए या एक संयुक्त डिज़ाइन के रूप में विश्लेषण किए जाने चाहिए, क्योंकि दोनों का अनुभव करने वाले विज़िटर को स्पष्ट रूप से किसी एक से नहीं जोड़ा जा सकता है।

एक संरचित के भीतर रूपांतरण दर अनुकूलन प्रोग्राम में, सैंपल साइज़ की योजना लॉन्च के समय नहीं, बल्कि प्राथमिकता निर्धारण के दौरान बनाई जाती है। यह जानते हुए कि प्रस्तावित परीक्षण को छह सप्ताह के ट्रैफ़िक की आवश्यकता है, दस दिनों में हल होने वाले विचार की तुलना में इसकी प्राथमिकता बदल जाती है, और अपेक्षित प्रभाव और उत्तर देने के समय के बीच यह तालमेल रोडमैप के मुख्य इनपुट में से एक है। कम ट्रैफ़िक वाली साइटों के लिए, यूएक्स ऑडिट यह अक्सर प्रयोगों के बैकलॉग की तुलना में बेहतर परिणाम देता है, क्योंकि यह उन दोषों की पहचान करता है जो इतने गंभीर होते हैं कि उन्हें ठीक करने के लिए सांख्यिकीय प्रमाण की आवश्यकता नहीं होती है।