सांख्यिकीय शक्ति

सांख्यिकीय शक्ति वह संभावना है कि कोई प्रयोग किसी दिए गए आकार के वास्तविक प्रभाव का पता लगा लेगा, यदि वह प्रभाव वास्तव में मौजूद हो। 80 प्रतिशत शक्ति वाला परीक्षण, जो कि सबसे व्यापक रूप से उपयोग किया जाने वाला मानक है, निर्दिष्ट आकार के वास्तविक सुधार को पाँच में से चार बार सही ढंग से पहचान लेगा और शेष एक बार चूक जाएगा। शक्ति, सार्थकता स्तर का प्रतिरूप है: सार्थकता यह नियंत्रित करती है कि परीक्षण कितनी बार गलत संकेत देता है, जबकि शक्ति यह नियंत्रित करती है कि वह कितनी बार गलत संकेत को पहचानने में विफल रहता है।

पावर, महत्व स्तर, बेसलाइन रूपांतरण दर और न्यूनतम पता लगाने योग्य प्रभाव पहले से ही तय कर लिए जाते हैं, और ये सभी मिलकर आवश्यक नमूना आकार निर्धारित करते हैं। पावर की आवश्यकता को 80 से 90 प्रतिशत तक बढ़ाने से आवश्यक ट्रैफ़िक में काफ़ी वृद्धि होती है, यही कारण है कि व्यावसायिक परीक्षण में 80 प्रतिशत डिफ़ॉल्ट मानक बन गया है, जबकि नैदानिक ​​अनुसंधान में उच्च मानक आम हैं। यह चुनाव एक अच्छे विचार को खोने की लागत और उसे खोजने में खर्च होने वाले ट्रैफ़िक की लागत के बीच व्यावसायिक संतुलन को दर्शाता है।

अपर्याप्त परीक्षण, ऑप्टिमाइज़ेशन प्रोग्रामों में सबसे व्यापक और सबसे कम दिखाई देने वाली खामी है। ऐसे परीक्षण जो एक निश्चित कैलेंडर अवधि के लिए चलाए जाते हैं, न कि गणना किए गए नमूना आकार के लिए, डिफ़ॉल्ट रूप से अपर्याप्त होते हैं जब ट्रैफ़िक अनुमान से कम होता है। इसका परिणाम न केवल व्यर्थ प्रयास होता है, बल्कि व्यवस्थित रूप से भ्रामक निष्कर्ष भी निकलते हैं: एक अपर्याप्त प्रोग्राम अनिर्णायक परिणामों की एक श्रृंखला उत्पन्न करता है जिन्हें "कोई प्रभाव नहीं" के रूप में दर्ज किया जाता है, जो समय के साथ यह गलत संस्थागत धारणा पैदा करता है कि परिवर्तनों की एक पूरी श्रेणी मायने नहीं रखती। वास्तविक अवसर खो जाते हैं क्योंकि मापन उपकरण उन्हें देखने के लिए कभी भी पर्याप्त संवेदनशील नहीं था।

इसका एक दूसरा, अधिक गंभीर परिणाम भी है। कमज़ोर प्रदर्शन वाले प्रयोग में, गणितीय रूप से, किसी भी महत्वपूर्ण परिणाम का प्रत्यक्ष प्रभाव दिखना आवश्यक होता है। इससे कार्यक्रम द्वारा रिपोर्ट की गई प्रत्येक सफलता का आकार बढ़ जाता है, जिसे कभी-कभी 'विजेता का अभिशाप' कहा जाता है। इसलिए, कमज़ोर प्रदर्शन वाले परीक्षण चलाने वाला कार्यक्रम कई बड़ी सफलताओं की रिपोर्ट करेगा, लेकिन कार्यान्वयन के समय उनमें से कोई भी रिपोर्ट की गई मात्रा में दोहराई नहीं जाएगी, और अनुमानित और वास्तविक राजस्व के बीच का अंतर ही अंततः इस प्रक्रिया पर विश्वास को नष्ट कर देता है।

पावर बढ़ाने का मतलब हमेशा अधिक ट्रैफिक का इंतजार करना नहीं होता। फ़नल में ऊपर के स्तर पर अधिक बेस रेट वाले मेट्रिक को चुनने से समान संख्या में विज़िटर्स के लिए पावर बढ़ जाती है। कोवेरिएट-एडजस्टेड विश्लेषण का उपयोग करके या परीक्षण को अधिक समरूप ऑडियंस सेगमेंट तक सीमित करके वेरिएंस को कम करने से रनटाइम काफी कम हो सकता है। बड़े अपेक्षित प्रभावों के साथ अधिक साहसिक परिवर्तनों का परीक्षण करने से परीक्षण के लिए आवश्यक प्रभाव का आकार बढ़ जाता है और इसलिए सैंपल की आवश्यकता कम हो जाती है। इनमें से प्रत्येक लॉन्च से पहले लिया गया एक डिज़ाइन निर्णय है, और प्रत्येक उस परीक्षण को आगे बढ़ाने की तुलना में अधिक उत्पादक है जो पहले से ही अनिर्णायक है और जिसके परिणाम बेहतर होने की उम्मीद है।

विचरण में कमी पर आमतौर पर जितना ध्यान दिया जाता है, उससे कहीं अधिक ध्यान देने की आवश्यकता है, क्योंकि यह अधिक ट्रैफ़िक की आवश्यकता के बिना संवेदनशीलता में सुधार करता है। सबसे अच्छी तरह से स्थापित तकनीक प्रत्येक विज़िटर के बारे में प्रयोग-पूर्व डेटा का उपयोग करती है, जैसे कि परीक्षण से पहले के हफ्तों में उनका व्यवहार, विश्लेषण में एक सहचर के रूप में, जिससे उपचार से असंबंधित भिन्नता को दूर किया जा सके। जहाँ ट्रैफ़िक का एक बड़ा हिस्सा इतिहास वाले लौटने वाले विज़िटर होते हैं, वहाँ यह आवश्यक नमूने को सार्थक रूप से कम कर सकता है, जिससे किसी एक परीक्षण में सुधार करने के बजाय पूरे प्रोग्राम का रनटाइम कम हो जाता है। कम परिवर्तनशील मीट्रिक का चयन करने का भी ऐसा ही प्रभाव होता है: बाइनरी रूपांतरण प्रति विज़िटर राजस्व की तुलना में कम शोर वाला होता है, जो बड़ी संख्या में बड़े ऑर्डरों पर हावी होता है, इसलिए रूपांतरण पर आधारित और राजस्व को द्वितीयक माप के रूप में रिपोर्ट करने वाला परीक्षण अक्सर राजस्व पर सीधे आधारित परीक्षण की तुलना में बहुत जल्दी निष्कर्ष पर पहुँच जाता है।

परामर्श प्रथा में, शक्ति विश्लेषण वह चरण है जहाँ परीक्षण का रोडमैप अपनी क्षमताओं के बारे में स्पष्ट हो जाता है। रूपांतरण दर अनुकूलन प्रोग्राम शुरू होने पर, वर्तमान ट्रैफ़िक पर प्राप्त की जा सकने वाली शक्ति की गणना करके क्लाइंट को यह बताया जाता है कि प्रति तिमाही कितने प्रयोग यथार्थवादी हैं और किन प्रश्नों के लिए पूरी तरह से अलग पद्धति की आवश्यकता होगी। जिन साइटों पर गणितीय गणना निरंतर प्रयोग की गति का समर्थन नहीं करती है, वहां आमतौर पर संरचित अनुसंधान और विशेषज्ञ मूल्यांकन अधिक प्रभावी तरीका होता है, जिसे एक यूएक्स ऑडिटप्रयोग केवल उन सीमित संख्या में उच्च-ट्रैफ़िक, उच्च-मूल्य वाले प्रवाहों के लिए आरक्षित हैं जहाँ संख्याएँ काम करती हैं।