आंकड़ों की महत्ता

सांख्यिकीय सार्थकता वह मानक है जिसका उपयोग यह निर्धारित करने के लिए किया जाता है कि किसी प्रयोग में दो समूहों के बीच देखा गया अंतर इतना बड़ा है कि यह केवल संयोग से उत्पन्न होने की संभावना नहीं है। रूपांतरण अनुकूलन के संदर्भ में, यह एक विशिष्ट प्रश्न का उत्तर देता है: यदि नियंत्रण और परिवर्तन समूह आगंतुक व्यवहार पर अपने प्रभाव में वास्तव में समान होते, तो इस आकार के प्रयोग में कितनी बार कम से कम उतना बड़ा अंतर उत्पन्न होता जितना कि मापा गया है? जब यह प्रायिकता पूर्व-निर्धारित सीमा (आमतौर पर 5 प्रतिशत) से कम हो जाती है, तो परिणाम को 95 प्रतिशत विश्वास स्तर पर सांख्यिकीय रूप से सार्थक माना जाता है।

यह अवधारणा इसलिए महत्वपूर्ण है क्योंकि रूपांतरण डेटा में स्वाभाविक रूप से अनिश्चितता होती है। एक ही पृष्ठ के दो समान संस्करण, जिन्हें समान ट्रैफ़िक के दो अलग-अलग हिस्सों को दिखाया जाता है, लगभग कभी भी बिल्कुल समान रूपांतरण दर नहीं देंगे। दैनिक उतार-चढ़ाव, ट्रैफ़िक स्रोत मिश्रण, डिवाइस में अंतर और सामान्य यादृच्छिकता, ये सभी ऐसे स्पष्ट अंतर पैदा करते हैं जिनका कोई अर्थ नहीं होता। महत्व की सीमा निर्धारित किए बिना, टीमें अनिश्चितता के आधार पर बदलाव लागू करती हैं, और परीक्षण कार्यक्रम का समग्र प्रभाव शून्य या नकारात्मक हो जाता है, जबकि इसमें शामिल सभी लोग मानते हैं कि यह काम कर रहा है।

किसी परीक्षण के शुरू होने से पहले ही सार्थकता का निर्धारण किया जाता है, न कि उसके बाद। मानक प्रक्रिया यह है कि सार्थकता स्तर, वांछित सांख्यिकीय शक्ति और पता लगाने योग्य न्यूनतम प्रभाव आकार को निर्धारित किया जाए, फिर आवश्यक नमूना आकार की गणना की जाए और उस नमूना आकार पर परीक्षण चलाया जाए। परिणामों की बार-बार जाँच करना और सीमा पार होते ही परीक्षण रोक देना, गलत सकारात्मक दर को काफी बढ़ा देता है, क्योंकि प्रत्येक अतिरिक्त जाँच यादृच्छिक भिन्नता के सीमा पार करने का एक और अवसर प्रदान करती है। लाइव सार्थकता मान रिपोर्ट करने वाले परीक्षण प्लेटफॉर्म इस गलती को आसानी से होने देते हैं, यही कारण है कि अनुशासित प्रोग्राम पूर्व-पंजीकृत रोक नियम को बाध्यकारी मानते हैं।

एक आम गलत धारणा यह है कि महत्वपूर्ण परिणाम यह साबित करता है कि कोई वेरिएंट बेहतर है, और गैर-महत्वपूर्ण परिणाम यह साबित करता है कि दोनों संस्करण समान हैं। दोनों ही बातें सच नहीं हैं। सार्थकता डेटा की 'कोई अंतर नहीं' की परिकल्पना के साथ अनुकूलता को दर्शाती है; यह प्रभाव के आकार या व्यावसायिक प्रासंगिकता के बारे में कुछ नहीं कहती। बहुत अधिक ट्रैफ़िक वाले परीक्षण में एक प्रतिशत बिंदु के अंश का सांख्यिकीय रूप से महत्वपूर्ण सुधार पाया जा सकता है जो शिपिंग की इंजीनियरिंग लागत के लायक नहीं है। इसके विपरीत, कमज़ोर परीक्षण में गैर-महत्वपूर्ण परिणाम का सीधा सा मतलब है कि प्रयोग में उस प्रभाव का पता लगाने के लिए संवेदनशीलता की कमी थी जो वास्तव में मौजूद हो सकता है। निर्णय के साथ विश्वास अंतराल की रिपोर्टिंग एक बाइनरी लेबल की तुलना में कहीं अधिक उपयोगी तस्वीर प्रदान करती है।

परामर्श कार्य में महत्व वहीं निहित है जहाँ विश्लेषणात्मक सटीकता व्यावसायिक निर्णय से मिलती है। सीआरओ सेवा किसी भी गतिविधि में सांख्यिकीय आदर्श और वास्तविकता के बीच संतुलन बनाना आवश्यक है, क्योंकि अधिकांश वेबसाइटों पर असीमित ट्रैफ़िक नहीं होता है और कोई भी व्यवसाय हर विचार पर निश्चितता के लिए तीन महीने तक प्रतीक्षा नहीं कर सकता है। व्यावहारिक समाधान यह है कि मूल्य निर्धारण, चेकआउट प्रक्रिया या नेविगेशन आर्किटेक्चर जैसे उच्च जोखिम वाले, जिन्हें बदलना मुश्किल हो, परिवर्तनों के लिए सख्त सीमाएँ निर्धारित की जाएँ, और कम जोखिम वाले कॉपी और लेआउट परिवर्तनों पर त्वरित, कम आत्मविश्वास वाले निर्णय लिए जाएँ, जहाँ गलती की लागत कम हो और जिसे सुधारा जा सके। यह समायोजन एक सांख्यिकीय निर्णय के बजाय एक रणनीतिक निर्णय है, और इसे आमतौर पर किसी भी व्यवसाय की योजना के चरण के दौरान निर्धारित किया जाता है। रूपांतरण दर अनुकूलन प्राथमिक और सुरक्षा उपायों की परिभाषा के साथ-साथ कार्यक्रम।

इस क्षेत्र में नई टीमों के लिए एक उपयोगी तरीका यह है कि प्लेटफ़ॉर्म के परिणामों पर भरोसा करने से पहले A/A परीक्षण करें। दो समान संस्करणों के बीच ट्रैफ़िक को विभाजित करने से स्वाभाविक रूप से कोई खास अंतर नहीं दिखना चाहिए, और दो-तीन हफ़्तों तक टूल द्वारा दी गई रिपोर्ट को देखना उपयोगी होता है। टीमें अक्सर पाती हैं कि परीक्षण के दौरान किसी समय उनका प्लेटफ़ॉर्म दो समान पेजों में से किसी एक को विजेता घोषित कर देता है, जो कि शून्य परिणाम की बार-बार जाँच करने से पहले ही पता चल जाता है, और अपने ट्रैफ़िक के साथ ऐसा होते देखना अंतर्निहित आंकड़ों की किसी भी व्याख्या से कहीं अधिक विश्वसनीय होता है। इस अभ्यास से उपकरण संबंधी समस्याएं भी सामने आती हैं, जिनमें असमान ट्रैफ़िक आवंटन, अलग-अलग संस्करणों में अलग-अलग तरह से काम करने वाली ट्रैकिंग और लगातार फ़िल्टर न होने वाला बॉट ट्रैफ़िक शामिल हैं, जो अन्यथा अदृश्य रहते हुए हर आगामी प्रयोग को प्रभावित कर सकते हैं।

इस क्षेत्र में परिपक्व होने वाली टीमें यह पूछना बंद कर देती हैं कि कोई परिणाम महत्वपूर्ण है या नहीं, और इसके बजाय यह पूछना शुरू कर देती हैं कि साक्ष्य किस निर्णय का समर्थन करते हैं। वे प्रभाव के आकार और अंतराल को दर्ज करती हैं, वे इस बात का हिसाब रखती हैं कि पिछली महत्वपूर्ण जीतें पुनर्मूल्यांकन के समय कितनी बार बरकरार रहीं, और वे प्रत्येक प्रयोग को अपने ग्राहकों के बारे में ज्ञान के संचय में एक योगदान के रूप में देखती हैं, न कि एक बार दिए गए और फिर कभी न देखे गए निर्णय के रूप में।