Çağdaş Polat · · 5 मिनट में पढ़ें
A/B टेस्टिंग वेबसाइट और एप्लिकेशन को ऑप्टिमाइज़ करने की एक अहम विधि है, जिसमें व्यवसाय किसी वेबपेज या ऐप के दो संस्करणों की तुलना करके तय करते हैं कि कौन सा बेहतर प्रदर्शन करता है। परिणामों की सटीक व्याख्या के लिए A/B टेस्टिंग से जुड़े प्रमुख मेट्रिक्स और शब्दावली को समझना आवश्यक है। इस लेख में हम A/B टेस्टिंग के महत्वपूर्ण मेट्रिक्स और शब्दावली का अध्ययन करेंगे, जिनमें शामिल हैं: p-वैल्यू, कॉन्फ़िडेंस इंटरवल, वन-साइडेड और टू-साइडेड टेस्ट, z-स्कोर, ऑब्ज़र्व्ड पावर, वेरिएंट, कंट्रोल ग्रुप, इन्क्रीमेंटल रेवेन्यू, कन्वर्ज़न रेट और बेज़ियन गणना।
A/B टेस्टिंग के प्रमुख मेट्रिक्स और शब्दावली
1. वेरिएंट
वेरिएंट उन संस्करणों में से एक है जिनका A/B टेस्ट में परीक्षण किया जा रहा है। आमतौर पर मौजूदा संस्करण को कंट्रोल कहा जाता है और नया संस्करण वेरिएंट होता है।
उदाहरण: किसी लैंडिंग पेज के A/B टेस्ट में, संस्करण A (मौजूदा पेज) कंट्रोल है और संस्करण B (नया डिज़ाइन) वेरिएंट है।
2. कंट्रोल ग्रुप
कंट्रोल ग्रुप उन यूज़र्स का समूह है जिन्हें A/B टेस्ट में मूल संस्करण (कंट्रोल) दिखाया जाता है। यह वेरिएंट के प्रदर्शन की तुलना के लिए आधार रेखा का काम करता है।
उदाहरण: यदि 10,000 यूज़र किसी वेबसाइट पर आते हैं, तो 5,000 कंट्रोल पेज (कंट्रोल ग्रुप) देख सकते हैं और 5,000 वेरिएंट पेज।

3. इन्क्रीमेंटल रेवेन्यू
इन्क्रीमेंटल रेवेन्यू उस अतिरिक्त राजस्व को कहते हैं जो A/B टेस्ट के दौरान किए गए बदलावों के परिणामस्वरूप पैदा होता है। यह टेस्ट के वित्तीय प्रभाव का आकलन करने में मदद करता है।
उदाहरण: यदि वेरिएंट पेज औसत ऑर्डर वैल्यू को $5 बढ़ाता है और 1,000 अतिरिक्त खरीदारियाँ होती हैं, तो इन्क्रीमेंटल रेवेन्यू $5,000 है।

4. कन्वर्ज़न रेट
कन्वर्ज़न रेट कुल विज़िटर्स में से उन यूज़र्स का प्रतिशत है जो कोई वांछित क्रिया पूरी करते हैं, जैसे खरीदारी करना या न्यूज़लेटर के लिए साइन अप करना।
उदाहरण: यदि 1,000 विज़िटर्स में से 100 खरीदारी करते हैं, तो कन्वर्ज़न रेट 10% है।
5. p-वैल्यू
p-वैल्यू उस संभावना को मापती है कि दो वेरिएशन के बीच देखा गया अंतर संयोग से हुआ। कम p-वैल्यू (आमतौर पर 0.05 से कम) दर्शाती है कि देखा गया अंतर सांख्यिकीय रूप से सार्थक है।
उदाहरण: मान लीजिए एक A/B टेस्ट किसी लैंडिंग पेज के दो संस्करणों की तुलना करता है। संस्करण A का कन्वर्ज़न रेट 5% है और संस्करण B का 7%। यदि p-वैल्यू 0.03 है, तो इस बात की 3% संभावना है कि देखा गया अंतर संयोग से हुआ, जो दोनों संस्करणों के बीच सार्थक अंतर का संकेत है।

6. कॉन्फ़िडेंस इंटरवल
कॉन्फ़िडेंस इंटरवल एक ऐसी सीमा बताता है जिसके भीतर, एक निश्चित विश्वास स्तर (आमतौर पर 95%) के साथ, वास्तविक प्रभाव का आकार होने की अपेक्षा की जाती है। यह टेस्ट परिणामों की विश्वसनीयता आँकने में मदद करता है।
उदाहरण: उसी A/B टेस्ट में कन्वर्ज़न रेट के अंतर के लिए 95% कॉन्फ़िडेंस इंटरवल [1%, 3%] हो सकता है। इसका अर्थ है कि हमें 95% विश्वास है कि कन्वर्ज़न रेट का वास्तविक अंतर 1% और 3% के बीच है।
7. वन-साइडेड और टू-साइडेड टेस्ट
वन-साइडेड टेस्ट प्रभाव की दिशा आँकता है (जैसे, क्या संस्करण B, संस्करण A से बेहतर है), जबकि टू-साइडेड टेस्ट यह आँकता है कि किसी भी दिशा में कोई अंतर है या नहीं।
वन-साइडेड टेस्ट का उदाहरण: जाँचता है कि संस्करण B का कन्वर्ज़न रेट संस्करण A से अधिक है या नहीं।
टू-साइडेड टेस्ट का उदाहरण: जाँचता है कि दिशा की परवाह किए बिना संस्करण A और संस्करण B के कन्वर्ज़न रेट के बीच कोई अंतर है या नहीं।

8. z-स्कोर
z-स्कोर मापता है कि कोई तत्व माध्य से कितने मानक विचलन दूर है। A/B टेस्टिंग में इसका उपयोग दो वेरिएशन के बीच देखे गए अंतर की सार्थकता तय करने के लिए किया जाता है। आम कॉन्फ़िडेंस स्तर और उनके समतुल्य z-स्कोर:
- कॉन्फ़िडेंस इंटरवल 95%
- टू-साइडेड z-स्कोर: 1.96
- वन-साइडेड z-स्कोर: 1.65
- कॉन्फ़िडेंस इंटरवल 99%
- टू-साइडेड z-स्कोर: 2.58
- वन-साइडेड z-स्कोर: 2.33
- कॉन्फ़िडेंस इंटरवल 90%
- टू-साइडेड z-स्कोर: 1.64
- वन-साइडेड z-स्कोर: 1.28
उदाहरण: यदि संस्करण A और संस्करण B के कन्वर्ज़न रेट के अंतर का z-स्कोर 2.5 है, तो इसका अर्थ है कि अंतर माध्य से 2.5 मानक विचलन दूर है, जो सांख्यिकीय रूप से सार्थक अंतर का संकेत देता है।
9. ऑब्ज़र्व्ड पावर
ऑब्ज़र्व्ड पावर उस संभावना को कहते हैं कि वास्तविक प्रभाव होने पर टेस्ट नल हाइपोथेसिस को सही ढंग से अस्वीकार कर दे। अधिक ऑब्ज़र्व्ड पावर का अर्थ है वास्तविक अंतर पकड़ में आने की अधिक संभावना।
उदाहरण: 0.8 (80%) ऑब्ज़र्व्ड पावर वाले A/B टेस्ट में, यदि वेरिएशन के बीच कोई वास्तविक अंतर है तो उसके पकड़ में आने की 80% संभावना होती है।

10. बेज़ियन गणना
बेज़ियन गणना में बेज़ प्रमेय का उपयोग करके किसी परिकल्पना के लिए संभावना का अनुमान तब अपडेट किया जाता है जब अतिरिक्त प्रमाण मिलते हैं। A/B टेस्टिंग में यह डेटा के आधार पर निर्णय लेने के लिए एक संभाव्यतात्मक ढाँचा देता है।
उदाहरण: बेज़ियन तरीकों से आप केवल पारंपरिक p-वैल्यू पर निर्भर रहने के बजाय, देखे गए डेटा के आधार पर यह संभावना निकाल सकते हैं कि कोई वेरिएंट कंट्रोल से बेहतर है।

11. फ़्रीक्वेंटिस्ट सांख्यिकी
फ़्रीक्वेंटिस्ट सांख्यिकी परिकल्पना परीक्षण का एक पारंपरिक तरीका है, जो डेटा की आवृत्ति या अनुपात पर केंद्रित होता है। यह निश्चित डेटा सेट पर निर्भर करती है और पूर्व ज्ञान या प्रायिकता वितरण को शामिल नहीं करती।
उदाहरण: A/B टेस्टिंग के फ़्रीक्वेंटिस्ट तरीके में, आप पूर्व प्रायिकताओं को शामिल किए बिना टेस्ट परिणामों की सार्थकता तय करने के लिए p-वैल्यू और कॉन्फ़िडेंस इंटरवल का उपयोग करेंगे।
व्यावहारिक उदाहरण
उदाहरण 1: ईमेल कैंपेन A/B टेस्ट
एक कंपनी दो ईमेल सब्जेक्ट लाइन का परीक्षण करना चाहती है ताकि देखा जा सके कि किससे ओपन रेट अधिक मिलता है।
- सब्जेक्ट लाइन A: 25% ओपन रेट
- सब्जेक्ट लाइन B: 28% ओपन रेट
- p-वैल्यू: 0.02 (सार्थक अंतर का संकेत)
- कॉन्फ़िडेंस इंटरवल: [2%, 5%] (95% विश्वास कि ओपन रेट का वास्तविक अंतर 2% और 5% के बीच है)
- z-स्कोर: 2.33 (सांख्यिकीय रूप से सार्थक अंतर का संकेत)
- ऑब्ज़र्व्ड पावर: 0.85 (वास्तविक अंतर पकड़ में आने की 85% संभावना)
उदाहरण 2: वेबसाइट लैंडिंग पेज A/B टेस्ट
एक ई-कॉमर्स वेबसाइट दो लैंडिंग पेज डिज़ाइन का परीक्षण करती है ताकि तय हो सके कि किससे अधिक खरीदारियाँ होती हैं।
- डिज़ाइन A: 4% कन्वर्ज़न रेट
- डिज़ाइन B: 5% कन्वर्ज़न रेट
- p-वैल्यू: 0.045 (सार्थक अंतर का संकेत)
- कॉन्फ़िडेंस इंटरवल: [0.5%, 1.5%] (95% विश्वास कि कन्वर्ज़न रेट का वास्तविक अंतर 0.5% और 1.5% के बीच है)
- z-स्कोर: 2.01 (सांख्यिकीय रूप से सार्थक अंतर का संकेत)
- ऑब्ज़र्व्ड पावर: 0.78 (वास्तविक अंतर पकड़ में आने की 78% संभावना)
A/B टेस्टिंग डिजिटल अनुभवों को ऑप्टिमाइज़ करने का एक शक्तिशाली टूल है, और इसके प्रमुख मेट्रिक्स व शब्दावली को समझना सटीक व्याख्या के लिए ज़रूरी है। Switas जानता है कि प्रभावी A/B टेस्ट कैसे किए जाएँ, ताकि व्यवसाय अपने प्रदर्शन को बेहतर बनाने के लिए डेटा-आधारित निर्णय ले सकें, और वह विश्वसनीय व क्रियान्वयन-योग्य इनसाइट्स देता है जो विकास और सफलता को आगे बढ़ाती हैं।




