A/B परीक्षण एक महत्वपूर्ण विधि है जिसका उपयोग वेबसाइटों और अनुप्रयोगों को अनुकूलित करने में किया जाता है, जिससे व्यवसायों को किसी वेबपेज या ऐप के दो संस्करणों की तुलना करने की अनुमति मिलती है ताकि यह निर्धारित किया जा सके कि कौन सा बेहतर प्रदर्शन करता है। A/B परीक्षण में शामिल प्रमुख मीट्रिक और शब्दावली को समझना परिणामों की सटीक व्याख्या करने के लिए आवश्यक है। इस लेख में, हम महत्वपूर्ण A/B परीक्षण मीट्रिक और शब्दावली की जाँच करेंगे, जिसमें शामिल हैं पी-मान, विश्वास अंतराल, एक-तरफा और दो-तरफा परीक्षण, जेड-स्कोर, देखी गई शक्ति, संस्करण, नियंत्रण समूह, वृद्धिशील राजस्व, रूपांतरण दर और बायेसियन गणना.

प्रमुख A/B परीक्षण मीट्रिक्स और शब्दावली

1. प्रकार

वैरिएंट का मतलब A/B टेस्ट में परखे जा रहे वर्जन में से एक होता है। आम तौर पर, मौजूदा वर्जन को कंट्रोल कहा जाता है, और नए वर्जन को वैरिएंट कहा जाता है।

उदाहरण: लैंडिंग पृष्ठ के A/B परीक्षण में, संस्करण A (वर्तमान पृष्ठ) नियंत्रण है, और संस्करण B (नया डिज़ाइन) वैरिएंट है।

2. नियंत्रण समूह

नियंत्रण समूह उपयोगकर्ताओं का वह समूह है जो A/B परीक्षण में मूल संस्करण (नियंत्रण) के संपर्क में आता है। यह वैरिएंट के प्रदर्शन की तुलना करने के लिए आधार रेखा के रूप में कार्य करता है।

उदाहरण: यदि 10,000 उपयोगकर्ता किसी वेबसाइट पर जाते हैं, तो 5,000 को नियंत्रण पृष्ठ (नियंत्रण समूह) दिखाई देगा, तथा 5,000 को भिन्न पृष्ठ दिखाई देगा।

 

वृद्धिशील राजस्व.png
स्रोत: https://getrecast.com/incrementality/

 

3. वृद्धिशील राजस्व

वृद्धिशील राजस्व से तात्पर्य A/B परीक्षण के दौरान किए गए परिवर्तनों के परिणामस्वरूप उत्पन्न अतिरिक्त राजस्व से है। यह परीक्षण के वित्तीय प्रभाव का आकलन करने में मदद करता है।

उदाहरण: यदि वैरिएंट पेज औसत ऑर्डर मूल्य में $5 की वृद्धि करता है और 1,000 अतिरिक्त खरीदारी की जाती है, तो वृद्धिशील राजस्व $5,000 होगा।

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4। रूपांतरण दर

रूपांतरण दर उन उपयोगकर्ताओं का प्रतिशत है जो कुल आगंतुकों में से कोई वांछित कार्य पूरा करते हैं, जैसे खरीदारी करना या न्यूज़लेटर के लिए साइन अप करना।

उदाहरण: यदि 100 में से 1,000 आगंतुक खरीदारी करते हैं, तो रूपांतरण दर 10% है।

5. पी-वैल्यू

पी-वैल्यू इस संभावना को मापता है कि दो भिन्नताओं के बीच देखा गया अंतर संयोग से हुआ है। कम पी-वैल्यू (आमतौर पर 0.05 से कम) यह दर्शाता है कि देखा गया अंतर सांख्यिकीय रूप से महत्वपूर्ण है।

उदाहरण: मान लीजिए कि A/B परीक्षण लैंडिंग पेज के दो संस्करणों की तुलना करता है। संस्करण A की रूपांतरण दर 5% है, और संस्करण B की रूपांतरण दर 7% है। यदि p-मान 0.03 है, तो 3% संभावना है कि देखा गया अंतर संयोग से हुआ है, जो दोनों संस्करणों के बीच एक महत्वपूर्ण अंतर दर्शाता है।

 

विश्वास अंतराल सूत्र.jpg

 

6. विश्वास अंतराल

विश्वास अंतराल एक सीमा प्रदान करता है जिसके भीतर वास्तविक प्रभाव आकार के एक निश्चित स्तर के विश्वास के साथ रहने की उम्मीद की जाती है (आमतौर पर 95%) यह परीक्षण परिणामों की विश्वसनीयता का आकलन करने में मदद करता है।

उदाहरण: उसी A/B परीक्षण में, रूपांतरण दरों में अंतर के लिए 95% विश्वास अंतराल [1%, 3%] हो सकता है। इसका मतलब है कि हम 95% आश्वस्त हैं कि रूपांतरण दरों में वास्तविक अंतर 1% और 3% के बीच है।

7. एकतरफा और दोतरफा परीक्षण

एकतरफा परीक्षण प्रभाव की दिशा का आकलन करता है (उदाहरण के लिए, क्या संस्करण बी संस्करण ए से बेहतर है), जबकि दोतरफा परीक्षण यह आकलन करता है कि क्या दोनों दिशाओं में कोई अंतर है।

एकतरफा परीक्षण उदाहरण: परीक्षण करता है कि क्या संस्करण B की रूपांतरण दर संस्करण A की तुलना में अधिक है।
दो-तरफा परीक्षण उदाहरण: यह परीक्षण करता है कि संस्करण A और संस्करण B की रूपांतरण दरों में कोई अंतर है या नहीं, चाहे दिशा कुछ भी हो।

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. जेड-स्कोर

z-स्कोर मापता है कि कोई तत्व माध्य से कितने मानक विचलन पर है। A/B परीक्षण में, इसका उपयोग दो भिन्नताओं के बीच देखे गए अंतर के महत्व को निर्धारित करने के लिए किया जाता है। सामान्य विश्वास स्तर और उनके z-स्कोर समकक्ष:

  • विश्वास अंतराल 95%
    • दो-तरफा Z-स्कोर: 1.96
    • एकतरफा Z-स्कोर: 1.65
  • विश्वास अंतराल 99%
    • दो-तरफा Z-स्कोर: 2.58
    • एकतरफा Z-स्कोर: 2.33
  • विश्वास अंतराल 90%
    • दो-तरफा Z-स्कोर: 1.64
    • एकतरफा Z-स्कोर: 1.28

उदाहरण: यदि संस्करण A और संस्करण B के बीच रूपांतरण दरों में अंतर के लिए z-स्कोर 2.5 है, तो यह इंगित करता है कि अंतर माध्य से 2.5 मानक विचलन दूर है, जो सांख्यिकीय रूप से महत्वपूर्ण अंतर का सुझाव देता है।

9. अवलोकित शक्ति

प्रेक्षित शक्ति से तात्पर्य उस संभावना से है कि परीक्षण सही प्रभाव होने पर शून्य परिकल्पना को सही ढंग से खारिज कर देता है। उच्च प्रेक्षित शक्ति एक सच्चे अंतर का पता लगाने की उच्च संभावना को इंगित करती है।

उदाहरण: 0.8 (80%) की प्रेक्षित शक्ति वाले ए/बी परीक्षण में, भिन्नताओं के बीच वास्तविक अंतर का पता लगाने की 80% संभावना होती है, यदि कोई अंतर मौजूद हो।

 

bayesian-सूत्र.png
स्रोत: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. बायेसियन गणना

बायेसियन गणना में अतिरिक्त साक्ष्य प्राप्त होने पर परिकल्पना के लिए संभाव्यता अनुमान को अद्यतन करने के लिए बायेस प्रमेय का उपयोग करना शामिल है। A/B परीक्षण में, यह डेटा के आधार पर निर्णय लेने के लिए एक संभाव्य ढांचा प्रदान करता है।

उदाहरण: बायेसियन विधियों का उपयोग करके, आप केवल पारंपरिक पी-मानों पर निर्भर रहने के बजाय, यह संभावना निर्धारित कर सकते हैं कि एक संस्करण, दिए गए प्रेक्षित डेटा के आधार पर नियंत्रण से बेहतर है।

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
स्रोत: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. फ़्रीक्वेंटिस्ट सांख्यिकी

फ़्रीक्वेंटिस्ट सांख्यिकी परिकल्पना परीक्षण में एक पारंपरिक दृष्टिकोण है जो डेटा की आवृत्ति या अनुपात पर ध्यान केंद्रित करता है। यह निश्चित डेटा सेट पर निर्भर करता है और पूर्व ज्ञान या संभाव्यता वितरण को शामिल नहीं करता है।

उदाहरण: ए/बी परीक्षण के लिए फ्रीक्वेंटिस्ट दृष्टिकोण में, आप पूर्व संभावनाओं को शामिल किए बिना, परीक्षण परिणामों की महत्ता निर्धारित करने के लिए पी-मान और विश्वास अंतराल का उपयोग करेंगे।

व्यावहारिक उदाहरण

उदाहरण 1: ईमेल अभियान A/B परीक्षण

एक कंपनी दो ईमेल विषय पंक्तियों का परीक्षण करना चाहती है, ताकि यह देखा जा सके कि कौन सी विषय पंक्ति अधिक खुलने वाली है।

  • विषय पंक्ति A: 25% खुली दर
  • विषय पंक्ति बी: 28% खुली दर
  • पी-मूल्य: 0.02 (महत्वपूर्ण अंतर दर्शाता है)
  • विश्वास अंतराल: [2%, 5%] (95% विश्वास है कि खुली दरों में वास्तविक अंतर 2% और 5% के बीच है)
  • जेड स्कोर: 2.33 (सांख्यिकीय रूप से महत्वपूर्ण अंतर का सुझाव)
  • प्रेक्षित शक्ति: 0.85 (वास्तविक अंतर का पता लगाने की 85% संभावना)
उदाहरण 2: वेबसाइट लैंडिंग पेज A/B परीक्षण

एक ई-कॉमर्स वेबसाइट दो लैंडिंग पेज डिज़ाइन का परीक्षण करती है ताकि यह पता लगाया जा सके कि कौन सा डिज़ाइन अधिक खरीदारी को बढ़ावा देता है।

  • डिजाइन ए: 4% रूपांतरण दर
  • डिजाइन बी: 5% रूपांतरण दर
  • पी-मूल्य: 0.045 (महत्वपूर्ण अंतर दर्शाता है)
  • विश्वास अंतराल: [0.5%, 1.5%] (95% विश्वास है कि रूपांतरण दरों में वास्तविक अंतर 0.5% और 1.5% के बीच है)
  • जेड स्कोर: 2.01 (सांख्यिकीय रूप से महत्वपूर्ण अंतर का सुझाव)
  • प्रेक्षित शक्ति: 0.78 (वास्तविक अंतर का पता लगाने की 78% संभावना)

A / B परीक्षण डिजिटल अनुभवों को अनुकूलित करने के लिए एक शक्तिशाली उपकरण है, और सटीक व्याख्या के लिए इसके प्रमुख मीट्रिक और शब्दावली को समझना महत्वपूर्ण है। स्विटास जानता है कि प्रभावी तरीके से कैसे व्यवहार करना है ए / बी परीक्षणयह सुनिश्चित करता है कि व्यवसाय अपने प्रदर्शन को बढ़ाने के लिए डेटा-संचालित निर्णय ले सकें और विकास और सफलता को बढ़ावा देने वाली विश्वसनीय और कार्रवाई योग्य जानकारी प्रदान कर सकें।