A/B टेस्टिंग एक नियंत्रित प्रयोग पद्धति है, जिसका उपयोग किसी वेबपेज, ऐप स्क्रीन, ईमेल या अन्य डिजिटल एसेट के दो या अधिक संस्करणों की तुलना करने के लिए किया जाता है, ताकि यह तय हो सके कि कौन-सा संस्करण किसी तय लक्ष्य, जैसे क्लिक-थ्रू रेट, साइन-अप रेट या प्रति विज़िटर राजस्व, पर बेहतर प्रदर्शन करता है। अपने सरलतम रूप में ट्रैफ़िक को यादृच्छिक ढंग से एक कंट्रोल संस्करण (A) और एक वैरिएंट (B) के बीच बाँटा जाता है, और प्राप्त डेटा पर सांख्यिकीय विश्लेषण लागू किया जाता है, ताकि यह निर्णय लिया जा सके कि प्रदर्शन में दिखा अंतर वास्तविक प्रभाव है या केवल यादृच्छिक उतार-चढ़ाव का नतीजा। यह तकनीक सीधे उस रैंडमाइज़्ड कंट्रोल्ड ट्रायल पद्धति से ली गई है, जिसका उपयोग क्लिनिकल शोध और कृषि विज्ञान में होता है, इसीलिए टेस्ट डिज़ाइन पर चर्चा करते समय प्रैक्टिशनर अक्सर स्टैटिस्टिकल सिग्निफ़िकेंस, कॉन्फ़िडेंस इंटरवल और सैंपल साइज़ की गणना का ज़िक्र करते हैं।
A/B टेस्टिंग इसलिए मायने रखती है क्योंकि यह व्यक्तिगत राय और आंतरिक बहस की जगह इस बारे में ठोस प्रमाण देती है कि असली विज़िटर वास्तव में कैसा व्यवहार करते हैं। डिज़ाइन और मार्केटिंग टीमों में अक्सर इस पर मतभेद रहता है कि कौन-सी हेडलाइन, बटन का रंग, लेआउट या प्राइसिंग स्ट्रक्चर बेहतर कन्वर्ट करेगा, और अंतर्ज्ञान एक बेहद अविश्वसनीय मार्गदर्शक है: ई-कॉमर्स और SaaS साइटों पर हुए अध्ययन बार-बार दिखा चुके हैं कि जिन बदलावों से कन्वर्ज़न रेट बढ़ने की उम्मीद होती है, वे चलाए गए लगभग 80 से 90 प्रतिशत टेस्ट में या तो असर नहीं दिखाते या उसे घटा भी देते हैं। किसी परिकल्पना को असली ऑडियंस के सामने रखकर और नतीजे को सीधे मापकर, A/B टेस्टिंग संगठनों को यह सुविधा देती है कि वे पूर्ण रोलआउट पर इंजीनियरिंग समय, मार्केटिंग बजट या ब्रांड जोखिम लगाने से पहले विचारों को परख या ख़ारिज कर सकें।
एक वैध A/B टेस्ट चलाने के लिए केवल ट्रैफ़िक बाँटकर कन्वर्ज़न की गिनती की तुलना करना काफ़ी नहीं है। विश्लेषक पहले से न्यूनतम सैंपल साइज़ की गणना करते हैं, जो बेसलाइन कन्वर्ज़न रेट, उस न्यूनतम पहचानने योग्य प्रभाव (minimum detectable effect) जो व्यवसाय के लिए मायने रखता है, और वांछित स्टैटिस्टिकल पावर (आमतौर पर 80 प्रतिशत) तथा सिग्निफ़िकेंस लेवल (आमतौर पर 95 प्रतिशत, यानी p-value 0.05 से कम) पर आधारित होती है। टेस्ट आम तौर पर कम से कम एक से दो पूरे बिज़नेस साइकल तक, अक्सर 14 से 30 दिन, चलाए जाते हैं, ताकि सप्ताह के दिनों के असर को ध्यान में रखा जा सके और किसी यादृच्छिक उतार-चढ़ाव पर समय से पहले टेस्ट रोकने की गलती से बचा जा सके, जिसे पीकिंग (peeking) कहा जाता है। VWO, Optimizely और AB Tasty जैसे टूल रैंडमाइज़ेशन, ट्रैकिंग और सांख्यिकीय गणनाएँ संभाल लेते हैं, लेकिन आउटपुट की व्याख्या के लिए सैंपल रेशियो मिसमैच और नवीनता प्रभाव (novelty effect) जैसी अवधारणाओं को समझना फिर भी ज़रूरी है।
एक आम भ्रांति यह है कि किसी एक टेस्ट का सांख्यिकीय रूप से सार्थक नतीजा स्थायी और सार्वभौमिक सत्य होता है। वास्तव में नतीजे उस ट्रैफ़िक सेगमेंट, समयावधि और संदर्भ के लिए विशिष्ट होते हैं जिसमें टेस्ट चला था, और ऑडियंस, मौसम या प्रतिस्पर्धी हालात बदलने पर वे कमज़ोर पड़ सकते हैं या उलट भी सकते हैं। एक और आम चूक है पर्याप्त ट्रैफ़िक के बिना एक साथ बहुत सारे वेरिएबल टेस्ट करना, जिससे ऐसे अंडरपावर्ड टेस्ट बनते हैं जो झूठे पॉज़िटिव दिखाते हैं या सिग्निफ़िकेंस तक पहुँच ही नहीं पाते। मल्टीवेरिएट टेस्टिंग, जो कई तत्वों के संयोजनों को एक साथ परखती है, में एक साधारण दो-वैरिएंट A/B टेस्ट की तुलना में काफ़ी अधिक ट्रैफ़िक चाहिए और यह सैंपल साइज़ की ज़रूरतों से बचने का शॉर्टकट नहीं है।
किसी CRO या UX कंसल्टेंसी एंगेजमेंट में, A/B टेस्टिंग वह माध्यम है जो गुणात्मक रिसर्च, जैसे यूज़र इंटरव्यू, हीटमैप और सेशन रिकॉर्डिंग, को प्रमाणित, राजस्व-प्रभावी निर्णयों में बदलती है। एक सुव्यवस्थित टेस्टिंग प्रोग्राम आमतौर पर एक संरचित प्रक्रिया अपनाता है: डेटा और रिसर्च के ज़रिए किसी फ़्रिक्शन पॉइंट की पहचान करना, यह परिकल्पना बनाना कि वह क्यों है और उसे कैसे ठीक किया जाए, स्कोरिंग फ़्रेमवर्क से उसे अन्य विचारों के मुकाबले प्राथमिकता देना, प्रयोग को सांख्यिकीय वैधता तक चलाना, और वैरिएंट जीता या हारा, इसकी परवाह किए बिना सीख को दर्ज करना। समय के साथ इससे एक प्रमाण-आधारित रोडमैप तैयार होता है, जो महँगे रीडिज़ाइन का जोखिम घटाता है और इस बारे में संस्थागत ज्ञान बनाता है कि किसी विशेष साइट पर ग्राहक व्यवहार को वास्तव में क्या प्रेरित करता है।
A से शुरू होने वाले और शब्द
AARRR पाइरेट मेट्रिक्स (AARRR Pirate Metrics)एबव द फ़ोल्ड (Above the Fold)एक्सेप्टेंस क्राइटेरिया (Acceptance Criteria)एक्सेसिबिलिटी (WCAG अनुपालन)एक्सेसिबिलिटी ऑडिट (Accessibility Audit)एफ़िलिएट मार्केटिंग (Affiliate Marketing)एफ़ोर्डेंस (Affordance)एजाइल डेवलपमेंट (Agile Development)एटॉमिक डिज़ाइन (Atomic Design)एट्रिब्यूशन मॉडलिंग (Attribution Modeling)एट्रिब्यूशन विंडो (Attribution Window)औसत ऑर्डर वैल्यू (AOV)
