उपयोगकर्ता के आधार पर विभाजित न किए जा सकने वाले परिवर्तन का परीक्षण करने के लिए चार डिज़ाइन, और प्रत्येक डिज़ाइन आपको कब गुमराह कर सकता है

उपयोगकर्ता के आधार पर विभाजित न किए जा सकने वाले परिवर्तन का परीक्षण करने के लिए चार डिज़ाइन, और प्रत्येक डिज़ाइन आपको कब गुमराह कर सकता है

राजस्व पर सबसे अधिक प्रभाव डालने वाले कुछ बदलावों को उपयोगकर्ता के आधार पर विभाजित नहीं किया जा सकता है। मुफ़्त शिपिंग की सीमा, मूल्य सूची, कूरियर सेवाओं का संयोजन, रेडियो प्रसारण, रिटर्न के लिए भुगतान करने वाले व्यक्ति में बदलाव: ये या तो सभी पर लागू होते हैं या किसी पर भी नहीं। टीमें आमतौर पर या तो माप को छोड़ देती हैं या पहले और बाद के विश्लेषण को आधार बनाकर अंतर को लाभ मान लेती हैं।

दोनों ही महंगे हैं। एक प्रकाशित भू-प्रयोग केस स्टडी में, मानक अनुपात अनुमानक ने विज्ञापन खर्च पर वृद्धिशील प्रतिफल को [-1.26, 5.69] के 95% अंतराल में रखा; उसी डेटा पर एक ट्रिम किए गए अनुमानक ने [0.25, 1.74] लौटाया।चेन और औ, 2019उनमें से एक में शून्य है और वह आपको कुछ नहीं बताता।

यह गाइड ग्रोथ, सीआरओ और एनालिटिक्स लीड्स के लिए है, जिन्हें हर यूजर के हिसाब से बदलाव को सटीक रूप से मापना होता है, जिसे वे मनमाने ढंग से तय नहीं कर सकते। गाइड के अंत तक आप चार डिज़ाइनों में से चयन कर सकेंगे, यह जान सकेंगे कि प्रत्येक डिज़ाइन को काम करने से पहले क्या-क्या चाहिए, और यह भी जान सकेंगे कि किसी शहर में मांग अधिक होने पर कौन सा डिज़ाइन आपको गुमराह कर सकता है।

चारों डिज़ाइनों को एक-एक वाक्य में समझाएँ।

यादृच्छिक युग्मित भू-प्रयोग (भू-रोधन)। पूर्व-अवधि की प्रतिक्रिया के आधार पर भौगोलिक इकाइयों को उपचार और नियंत्रण समूहों में विभाजित करें, फिर दोनों समूहों की तुलना करें। वेवर और कोहलर (2011) पूर्व-परीक्षण मापदंड के आधार पर भौगोलिक क्षेत्रों को रैंक करें, उस सूची को M आकार के समूहों में विभाजित करें, और उपचार के लिए प्रत्येक समूह से एक भौगोलिक क्षेत्र को यादृच्छिक रूप से चुनें।

स्विचबैक (समय-विभाजन)। इस बदलाव को पूरे व्यवसाय में लागू करें, इसे चरणों में चालू और बंद करें, और चरणों को यादृच्छिक इकाइयों के रूप में मानें। बोजिनोव, सिम्ची-लेवी और झाओ (2023) किसी बदलाव के बाद प्रभाव कितने समय तक बना रहता है, इस बारे में मान्यताओं के आधार पर इष्टतम डिज़ाइन तैयार करना, साथ ही उस प्रभाव की अवधि का अनुमान लगाने का एक डेटा-आधारित तरीका खोजना।

कृत्रिम नियंत्रण। उपचारित बाज़ार के पूर्व-अवधि व्यवहार को ट्रैक करने वाले अनुपचारित बाज़ारों का भारित संयोजन बनाएं, फिर लॉन्च के बाद के अंतर को पढ़ें। यह है अबादी, डायमंड और हैनमुएलर (2010)और मेटा के अंदर का इंजन जियोलिफ्ट.

बाधित समय श्रृंखला। बिना किसी नियंत्रण समूह के, श्रृंखला के संभावित परिणाम का मॉडल तैयार करें और अंतर को पढ़ें। बेयसियन संरचनात्मक समय-श्रृंखला संस्करण इस प्रकार है: ब्रोडरसेन एट अल. (2015)यह चारों में सबसे कमजोर है, और वह है जिसका उपयोग अक्सर अनजाने में किया जाता है: "पिछले महीने से तुलना करें" यह वही डिज़ाइन है जिसमें मॉडलिंग को छोड़ दिया गया है।

आठ मानदंडों पर उनकी तुलना करें

कसौटीभू-अड़चनSwitchbackसिंथेटिक नियंत्रणबाधित समय श्रृंखला
आवश्यक इकाइयाँकई तुलनीय भौगोलिक क्षेत्र (स्रोत उदाहरण: 210 अमेरिकी डीएमए)एक व्यवसाय, कई समय अवधि1-5 उपचारित बाजार और एक दाता समूह (जियोलिफ्ट: 40 शहर)एक श्रृंखला
पूर्व-अवधि डेटाएक छद्म पूर्व-अवधि मिलान परीक्षण की अवधि (उदाहरण में 14 दिन)कैरीओवर का अनुमान लगाने के लिए पर्याप्त इतिहास मौजूद हैGeoLift के उदाहरण में 90 दिनों के दैनिक डेटा का उपयोग किया गया है।लंबा, स्थिर इतिहास
राष्ट्रीय सदमे से उबर गयाहां, इससे दोनों हाथों पर चोट लगती है।नहीं, ब्लॉक के अंदर लगने वाला झटका ही उसका प्रभाव होता है।अधिकतर, यदि दानकर्ता इसे साझा करते हैंनहीं
एक प्रमुख बाजार को सहन करता हैबीमारहाँ, भूगोल अप्रासंगिक है।हां, इसका मुख्य उपयोग यही है।हाँ
रिसाव का जोखिमवास्तविक: सीमा पार खरीदारी, राष्ट्रीय मीडियाकोई भौगोलिक नहीं, उच्च लौकिकवास्तविक, भू-विरोध के समानलागू नहीं होता
यथार्थवादी न्यूनतम पता लगाने योग्य प्रभावपर्याप्त भौगोलिक क्षेत्रों के साथ मध्य एकल अंकछोटा, अगर असर जल्दी होजियोलिफ्ट का डिफ़ॉल्ट पावर ग्रिड 5% से शुरू होता है।आमतौर पर दो अंकों में
अब उपयोगी पठन सामग्री का समय आ गया हैहफ्तों से भी अधिक समय तक प्रतिक्रिया में देरीदिन से सप्ताह तकसप्ताहकई सप्ताह बीत गए, लेकिन कभी कोई निर्णायक निष्कर्ष नहीं निकला।
यह आपको क्या नहीं बता सकतायह प्रति उपयोगकर्ता व्यवहार पर आधारित है; यह किसी व्यक्ति विशेष को ट्रैक नहीं करता है।पुनरावृत्ति दर जैसे धीमी गति से विकसित होने वाले प्रभावफिट एकदम सही है या फिर लगभग बराबर हैक्या इसके अलावा भी कुछ और बदला?

जब हर कोई जीतता है

  • भू-अड़चन जब परिवर्तन को भौगोलिक रूप से लक्षित किया जा सकता है, आपके पास कुछ दर्जन तुलनीय इकाइयाँ होती हैं, और आपको बजट तर्क के लिए एक तर्कसंगत संख्या की आवश्यकता होती है। यह चारों में से एकमात्र ऐसा है जिसमें वास्तविक यादृच्छिकीकरण है, इसलिए यह एकमात्र ऐसा है जो आपको उन पूर्वाग्रहों से बचाता है जिनके बारे में आपने सोचा भी नहीं है।
  • Switchback जब परिवर्तन वैश्विक प्रकृति का हो (जैसे मूल्य निर्धारण नियम, खोज एल्गोरिदम, कूरियर आवंटन) और उसका प्रभाव तुरंत दिखाई दे। यदि प्रभाव दिखने में आपके ब्लॉक की लंबाई से अधिक समय लगता है, तो यह प्रक्रिया विफल हो जाती है।
  • सिंथेटिक नियंत्रण जब आपको केवल एक या दो बाजारों में बदलाव करने का मौका मिलता है, आमतौर पर किसी लॉन्च या नियमन के कारण ऐसा करना पड़ता है। यह अवलोकन पर आधारित है: आप यह दावा कर रहे हैं कि दानदाताओं का समूह उपचारित बाजार का अनुसरण करता, न कि इसे साबित कर रहे हैं।
  • बाधित समय श्रृंखला केवल तभी जब कहीं भी कोई तुलना इकाई मौजूद न हो, तो इसे एक अनुमान के रूप में रिपोर्ट किया जाता है जिसमें अन्य स्थानांतरित वस्तुओं की स्पष्ट सूची शामिल होती है।

यदि परिवर्तन अलग-अलग बाजारों में अलग-अलग समय पर लागू होता है, तो आप स्टैगर्ड डिफरेंस-इन-डिफरेंसेस क्षेत्र में हैं, जहां सरल दो-तरफ़ा फिक्स्ड-इफेक्ट्स रिग्रेशन पक्षपाती होता है। एस्टीमेटर्स का उपयोग करें। कैलावे और सैंट'अन्ना (2021).

क्षेत्रीय बाजार संरचना डिफ़ॉल्ट भौगोलिक विभाजन को क्यों तोड़ती है?

भौगोलिक डिज़ाइन यह मानकर चलते हैं कि मांग लगभग समान आकार की कई इकाइयों में फैली हुई है। तुर्की में ऐसा नहीं है। व्यापार मंत्रालय की 2025 ई-कॉमर्स रिपोर्ट के अनुसार, कुल मात्रा 5.94 बिलियन लेनदेन में 4.57 ट्रिलियन TL है, और नवंबर 2025 के अभियान अवधि के लिए बाज़ारों की रिपोर्ट में खरीदार के स्थान के अनुसार इस्तांबुल की मात्रा 31% और विक्रेता के स्थान के अनुसार 67% है।टीसी टिकारेट बाकनलिगी). सीमाओं पर ध्यान दें: एक अभियान माह, केवल बाज़ार। यह सही परिमाण का क्रम है, स्थिर नहीं।

वह संख्या आपके डिजाइन को निर्धारित करती है। 81 प्रांतों में से, लगभग एक तिहाई मांग एक ही प्रांत में होने के कारण, प्रांतों का यादृच्छिक विभाजन काफी हद तक इस बात पर निर्भर करता है कि इस्तांबुल किस पक्ष में आता है। तीन प्रतिक्रियाएं:

  • प्रमुख इकाई को बाहर रखें यादृच्छिकीकरण से प्राप्त परिणामों का अलग से विश्लेषण करें। ऐसा कहें; इससे परिणाम पूरे देश पर लागू होगा, न कि पूरी किताब पर।
  • इसे उप-इकाइयों में विभाजित करें (जिले, कूरियर ज़ोन) इसलिए यह कई इकाइयों का योगदान देता है। यह तभी काम करता है जब प्लेटफ़ॉर्म और एनालिटिक्स दोनों उस स्तर पर लक्षित और रिपोर्ट कर सकें।
  • प्रांतों को रोल अप करें उन सांख्यिकीय क्षेत्रों में जिनका उपयोग आपकी रिपोर्टिंग पहले से ही करती है: तुर्की का आईबीबीएस डुज़े 2, या नट्स-2 यूरोपीय संघ के बाजारों के लिए। संतुलित इकाइयों की संख्या कम होने से असमान इकाइयों की संख्या अधिक हो जाती है।

यही बात उन सभी जगहों पर लागू होती है जहां मांग किसी एक मेट्रो शहर में केंद्रित होती है। अमेरिकी डीएमए के उदाहरणों से लिया गया डिजाइन यहां लागू नहीं होगा।

एक उदाहरण: मुफ़्त शिपिंग की सीमा को स्थानांतरित करना

  1. पहले निर्णय लिख लें। "यदि प्रति सत्र योगदान मार्जिन 2% से अधिक नहीं गिरता है, तो हम इसे लागू कर देंगे।" एक ऐसा डिज़ाइन जो 2% का पता नहीं लगा सकता, वह गलत डिज़ाइन है, और अब आप इसे बनाने से पहले ही यह जान चुके हैं।
  2. अपनी इकाइयों की गिनती करें। इस्तांबुल को छोड़कर और न्यूनतम मात्रा से नीचे के प्रांतों को मिलाने के बाद, मान लीजिए कि 24 उपयोगी क्षेत्र शेष रहते हैं। 2% प्रभाव पर युग्मित भू-परीक्षण के लिए यह संख्या बहुत कम है। यही उत्तर है, कोई झटका नहीं।
  3. स्विच डिजाइन। थ्रेशहोल्ड एक मूल्य निर्धारण नियम है, इसलिए स्विचबैक उपयुक्त है: इसे आठ ब्लॉकों में साप्ताहिक रूप से साइट-व्यापी रूप से बारी-बारी से लागू करें, प्रत्येक स्विच के बाद बास्केट आकार को स्थिर होने में लगने वाले समय के आधार पर कैरीओवर का अनुमान लगाएं।
  4. रेलिंग का नाम बताइए। ऑर्डर दर और औसत बास्केट मूल्य विपरीत दिशाओं में बढ़ेंगे। लॉन्च से पहले प्राथमिक मीट्रिक चुनें, बाद में नहीं।
  5. अनुसूची में गड़बड़ी की जांच करें। यदि कोई चुनावी सप्ताह किसी ब्लॉक के भीतर आता है, तो वह ब्लॉक दूषित हो जाता है। इसके आसपास मॉडल बनाने के बजाय इसे हटा दें।
  6. पहले पाइपलाइन की जांच कर लें। एक दिवसीय पायलट प्रोजेक्ट के माध्यम से पुष्टि करें कि प्लेटफ़ॉर्म और एनालिटिक्स दोनों चयनित स्तर पर लक्षित और रिपोर्ट करते हैं, और प्रतिक्रिया अंतराल द्वारा परिवर्तन से परे माप विंडो का विस्तार करें।

[आंतरिक डेटा की आवश्यकता: किसी प्रतिनिधि ई-कॉमर्स ग्राहक के लिए प्रांतवार ऑर्डर वॉल्यूम का स्विटास का अपना वितरण, ताकि "24 उपयोग योग्य क्षेत्रों" को वास्तविक संख्या और वॉल्यूम फ्लोर से प्रतिस्थापित किया जा सके।]

जहां यह टूट जाता है

इनमें से कोई भी डिज़ाइन प्रति-उपयोगकर्ता प्रभाव को नहीं मापता है। ये डिज़ाइन किसी बाज़ार या समय अवधि में होने वाले प्रभाव को मापते हैं। यदि प्रश्न यह है कि "किस वर्ग ने प्रतिक्रिया दी", तो भौगोलिक डिज़ाइन इसका उत्तर नहीं दे सकता, और किसी को भी एक ही डिज़ाइन से विभाजित किए गए किसी अन्य वर्ग को नहीं पढ़ना चाहिए।

स्विचबैक अनुमान कैरीओवर धारणा पर निर्भर करता है, और मूल शोध पत्र में स्पष्ट रूप से कहा गया है कि कैरीओवर क्रम को गलत तरीके से निर्दिष्ट करने से परिणाम खराब हो जाता है। यदि आप इसे इतिहास से अनुमानित नहीं कर सकते, तो आप केवल अनुमान लगा रहे हैं।

सिंथेटिक कंट्रोल में कोई रैंडमाइजेशन नहीं होता, इसलिए इसकी वैधता पूरी तरह से प्री-पीरियड फिट पर निर्भर करती है, और अच्छा फिट होना जरूरी है, पर्याप्त नहीं। जियोलिफ्ट के डॉक्यूमेंटेशन में बताया गया है कि इसका स्केल्ड L2 असंतुलन मेट्रिक अलग-अलग KPI या अवधियों की संख्या के आधार पर तुलनीय नहीं है, इसलिए एक अध्ययन में संतोषजनक परिणाम दूसरे अध्ययन में कोई मायने नहीं रखता। उसी डॉक्यूमेंटेशन में यह भी कहा गया है कि जियोलिफ्ट "मेटा प्रोडक्ट नहीं है। केवल अनुसंधान उद्देश्यों के लिए।"

सभी जियो डिज़ाइन सटीक जियो-टारगेटिंग और सीमित सीमा-पार आवागमन को मानकर चलते हैं। सीमा-पार खरीदारी, वीपीएन का उपयोग और राष्ट्रीय प्रसारण इस सिद्धांत का उल्लंघन करते हैं, और इसका कोई स्पष्ट समाधान नहीं है: केवल रिसाव को सीमित करें और ऐसा स्पष्ट रूप से बताएं। यह गाइड उपयोगकर्ता-स्तर के ए/बी परीक्षण या एक साथ चल रहे परीक्षणों के बीच हस्तक्षेप को कवर नहीं करती है।

सामान्य प्रश्न

जियो होल्डआउट टेस्ट के लिए मुझे कितनी जियो यूनिट्स की आवश्यकता होगी?

कोई प्रकाशित न्यूनतम मान नहीं है, और प्राथमिक स्रोत जानबूझकर इसे देने से बचते हैं। वेवर और कोहलर आपके वास्तविक संभावित भू-समूह और परीक्षण अंश के लिए अपेक्षित विश्वास अंतराल की चौड़ाई का अनुकरण करने की सलाह देते हैं। व्यवहार में, उत्तर आमतौर पर "आपके पास मौजूद मान से अधिक" होता है, यही कारण है कि स्विचबैक और सिंथेटिक नियंत्रण मौजूद हैं।

क्या मैं इस महीने की तुलना पिछले महीने से कर सकता हूँ?

यह मॉडलिंग को छोड़कर बाधित समय श्रृंखला है: यह अवधि में होने वाले प्रत्येक मौसमी, प्रतिस्पर्धी और व्यापक बदलाव को आपके परिवर्तन से जोड़ती है। यदि आपके पास केवल यही डेटा उपलब्ध है, तो एक संरचनात्मक समय-श्रृंखला मॉडल का उपयोग करें, किसी बिंदु के बजाय अंतराल की रिपोर्ट करें, और अन्य परिवर्तनों को भी सूचीबद्ध करें।

क्या रैंडमाइजेशन से पहले जियो को स्तरीकृत करना वास्तव में मददगार होता है?

जी हां, निश्चित रूप से। वेवर और कोहलर की रिपोर्ट है कि आवंटन से पहले भौगोलिक क्षेत्रों को आकार के आधार पर समूहित करने से अनियंत्रित यादृच्छिकीकरण की तुलना में विज्ञापन खर्च पर प्रतिफल के लिए विश्वास अंतराल 10% या उससे अधिक कम हो गया। यह लगभग मुफ्त है, इसलिए इसे आजमाएं।

कम लागत वाला अनुमानक स्पष्ट अनुमानक से बेहतर क्यों होगा?

जब आपके पास केवल कुछ दर्जन इकाइयाँ होती हैं, तो भू-स्तरीय डेटा में त्रुटि बहुत अधिक होती है, इसलिए एक भी गलत मिलान वाला जोड़ा अनुमान पर हावी हो सकता है। 50 जोड़ों और लॉग-नॉर्मल भू-आकृतियों के साथ ट्रिम्ड मैच सिमुलेशन में, मानक अनुपात अनुमानक के 20.09 की तुलना में ट्रिम्ड अनुमानक के लिए रूट मीन स्क्वेयर्ड एरर 1.96 था, और शक्ति 16% के मुकाबले 60% थी।

स्विचबैक ब्लॉक की लंबाई कितनी होनी चाहिए?

इतना लंबा कि ब्लॉक समाप्त होने से पहले प्रभाव स्थिर हो जाए, इसलिए इसे सुविधा के बजाय कैरीओवर अवधि के आधार पर निर्धारित किया जाता है। कैरीओवर का अनुमान इस आधार पर लगाएं कि किसी ऐतिहासिक बदलाव के बाद मीट्रिक को स्थिर होने में कितना समय लगता है, फिर ब्लॉक को उससे अधिक लंबा बनाएं। साप्ताहिक ब्लॉक खुदरा क्षेत्र में आम तौर पर उपयोग किए जाते हैं क्योंकि वे सप्ताह के दिनों के प्रभावों को भी समाहित कर लेते हैं।

मैं उस शहर को कैसे संभालूं जिसकी मांग मेरी कुल मांग का एक तिहाई है?

यादृच्छिकीकरण से पहले निर्णय लें: इसे बाहर रखें और निष्कर्ष को शेष देश तक सीमित करें, यदि आपकी रणनीति इसकी अनुमति देती है तो इसे ज़िला या कूरियर-ज़ोन इकाइयों में विभाजित करें, या उस शहर को नियंत्रित बाज़ार मानकर कृत्रिम नियंत्रण का उपयोग करें। तीनों ही विकल्प तर्कसंगत हैं। 81 प्रांतों को समान मानकर यादृच्छिकीकरण करना तर्कसंगत नहीं है।

अपने अगले अप्रमाणित परिवर्तन पर इसे चलाएँ।

अपने अगले अप्रमाणित बदलाव को ऊपर दिए गए आठ मानदंडों के आधार पर परखें और देखें कि कौन सा डिज़ाइन सफल होता है। यदि उत्तर "हमारे पास मौजूद इकाइयों के साथ कोई भी नहीं" है, तो इस पर एक तिमाही खर्च करने से पहले यह जानना महत्वपूर्ण है। सीआरओ और प्रयोग टीम यह कंपनी तुर्की और आसपास के क्षेत्र में ई-कॉमर्स, यात्रा और स्वास्थ्य क्षेत्र के ग्राहकों के लिए इन परीक्षणों को डिजाइन करती है, जिसमें वे मामले भी शामिल हैं जहां उपयोगकर्ता-स्तर पर यादृच्छिकीकरण संभव नहीं है।

[आंतरिक डेटा की आवश्यकता: एक अनाम स्विटास जियो या स्विचबैक परियोजना, जिसमें चयनित डिज़ाइन और परियोजना के समापन का निर्णय शामिल हो।]

सूत्रों का कहना है


इंसी दिंदार
द्वारा लिखित

इंसी दिंदार

सॉफ्टवेयर डेवलपमेंट में अनुभव रखने वाली उन्होंने फिनटेक, मीडिया, ई-कॉमर्स और ट्रैवल सेक्टर में डिजाइन, यूएक्स और प्रोडक्ट टीमों का नेतृत्व किया है। पिछले तीन वर्षों से वह यूएक्स और डिजाइन पर पूर्णकालिक परामर्श दे रही हैं, जिसमें एक वैश्विक प्रबंधन परामर्श कंपनी के लिए बाहरी यूएक्स सलाहकार के रूप में काम करना भी शामिल है, जहां वह ब्रांडों और स्टार्टअप्स को ऑडिट, कन्वर्जन ऑप्टिमाइजेशन और डिजाइन प्रक्रियाओं में मदद करती हैं।


संबंधित आलेख

स्विटास जैसा कि देखा गया

मैग्नीफाई: इंगिन युर्टडाकुल के साथ इन्फ्लुएंसर मार्केटिंग का विस्तार

हमारी माइक्रोसॉफ्ट क्लैरिटी केस स्टडी देखें

हमने Microsoft Clarity को एक ऐसे उत्पाद के रूप में प्रस्तुत किया है जिसे व्यावहारिक, वास्तविक उपयोग के मामलों को ध्यान में रखते हुए उन वास्तविक उत्पाद विशेषज्ञों द्वारा बनाया गया है जो Switas जैसी कंपनियों के सामने आने वाली चुनौतियों को समझते हैं। रेज क्लिक्स और जावास्क्रिप्ट त्रुटि ट्रैकिंग जैसी सुविधाएँ उपयोगकर्ता की परेशानियों और तकनीकी समस्याओं की पहचान करने में अमूल्य साबित हुईं, जिससे लक्षित सुधार संभव हुए जिन्होंने उपयोगकर्ता अनुभव और रूपांतरण दरों पर सीधा प्रभाव डाला।