Microsoft-тағы тәжірибелердің шамамен 6%-ы үлгі қатынасының сәйкессіздігін көрсетеді, бұл жылына 10 000 тәжірибе жүргізетін өнімде күніне шамамен бір анықтауға тең (Фабижан және т.б., KDD 2019). Әлдеқайда аз сынақ жүргізетін командалар бұл санды сирек көреді, себебі олардың платформасындағы тексеру трафик көлемінде маңыздылыққа жете алмайды. Тест таза көрінеді, 4% көтерілуді хабарлайды және бәрібір қате.
Бұл нұсқаулық эксперименттің оқу материалын оқып, жіберу туралы шешім қабылдауы керек адамға арналған. Соңында сіз тестіңіздің сәйкессіздікті тексеру үшін жеткілікті үлкен екенін анықтай аласыз, себебін ең жылдам табатын ретпен диагноздың бес тармағын іске қоса аласыз және оқу материалын жарамсыз ететін теңгерімсіздікті сегменттеп, сақтай алатын теңгерімсіздіктен бөле аласыз.
SRM дабылы сізге не айтады
Үлгі коэффициентінің сәйкессіздігі - сіз конфигурациялаған бөліну мен байқаған бөліну арасындағы алшақтық: сіз 50/50 орнаттыңыз және 50.8/49.2 алдыңыз. Стандартты тексеру - экспозиция сандары бойынша Пирсонның хи-квадрат сәйкестік сынағы, екі қолды сынақ үшін бір еркіндік дәрежесі.
Бұл маңызды, себебі пайдаланушыларды жоғалту механизмі сіздің метрикаңызға қатысты ешқашан бейтарап емес. Егер қайта бағыттау нұсқадан баяу қосылымдарды алып тастаса, тірі қалғандар жақсы қосылымдарда болады және олар жақсырақ түрлендіреді. Көтерілу деректерде нақты, ал іс жүзінде жоқ.
Көптеген командалардың бірінші қателесетіні мынау: салалық шегі жоқ. Платформалар бір-бірінен айтарлықтай ерекшеленеді.
| платформа | сынақ | Тулар | Ескерту |
|---|---|---|---|
| AB Tasty | Тізбекті жиілікші (S-SRM) | p <0.01 | Үздіксіз бақылау үшін жасалған, сондықтан қайталанатын көріністер ескеріледі |
| Статистика | Хи-квадрат | p <0.01 | «Егер SRM p-мәні 0.01-ден төмен болса, экспозицияларды теңгерімсіз деп санаймыз» |
| GrowthBook | Хи-квадрат | p <0.001 | Ескерту одан жоғарыда басылады |
| Microsoft (жұмыс иллюстрациясы) | Хи-квадрат | ~1 в 500,000 | n-де 50.2/49.8 бөлінуі мұны қазірдің өзінде жояды |
Екі салдары. Бір платформада белгіленген тест бірдей деректермен екінші платформаға өтеді, сондықтан «біздің құрал бізді ескертпеді» деген сөз таза бөлінудің дәлелі емес. Ал 0.01 шекті мән жүз сау тесттің біреуін белгілейді. Егер сіз үш апталық тест бойынша күн сайын p-мәнін бақыласаңыз, жалған дабылға тәуелді қарапайым тәуелсіз шолу 19% құрайды; шынайы көрсеткіш төмен, себебі қатарынан күндер тығыз корреляцияланған, бірақ ол 1% емес. Сондықтан AB Tasty тізбекті процедураны орындайды. Егер сіздің платформаңыз бекітілген көкжиек хи-квадрат бойынша жұмыс істесе, соңында кумулятивтік сандарға бір рет қараңыз.
Тестіңіз теңгерімсіздікті анықтай алатынын тексеріңіз
50/50 бөлінуі үшін хи-квадрат статистикасы 4n(p̂−0.5)²-ге дейін қарапайымдалады, мұндағы n - жалпы экспозициялар. Оны төңкерсеңіз, чек белгілей алатын ең кіші дисбаланс пайда болады:
| Жалпы әсер ету саны | p < 0.01 кезіндегі ең кіші белгіленген бөліну | p < 0.001 кезінде |
|---|---|---|
| 5,000 | 51.8 / 48.2 | 52.3 / 47.7 |
| 10,000 | 51.3 / 48.7 | 51.6 / 48.4 |
| 30,000 | 50.7 / 49.3 | 51.0 / 49.0 |
| 100,000 | 50.4 / 49.6 | 50.5 / 49.5 |
| 1,000,000 | 50.13 / 49.87 | 50.16 / 49.84 |
Мұны лицензия емес, шектеу ретінде оқыңыз. 10 000 экспозиция кезінде 1.3 ұпайлық теңгерімсіздіктен кіші кез келген нәрсе тексеруге көрінбейді, ал 1.3 ұпайлық таңдау әсері конверсияның шағын көтерілуін жасау үшін жеткілікті. Бұл аймақтың көп бөлігіндегі құрылымдық мәселе. Түркия 2025 жылы шамамен 634 000 бизнесте шамамен 6 миллиард электрондық коммерция транзакциясын тіркеді (Сауда министрлігі, 2026 жылғы 12 мамыр), жылына орта есеппен 9,500-ге жуық, және бұл орташа көрсеткіш бірнеше нарықта қатты өседі. Кассалық қадамды тексеретін орта нарықтағы дүкен миллиондаған емес, ондаған мың экспозициямен жұмыс істейді, сондықтан оның SRM тексеруі үлкен бұзылуды анықтайды және одан да жасырын ештеңені анықтамайды.
Мұндай көлемде дабылға сенбеңіз. Шикі экспозиция сандарын күн бойынша және сегменттер бойынша өзіңіз есептеңіз және p-мәні ерекше болмаса да, бір бағыттағы тұрақты ауытқуды күдікті деп санаңыз. Егер сіз платформаңыз бұл сандарды қай жерде көрсететініне сенімді болмасаңыз, SRM тексерушісінің құжаттамасы оларды құрал бойынша картаға түсіреді.
Себебін ең жылдам табатын ретпен бес тармақ
KDD таксономиясы SRM себептерін өмірлік цикл кезеңдері бойынша сұрыптайды: тағайындау, орындау, журналды өңдеу, талдау, кедергі. Оларды басқа ретпен, ең арзан және ең көп таралғанын алдымен диагностикалаңыз.
- Талдау және іске қосу. Белгі: бөлінген жер шикі экспозиция журналында таза және көрсеткіштер картасында бұзылған. Тексеру: триггер шартынсыз, күн сүзгісінсіз және метрикалық деңгейдегі қосылыстарсыз арақатынасты қайта есептеңіз. Егер арақатынас күтілген мәнге оралса, оны растайды. Түзету: кез келген нұсқаға тән мінез-құлық сәйкестікті өзгертпес бұрын, екі қолдағы триггерлеуді бірдей бағалаңыз. Ең көп таралған жалған дабыл, оны жоққа шығару үшін он минут.
- Журналды өңдеу. Белгі: экспозиция саны екі құбыр арасында әртүрлі немесе алшақтық ETL қадамынан кейін пайда болады. Тексеріңіз: сол терезе үшін SDK жағының санын, қойма санын және есеп беру санын салыстырыңыз, содан кейін әр қол үшін бот-сүзгіні алып тастау көрсеткіштерін салыстырыңыз. Қолдар жоғары және төмен қарай тең емес болса, оны растайды. Түзету: детерминирленген және бірдей сүзгілеу. Автоматтандырылған трафик 2026 жылы веб-трафиктің 53%-ына жетті, бұл 2024 жылғы 51%-дан жоғары (Imperva Bad Bot туралы есеп, 2026 жылғы 29 сәуір), сондықтан жүктеу уақытына немесе пайдаланушы-агент әрекетіне негізделген эвристикалық сүзгі әр нұсқа үшін әртүрлі жылдамдықпен алып тастай алады. Келісімге негізделген шығын да осында: қашан
ad_storageқабылданбаса, Google тег платформасы жарнамалық cookie файлдарын орнатуды тоқтатады (Google тег платформасының келісім құжаттары), сондықтан егер бір сынақта бас тарту көрсеткіштері географиялық аймақтар бойынша әртүрлі болса, сол идентификаторларға негізделген кез келген тапсырма пайдаланушыларды біркелкі жоғалтады. - Орындау. Белгі: теңгерімсіздік бет салмағымен артады, мобильді құрылғыда күшейеді немесе орналастырудан басталады. Тексеріңіз: арақатынасты құрылғы, браузер, қосылым түрі және күн бойынша бөліңіз; қолдар арасындағы экспозиция уақытын салыстырыңыз. Егер тапшылық баяу сегменттерге немесе бір браузерге шоғырланса, оны растайды. Түзету: осы жерде қайта бағыттау сынақтары өшеді. Қайта бағыттау тек бір қолға толық навигацияны қосады, ал оның барысында бас тартқан әрбір адам таңдамалы шығынға ұшырайды. Екі нұсқаны да сервер жағында бір URL мекенжайында көрсетіңіз немесе қолдардың салыстыруға келмейтінін қабылдаңыз.
- Тапсырма. Белгі: арақатынас бірінші сағаттан бастап өзгеріп, тұрақты коэффициентпен өзгермейді. Тексеру: сол бөлуде A/A іске қосыңыз және хэш тұзының осы популяциядағы бұрынғы эксперименттен қайта пайдаланылмағанын тексеріңіз. Егер A/A да теңгерімсіздікті көрсетсе, оны растайды. Түзету: жаңа тұзбен қайта тағайындап, қайта іске қосыңыз. Алдыңғы сынақтан қалған нәтиже - бұл тыныш нұсқа, және оны тек A/A ғана ашады.
- Кедергі. Белгі: теңгерімсіздік жоғары белсенділіктегі идентификаторлардың аз санында немесе ішкі IP диапазондарында шоғырланған. Тексеріңіз: әрбір пайдаланушыға шаққандағы экспозиция санының таралуын және оқиға көлемі бойынша идентификаторлардың жоғарғы 1%-ын. Егер оларды алып тастау арақатынасты қалпына келтірсе, оны растайды. Түзету: ішкі және сценарийленген трафикті қолмен емес, құжатталған ереже бойынша алып тастаңыз, сондықтан келесі жолы алып тастау бірдей болады.
Жұмыс барысы туралы нұсқаулық
Төмендегі сандар клиент деректері емес, иллюстрациялық болып табылады. Кассалық тест 61 480 бақылау және 58 520 нұсқа экспозициясын хабарлайды: 120 000 пайдаланушыда 51.2/48.8, хи-квадрат p 0.001-ден төмен. 1-тармақ: триггер шартын алып тастау 60 020/59 980 қайтарады, сондықтан тағайындау жақсы және шығын экспозициядан кейін болады. 2-тармақ: құбыр саны сәйкес келеді, боттарды алып тастау екі жақта да 0.9%. 3-тармақ: жұмыс үстелі 50.1/49.9, мобильді 52.4/47.6 деңгейінде, ал нұсқаның экспозицияға дейінгі орташа уақыты мобильді құрылғыда 900 мс жоғары. Диагноз: нұсқа қосымша көрсетуді бұғаттау сұрауын жібереді, мобильді пайдаланушылар бұл кезде бас тартады, аман қалғандардың байланыстары жақсырақ. Оқу нәтижесі жарамсыз. Түзету өнімділік түзетуі болып табылады және тест қайта орындалады, қайта түсіндірілмейді.
Нені құтқара аласыз және нені құтқара алмайсыз
- Оқуды жарамсыз деп тану шығын механизмі метрикамен ықтимал түрде корреляциялануы мүмкін болған кезде. Әрбір орындау және тағайындау себебі әдепкі бойынша сәйкес келеді.
- Сегмент бойынша құтқару теңгерімсіздік тек сегментпен шектелген кезде ғана сіз оны толығымен алып тастай аласыз, бұл сегмент сіз метриканы қарамас бұрын анықталған, ал қалған бөлігі өзінің SRM тексеруінен өтеді. Үшеуінің екеуі жеткіліксіз.
- Тестті сақтап қойыңыз себебі тек талдауда болған кезде және түзетілген ұпайлар картасы сәтті өткен кезде. Сіз сол деректерді бекітілген сүзгі арқылы қайта оқып жатырсыз, балық аулаумен емес.
- Қалай болғанда да, оны тіркеңіз. Эксперименттегі себеп санатын жазыңыз. Таксономия жиынтық түрде өз нәтижесін береді: егер соңғы он сынақтың үшеуі 3-тармақта сәтсіз аяқталса, сіздің мәселеңіз эксперимент емес, фронтенд жеткізуінде. [ҚАЖЕТТІ ІШКІ ДЕРЕКТЕР: соңғы 24 айда SRM тексеруінен өтпеген Switas жүргізген эксперименттердің үлесі, таксономия тармағы бойынша бөлініп, Microsoft 6% эталонын осы нарықтан алынған көрсеткішпен ауыстырылды]
Бұл қай жерде бұзылады
Бұл ағаш бекітілген, белгілі бөлу және пайдаланушы деңгейіндегі рандомизациясы бар екі қолды тестті болжайды. Ол барлық қолдар бойынша толық хи-квадрат пен қай жұптың өшірілгенін бақылауды немесе күтілетін қатынас сынақ кезінде өзгеретін және жинақталған хи-квадрат мүлдем дұрыс емес тест болып табылатын амплитудаланған бөлуді қажет ететін көп қолды тесттерді қамтымайды. Бұл кластерлік немесе географиялық рандомизацияланған дизайндарға қолданылмайды, мұнда блок пайдаланушы емес және маңызды теңгерімсіздік кластер сипаттамаларында болады. Бұл сіздің метрикалық анықтамаңыздың дұрыс екендігі туралы ештеңе айтпайды. Ал экспозициялар тіркелмегенде және сіз метрикалық оқиғадан тағайындау шығарған кезде көмектесе алмайды, бұл бөлу тексеруі емес, болжам.
FAQ
51/49 қатынасының бөлінуі әрқашан мәселе ме? Бұл толығымен n-ге байланысты. 5,000 экспозицияда бұл кәдімгі шу; 500 000 экспозицияда бұл белгілі бір ақау. Қатынасты белгіленген пайыздық ереже бойынша емес, анықтау кестесі бойынша бағалаңыз.
Қайта жүгірудің орнына қолдың салмағын статистикалық тұрғыдан қайта өлшей аламын ба? Жоқ. Қайта салмақтау сандарды түзетеді және таңдауды өзгеріссіз қалдырады. Жоғалған пайдаланушылар жоғалып кетті және олар кездейсоқ үлгі емес еді.
SRM p-мәнін қаншалықты жиі қарауым керек? Платформаңыз тізбекті процедураны іске қоспаса, бір рет, соңында, жиынтық есептеулер бойынша. Белгіленген көкжиек хи-квадратына күн сайын қарау жалған дабылдарды айтарлықтай арттырады.
SRM қоршау көрсеткіштерін де жарамсыз ете ме? Иә, дәл сол себепті. Егер қолдар әртүрлі популяцияларды ұстаса, жалпақ қоршау қозғалатын негізгі метрикадан гөрі сенімдірек емес.
Егер A/A сынағы да сәйкессіздікті көрсетсе ше? Сонда ақаулық сіздің өңдеуіңізде емес, тағайындауда немесе тіркеу құбырында. Басқа нәрсені іске қоспас бұрын оны түзетіңіз, себебі ол сол платформадағы әрбір сынақты ластайды.
Қайта бағыттау сынақтары әрқашан SRM тудыра ма? Әрқашан емес, бірақ олар басқа ешбір дизайнда жоқ құрылымдық тәуекелге ие, себебі қосымша навигация тек бір қолмен ғана бар. Егер сізге біреуін іске қосу қажет болса, кез келген метриканы оқымас бұрын қосылым жылдамдығы мен құрылғы бойынша қатынасын тексеріңіз.
Менің трафигім тым аз болғандықтан, чек ештеңені білдірмейді. Онда не болады? Тұрақты ауытқуларды анықтау үшін күнделікті шикі экспозиция санын бақылаңыз, тапсырма деңгейінде мерзімді түрде A/A орындаңыз және ақыл-ойдың жай-күйін тексерудің ұзын тізімін алдын ала тіркеңіз. Сіз статистикалық күштің орнына процесті қолданасыз.
Боттарды сүзу тапсырмадан бұрын немесе кейін орындалуы керек пе? Экспозицияны тіркеуден кейін, талдау алдында, екі қолға да бірдей қолданылатын детерминирленген ережелер қолданылады. SDK ішіндегі эвристикалық сүзгілеу сүзгінің өзі сәйкессіздікке қалай айналатынын көрсетеді.
Өзіңіздің эксперимент бағдарламаңызды тексеріңіз
Егер сіз қазір іске қосып жатқан тесттердің бөлініп қалған жұмыс істеу сапасына екінші көз жұмғыңыз келсе немесе олардың барлығы тәуелді болатын тапсырмалар мен тіркеу қабатын шолуды қаласаңыз, біздің мақсатымыз осы. CRO және эксперимент қызметі істейді.
Дереккөздер
- Фабижан, Гупчуп, Гупта, Омховер, Вермеер, Дмитриев, "Онлайн бақыланатын эксперименттердегі үлгі коэффициенттерінің сәйкессіздігін диагностикалау: тәжірибешілерге арналған таксономия және жалпы ережелер", KDD 2019
- AB Тамаша құжаттама, үлгі коэффициентінің сәйкессіздігі (тізбекті S-SRM, шекті мән 0.01)
- Statsig, «Іріктеу коэффициентінің сәйкессіздігіне қысқаша нұсқаулық», 2023 жылғы 31 тамыз (хи-квадрат, шекті мән 0.01)
- GrowthBook құжаттамасы, Тәжірибе жүргізу (хи-квадрат, ескерту 0.001-ден төмен)
- Imperva, «Bad Bot Report 2026: Агенттік дәуірдегі боттар», 29 сәуір 2026 ж.
- Түркия Республикасының Сауда министрлігі, 2025 жылғы электрондық коммерция көрсеткіштері, 2026 жылғы 12 мамыр
- Google тег платформасы, келісім режимі және сақтау әрекеті
- SRM тексерушісінің құжаттамасы және жиі қойылатын сұрақтар, Лукас Вермеер
