Үлгі коэффициентінің сәйкессіздігі (SRM)

Үлгі коэффициентінің сәйкессіздігі, әдетте қысқартылған SRM, эксперимент нұсқалары арасындағы трафиктің нақты бөлінуі жоспарланған бөлінуден кездейсоқ вариация түсіндіре алмайтын мөлшерден артық ерекшеленгенде пайда болады. Бақылауға 51 200 келуші және нұсқаға 48 800 келуші жеткізетін тең 50/50 бөлуге арналған тест жай ғана сәтсіз болған жоқ; бұл көлемде дұрыс рандомизация кезінде осындай көлемдегі алшақтық статистикалық тұрғыдан мүмкін емес. SRM күтілетін бөлуге қарсы хи-квадрат сынағымен анықталады және оны көрсететін кез келген тест себеп табылғанша жарамсыз деп саналуы керек.

SRM маңызды, себебі ол екі топтың енді салыстыруға келмейтінін білдіреді. Бақыланатын эксперименттің бүкіл логикасы кездейсоқ тағайындауларға негізделген, олар тек қолданылатын өңдеуде ғана ерекшеленеді. Егер қандай да бір жүйелі процесс белгілі бір келушілерді бір топқа бағыттаса немесе келушілерді бір топтан санамас бұрын алып тастаса, онда конверсиядағы кез келген байқалған айырмашылық тексеріліп жатқан өзгерісті емес, сол процесті көрсетуі мүмкін. Хабарланған нәтиже тек дәл емес емес; ол команда өлшейді деп ойлағаннан басқа нәрсені өлшейді.

Себептер статистикалық емес, әрқашан дерлік техникалық болып табылады. Баяу жүктелетін нұсқа коды келушілердің саналмай тұрып кетуіне әкеледі, бұл бір топтан ең аз шыдамды пайдаланушыларды жүйелі түрде алып тастайды. Бағыттауға негізделген тестілер қайта бағыттау кезінде трафикті жоғалтады және шығын құрылғылар немесе қосылу жылдамдығы бойынша біркелкі бөлінбейді. Боттарды сүзу нұсқалар бойынша біркелкі қолданылмаған, бір нұсқаға пропорционалды емес қызмет көрсететін қабаттарды кэштеу, бір нұсқада рендеринг аяқталғанға дейін, бірақ екінші нұсқада аяқталғаннан кейін іске қосылған қоңырауларды бақылау және бір уақытта іске қосылған эксперименттер арасындағы өзара әрекеттесулер SRM тудырады. Мұның әрқайсысы - арақатынасты тексергеніне немесе тексермегеніне қарамастан нәтижелерді бұзатын нақты ақау.

Тиісті жауап - тестті тоқтату, себебін анықтау, оны түзету және нөлден қайта бастау. SRM әсер еткен тестті топтарды қайта өлшеу немесе ішкі жиынды талдау арқылы құтқару әрекеттері сирек қорғалады, себебі жоғалған немесе дұрыс бөлінбеген трафик кездейсоқ жоғалып кетпейді. Үш апталық трафикті тұтынған тестті құтқару инстинкті күшті, әсіресе ол жеңісті көрсеткендей көрінген кезде, бірақ бұзылған рандомизациядан алынған нәтиженің дәлелді құндылығы жоқ және біреуіне негізделген жеткізу мүлдем тестілеуден гөрі нашар.

SRM біреу іздемесе, көрінбейтін болғандықтан, тексеру автоматтандырылуы керек. Жетілдірілген бағдарламалар әрбір экспериментте SRM сынағын стандартты талдау құбырының бөлігі ретінде жүргізеді, қатаң шектен тыс кез келген ауытқуды белгілейді және белгі жойылғанша нәтижелерді жариялаудан бас тартады. Өткен эксперименттердің ретроспективті аудиттері көбінесе тарихи сынақтардың маңызды үлесіне әсер еткенін анықтайды, бұл тестілеу бағдарламасы жасай алатын ең ыңғайсыз жаңалықтардың бірі және ең құндыларының бірі, себебі бұл өткендегі белгілі бір жеңістердің бизнес нәтижелерінде неге ешқашан жүзеге аспағанын түсіндіреді.

Сәйкессіздікті зерттеу іздеу емес, жүйелі процесс. Бірінші қадам - ​​теңгерімсіздіктің тестілеу құралының өз тапсырма жазбаларында немесе тек аналитикалық платформаларда бар-жоғын тексеру, бұл кездейсоқтық мәселесін бақылау мәселесінен ажыратады. Екіншісі - арақатынасты құрылғы, браузер, география және трафик көзі бойынша сегменттеу, себебі себеп көбінесе бір топқа диспропорционалды түрде әсер етеді және ең үлкен ауытқуды көрсететін сегмент әдетте механизмге тікелей нұсқайды. Үшіншісі - уақытты тексеру, себебі бастапқыда дұрыс болып, кейінірек ауытқыған арақатынас көбінесе орналастыруды, кэштеуді өзгертуді немесе тест ортасында енгізілген үшінші тарап скриптін көрсетеді. Әрбір тергеуді құжаттау қайталанатын себептер каталогын жасайды және көптеген ұйымдар оқиғалардың көпшілігіне бірдей екі немесе үш механизм жауапты деп санайды.

Автоматты SRM тексеруін енгізу әдетте ең алғашқы техникалық ұсыныстардың бірі болып табылады CRO қызметі байланыстыру, себебі оны енгізу өте аз шығын әкеледі және бағдарлама кейіннен шығаратын барлық нәрсенің сенімділігін бірден арттырады. SRM нұсқалық көрсету кідірісіне немесе қайта бағыттау кідірісіне байланысты болған кезде, шешім келесідей болады: веб-өнімділік тестілеу құралының өзімен емес, жұмыс істеумен шектеледі, және негізгі жылдамдық мәселесін шешу эксперименттердің жарамдылығын да, олар өлшейтін конверсия жылдамдығын да жақсартады.