Көптеген A/B тесттері бір келуші көрмей тұрып сәтсіздікке ұшырайды. Гипотеза әлсіз болғандықтан немесе дизайн нашар болғандықтан емес, ешкім тесттің жауап бере алатынын немесе бере алмайтынын білмегендіктен.
Бұл үлгі таныс. Бір команда нұсқаны жібереді, басқару тақтасын бақылайды, ал он күннен кейін бәсекелестің 6%-ға өскенін, p-мәні 0.14 екенін көреді. Біреу «оң үрдіс байқалады, тағы бір апта күтейік» дейді. Тағы бір апта өтеді. Енді ол 4%-ға өсті, p = 0.09. Тест «бағыт бойынша жеңіс» деп аталып, жіберіледі немесе нәтижесіз деп есептеледі. Қалай болғанда да, үш апталық трафик ешқандай ақпарат бермеді — және бұл нәтиже іске қосылмас бұрын ешкім тексермеген төрт санмен толық анықталды.
Бұл мақала осы төрт сан туралы.
Төрт кіріс
Үлгі көлемі - бұл шешім емес. Ол төрт параметрден тұрады, және әрбір маңызды эксперимент бағдарламасы оларды іске қосқаннан кейін емес, іске қосқанға дейін түзетеді.
| енгізу | Бұл нені білдіреді | Типтік мәні |
|---|---|---|
| Бастапқы конверсия коэффициенті | Сіз тексеріп жатқан метриканың ағымдағы жылдамдығы, тест орындалатын нақты бетте және аудиторияда өлшенеді | Деректеріңіз не айтса да |
| Минималды анықталатын әсер (MDE) | Тесттің таба алуын қалайтын ең кіші өзгеріс | 5–20% салыстырмалы, трафикке байланысты |
| Маңыздылық деңгейі (α) | Шынайы емес жеңімпазды жариялауға деген төзімділігіңіз | 0.05 |
| Статистикалық қуат (1−β) | Сіздің әсерді анықтау ықтималдығыңыз is шын | 0.80 |
Калькуляторға сол төртеуін беріңіз, сонда ол келушілерге қажетті мәнді қайтарады әр нұсқа үшін. Біздің тегін A/B тест калькуляторы дәл осылай істейді және шамамен отыз секунд уақыт алады — мәселе осында. Командалардың бұл қадамды өткізіп жіберуінің себебі оның қиындығында емес. Жауап көбінесе жағымсыз болады.
MDE - әркім қате жіберетін кіріс
Минималды анықталатын әсер - ең көп зиян келтіретін параметр, себебі оның атауы оның жоқ екенін көрсетеді.
MDE дегеніміз емес сіз күткен көтерілу. Бұл болжам, мақсат немесе болжам емес. Бұл анықталу шегі: сіздің тестіңіздің ең аз шынайы әсерінің анықталу мүмкіндігі 80% құрайды. MDE мәнін 5%-ға қойыңыз, сонда сіз «егер нақты жақсару 5%-дан аз болса, мен бұл тест оны жіберіп алуы мүмкін екенін мойындаймын» дейсіз.
Екі салдары бар, және екеуі де маңызды.
Тест тек сіз таңдаған сұраққа ғана жауап бере алады. Егер сіз 20% MDE өлшемін таңдасаңыз және шынайы әсер 7% болса, тест «айтарлықтай айырмашылық жоқ» дегенді қайтаруы мүмкін. Бұл нұсқаның ештеңе істемейтінінің дәлелі емес. Бұл сіздің тестіңіздің сол өлшемдегі әсерлерді көре алмағанының дәлелі — мүлдем басқа тұжырым және командалар оны үнемі «біз тексердік, ол жұмыс істемеді» деп қате аударады.
Салыстырмалы және абсолютті MDE бір-бірін алмастыра алмайды. Бастапқы деңгей 2.5%, ал 10% туралы MDE дегеніміз 2.75%-ға жылжуды анықтауды білдіреді — абсолютті 0.25 пайыздық пункт айырмашылығы. Абсолютті пайыздық пункттерді күтетін калькулятор өрісіне 10 санын енгізіңіз және сіз 2.5%-дан 12.5%-ға дейінгі өзгерісті анықтауды сұрадыңыз, сонда құрал сізге 400 келуші келетінін қуана айтады. Калькуляторыңыз қандай конвенцияны қолданатынын тексеріңіз. Бұл бір шатасу біз көріп отырған кез келген басқа қатеге қарағанда көбірек сынақ жоспарларын жарамсыз етеді.
Жұмыс істеген мысал
Электрондық коммерция клиенті өнімнің жаңа егжей-тегжейлі бетінің орналасуын тексергісі келеді. Сол беттегі бастапқы конверсия 2.5% құрайды. Олар 10% салыстырмалы жақсаруды — 2.75%-ға дейін жылжуды анықтағысы келеді.
α = 0.05 және 80% қуат кезінде талап шамамен Әр нұсқаға 64 000 келушінемесе барлығы шамамен 128 000.
Бұл бетке айына 40 000 келуші кіреді. Сондықтан тесттің өзі арналған үлгі көлеміне жетуі үшін үш айдан сәл астам уақыт қажет.
Бұл әңгімені өзгертетін сан. Үш ай мүмкін емес болғандықтан емес, енді бұл шешім ашық түрде қабылданып жатқандықтан — іске қосылмас бұрын, ымыраға келулер көрініп тұрғандықтан — 21-ші күні анықталған баяу көңілсіздік емес.
Енді бір кірісті өзгертіңіз. Сол бастапқы сызықты сақтаңыз, бірақ 10% орнына 20% салыстырмалы көтеру үшін өлшем:
| MDE (туыстық) | Абсолютті айырмашылық | Әр нұсқа бойынша келушілер саны | Айына 40 мың уақыт |
|---|---|---|---|
| 5% | 0.125 бет | ~ 256,000 | ~ 13 ай |
| 10% | 0.25 бет | ~ 64,000 | ~ 3.2 ай |
| 20% | 0.5 бет | ~ 16,800 | ~ 25 күн |
| 30% | 0.75 бет | ~ 7,700 | ~ 12 күн |
MDE-ді екі есеге бөлу үлгіні шамамен төрт есеге арттырады. Бұл қатынас бұл сандардың ерекшелігі емес — үлгі мөлшері әсер мөлшерінің кері квадратымен масштабталады. Бұл эксперимент дизайны туралы ең пайдалы нәрсе, себебі ол сізге левередждің қай жерде екенін көрсетеді: Өзгерісті үлкейту көбірек трафик жинаудан әлдеқайда арзан.
Түймені екі пиксельге жылжытатын ұялшақ нұсқаға орташа сайт ұсына алмайтын үлгі өлшемі қажет. Бетті қайта құрылымдайтын нұсқаға мүмкіндік бар. Сондықтан абайлап тестілеу бағдарламалары тоқтап қалады - идеялар қате болғандықтан емес, оларды өлшеу тым кішкентай болғандықтан.
Шын мәнінде көлік қозғалысы қай жерде
Арифметикада жасырынған тағы бір рычаг - базалық жылдамдық. Негізгі деңгей жоғарылаған сайын үлгі өлшеміне қойылатын талаптар күрт төмендейді.
Сол 10% салыстырмалы MDE алыңыз, бірақ оны төлемнің жеткізу кезеңінде іске қосыңыз, мұнда келгендердің 40%-ы төлемді жалғастырады:
- Бастапқы 2.5% → Әр нұсқа үшін ~64,000
- Бастапқы 40% → Әр нұсқа үшін ~2,400
Сол MDE, сол сенімділік, сол күш. Жиырма алты есе аз трафик.
Әрине, бұл бетке PDP-ге қарағанда келушілер әлдеқайда аз келеді. Бірақ талап трафикке қарағанда тезірек төмендейді, сондықтан терең воронкалық тестілеулер көбінесе орташа трафикті сайт орындай алатын жалғыз тестілеу болып табылады. Егер сіздің сайт бойынша конверсияңыз 2% болса, басты бетті тексеру бір жылдық міндеттеме, ал төлемді тексеру екі аптаға созылады.
Практикалық нұсқаулық: калькулятор мүмкін емес санды қайтарған кезде, MDE-ді кеңейтпес бұрын, воронканың төменгі жағында сол гипотезаны жоғары базалық деңгеймен салыстыруға болатын бір қадам бар-жоғын тексеріңіз.
Оны өткізіп жібергенде шынымен не дұрыс болмайды
Мұнда екі сәтсіздік режимі бар, ал екіншісі біріншісіне қарағанда әлдеқайда аз белгілі.
Сіз нақты жақсартуларды жіберіп аласыз. Күші жеткіліксіз сынақ шынымен жұмыс істейтін өзгеріс үшін «айтарлықтай айырмашылық жоқ» деген қорытындыға келеді. Команда идеяның нашар болғаны туралы қорытынды жасап, тиімді болатын бағытты таңдамайды. Бұл барлығы білетін сәтсіздік және екеуінің арзанырақ нұсқасы.
Жеңімпаздарыңыз асыра сілтеп жіберілген. Бұл бағдарламаның сандарын тыныш бұзатын нәрсе. Қуаты аз сынақта нәтиже маңыздылық шегін асып түсудің жалғыз жолы - кездейсоқ шу оны жеткілікті түрде итермелеу - бұл сіздің әсерлеріңізді білдіреді. do маңызды деп жариялау шындықтан жүйелі түрде үлкен. Дәреже неғұрлым төмен болса, асыра сілтеу соғұрлым нашар болады.
Сондықтан қуаты төмен бағдарлама жай ғана сәтсіздікке ұшырамайды. Ол жеңімпаздарға толы сынақ журналын жасайды, онда шамадан тыс өсулер болады, содан кейін олар ешқашан жүзеге аспайтын болжамды кіріске жету үшін трафикке көбейтіледі. Алты айдан кейін біреу неге жеңістердің қосындысы жоғарғы жолдағы санда көрсетілмейтінін сұрайды. Әдетте бұл жауап.
Мұны талдау кезінде түзете алмайсыз. Жобалау кезінде оның алдын алу керек.
Барлығы емес, әр нұсқа үшін
Калькулятор шығысы талап етіледі әр қол үшін тесттің. Екі нұсқа санның екі еселенгенін білдіреді. Бұл айқын естіледі және үнемі қате оқылады, әдетте оптимистік бағытта.
Бірнеше нұсқа мәселені екі есе қиындатады. A/B/C/D сынағы үшін бір қолды фигураның төрт есе үлкен үлгісі қажет, және Бақылау нәтижесімен бір мезгілде жүргізілген үш салыстыру кем дегенде бір жалған оң нәтиже алу мүмкіндігін номиналды 5%-дан әлдеқайда жоғарылатады. Мұны түзету талапты қайтадан жоғарылатады.
Көптеген сайттар үшін практикалық ереже: егер сізде артық трафик болмаса, екі қолмен іске қосыңыз. Екі жақты тестті әрең қуаттайтын беттегі төрт жақты тест төрт есе көп оқу емес. Ол нөл есе көп оқу емес, баяуырақ жеткізіледі.
Ұзақтығы бөлек шектеу болып табылады
Үлгі мөлшеріне жету қажет. Бұл жеткіліксіз.
Төрт күнде өз нәтижесін берген сынақ төрт күндік мінез-құлықты сынап көрді. Апта ішіндегі және демалыс күндеріндегі трафик әртүрлі өзгереді. Электрондық коммерцияда жалақы циклдері маңызды. Тест ортасында іске қосылған ақылы науқандар сіздің астыңыздағы аудитория құрамын өзгертеді. Жаңа дизайндар сонымен қатар әлсірейтін жаңалық әсерін тудырады — таныс емес орналасумен ерте қатысу тұрақты күйдегі өнімділіктің тұрақты бағасы емес.
Іріктеме көлемін есептеу мүмкіндік беретініне қарамастан, кем дегенде бір толық апта, жақсырақ екі апта бойы жұмыс істеңіз. Қай шектеу ұзағырақ болса да - іріктеу көлемі немесе бизнес циклі - басымдыққа ие. Әр таңертең тексеріп, сандар жақсы көрінген кезде тоқтаудың орнына, аяқталу күнін алдын ала белгілеңіз, бұл жалған жеңімпаздарды жасаудың бөлек және өте тиімді тәсілі.
Сан мүмкін емес кезде
Кейде шынайы жауап - тестті жүргізу мүмкін емес. Бұл пайдалы ақпарат, және бес ақылға қонымды жауап бар.
Үлкенірек өзгерісті сынап көріңіз. Квадраттық қатынас мұны үлкен айырмашылықпен ең жоғары рычаг нұсқасына айналдырады. Түймені емес, ағынды қайта жобалаңыз.
Жоғары базалық көрсеткішке ауысыңыз. Сатып алудың орнына себетке қосу немесе төлем жасау жазбасымен салыстырыңыз. Әсер мөлшері үлкенірек базамен салыстырылады және үлгі талабы төмендейді. Проксиді өлшеп жатқаныңызды қабылдап, кіріс сілтемесін бөлек тексеріңіз.
Құйғыштың төменгі жағын одан әрі сынап көріңіз, жоғарыдағыдай.
Ұқсас беттерді топтастыру. Бір санаттың орнына барлық санат беттерінде бір тестті орындау қолжетімді трафикті көбейтеді, егер беттер мінез-құлық жағынан бір-біріне ұқсас болса және біріктіруді қорғауға болатын болса.
Тестілеуді тоқтатып, зерттеуді бастаңыз. Егер сайт экспериментті қуаттай алмаса, A/B тестілеуі ол үшін дұрыс емес құрал болып табылады. Қолдануға ыңғайлылықты тестілеу, сессия жазбалары және эвристикалық шолу бұзылған заттарды тезірек және арзанырақ табуға көмектеседі. Сандық валидация кейінірек, өзгерістер өлшенетіндей үлкен болғаннан кейін келеді. Мұнда ұят жоқ — қатаң сезіну үшін әлсіз сынақтарды жүргізу оларды іске қоспағаннан да жаман.
Ұшу алдындағы тексеру тізімі
Кез келген сынақ іске қосылмас бұрын:
- [ ] Тест бүкіл сайт бойынша емес, нақты бетте және аудиторияда өлшенген бастапқы деңгей
- [ ] MDE жазбаша түрде, салыстырмалы немесе абсолютті түрде көрсетілгендей айқын көрсетілген
- [ ] Үлгі өлшемі есептелді әр нұсқа үшін және қол санына көбейтіледі
- [ ] Қолжетімді трафикпен салыстырылатын қажетті ұзақтық — және іске қосу алдында қабылданған жауап
- [ ] Аяқталу күні алдын ала белгіленген
- [ ] Үлгі математикалық есептеулер не айтса да, кем дегенде бір толық бизнес цикл
- [ ] Кездейсоқтық бірлігі талдау бірлігіне сәйкес келеді (келуші деңгейіндегі тапсырма, келуші деңгейіндегі көрсеткіштер)
- [ ] Трафиктің бөлінуі алғашқы сағаттарда тексерілді — 50/50 тесті 53/47 нәтиже берсе, бұл құралдарда ақау бар дегенді білдіреді және нәтижелер табылғанша пайдалануға жарамсыз болады.
Нұсқаны құрастырмас бұрын сандарды іске қосыңыз
Барлық есептеу жарты минутқа созылады және сіз құрастырған нәрсені өзгертеді. Тесттерінің өлшемін алдымен анықтайтын топтар батыл нұсқаларды жасайды, себебі олар ұялшақ нұсқалардың құнын көре алады.
Бастапқы конверсия коэффициентін, анықтағыңыз келетін әсерді және сенімділік пен қуат параметрлерін енгізіңіз. Егер қайтарылатын сан трафиктен көп болса, бұл іске қосуға себеп емес - бұл сізге жоспарды өзгерту керектігін айтатын тест.
Жиі Қойылатын Сұрақтар
A/B тесті үшін қанша келуші қажет? Әмбебап сан жоқ. Ол сіздің базалық конверсия деңгейіңізге, анықтағыңыз келетін ең аз әсерге және таңдалған маңыздылық пен қуат деңгейлеріне байланысты. 2.5% бетті конверсиялау үшін 10% салыстырмалы жақсаруды анықтау үшін әр нұсқаға шамамен 64 000 келуші қажет; 40% конверсиялау үшін дәл сол салыстырмалы әсер үшін шамамен 2,400 келуші қажет.
Анықталатын ең аз әсердің жақсы мәні қандай? Трафигіңіз қолайлы уақыт аралығында қолдай алатын ең төменгі көрсеткіш. Қолжетімді трафиктен және екі-төрт апталық мақсатты ұзақтықтан бастаңыз, содан кейін сәйкес келетін MDE үшін кері есептеңіз. Егер сол MDE сіз тексеріп жатқан өзгерістен үлкен болса, тестті қайта жасаңыз.
Егер сынақ айқын жеңіске жетсе, оны мерзімінен бұрын тоқтата аламын ба? Стандартты бекітілген көкжиек сынағымен емес. Қайта-қайта тексеріп, алғашқы маңызды нәтижені тоқтату жалған оң нәтиже көрсеткішін 5%-дан әлдеқайда жоғары деңгейге көтереді. Егер сізге ерте тоқтату мүмкіндігі қажет болса, оған арналған әдісті - тізбекті тестілеуді немесе Байес құрылымын - пайдаланыңыз және оны іске қосу кезінде емес, іске қосу алдында шешіңіз.
Егер менің тестім үлгі өлшеміне жеткенге дейін маңыздылыққа жетсе ше? Оған күдікпен қараңыз және жоспарланған соңына дейін жүгіре беріңіз. Күшті емес терезедегі алғашқы маңыздылық - бұл көбейтілген, қайталанбайтын жеңімпаздарды тудыратын үлгі.
80% қуат жеткілікті ме? Бұл дәстүрлі әдепкі және бастапқы нүкте болып табылады, бірақ бұл нақты әсерді жіберіп алудың 20% мүмкіндігін қабылдауды білдіреді. Жоғары тәуекелді шешімдер үшін — кассаны қайта жобалау, бағаны өзгерту — 90% қуат қосымша үлгіге тұрарлық. Арзан, қайтымды өзгерістер үшін 80% жеткілікті.
Тестілеу бағдарламаңыз нақты жауаптар шығарып жатқанына сенімді емессіз бе?
Егер сіздің сынақ журналыңыз жоғарғы жолдағы нөмірде ешқашан көрсетілмейтін шағын жеңістерге толы болса, мәселе әдетте талдаудың басында болады. Біз эксперимент бағдарламаларын қарап шығамыз және дизайнның қай жерде сәтсіздікке ұшырағанын анық айтамыз.
