Егер сіз A/B сынағын күн сайын таңертең тексеріп, оны бақылау тақтасы алғаш рет жасыл түске айналған кезде тоқтатсаңыз, сіздің нақты жалған оң нәтиже көрсеткішіңіз 5% емес. Әрбір бақылаудан кейін модельдеу сынағының маңыздылығында Эван Миллер оны өлшеді. 26.1%, көптеген командалар өздерін сынап жатыр деп санайтын деңгейден бес еседен астам (A/B сынағын қалай өткізбеу керекҚайталанбайтын төрт «жеңістің» бірі статистикалық мәселе емес. Бұл жол картасының мәселесі.
Бұл нұсқаулық электрондық коммерция немесе саяхат трафигі бойынша төрт апта бойы тыныш отыра алмайтын маусымдық сынақтар жүргізетін өсу және CRO топтарына арналған. Соңында сіз іске қосу алдында шолу кестесін жоспарлай аласыз, әрбір шолу үшін шекті мәнді оқи аласыз, жоспарлау шығындарын тудыратын шағын қосымша үлгі үшін сынақ өлшемін жасай аласыз және әдістің қай жерде жарамды болмайтынын анықтай аласыз.
Неліктен қарап шығу бекітілген көкжиек сынағын бұзады
Белгіленген көкжиек сынағы өзінің барлық 5% қателік бюджетін бір рет, алдын ала жарияланған бір үлгі өлшемінде жұмсайды. Әрбір қосымша қарау - шектен шығудың тағы бір мүмкіндігі. Мәселе деректерге қарауда емес; ол бір қарау үшін белгіленген шекті бағамен қарауда. Миллер кестесінде белгілі бір рет қарауды талап етсеңіз, шынайы 5% мөлшерлемені ұстап тұру үшін қажетті хабарланған маңыздылық деңгейі берілген:
| Көріністер саны | Шынайы 5% үшін қажетті маңыздылық туралы хабарланды |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Керісінше: он рет қарасаңыз, 1% маңыздылық шын мәнінде 5% құрайды. Дөрекі, бірақ шынайы. Төмендегі әдістер дәл сол жұмысты тиімдірек атқарады.
Ерте тоқтатудың үш жолы және әрқайсысы сізден қандай ақы алады
| жақындау | Іске қосу алдында түзету | Бекітілген сынақпен салыстырғандағы құны | Қашан пайдаланыңыз |
|---|---|---|---|
| Бекітілген көкжиек | Үлгі көлемі, бір талдау күні | Жоқ, бірақ ерте тоқтауға рұқсат етілмейді | Жол қозғалысы тұрақты, терезе қысқа |
| Топтық тізбек (альфа шығындары) | Қараудың максималды үлгісі, саны және уақыты | Максималды үлгі ~3%-ға (О'Брайен-Флеминг) ~20%-ға (Покок) дейін көтеріледі, 4 рет көрінеді | Үлгі өлшемі бағаланады |
| Әрқашан жарамды (mSPRT) | Ештеңе, принцип бойынша | Бір үлгідегі үшеуінің ішіндегі ең үлкен қуат шығыны | Үлгі өлшемін бағалау мүмкін емес |
Үшінші қатар маңызды, себебі оны көптеген коммерциялық платформалар жеткізеді. Георгий Георгиевтің модельдеуінде топ үшін 7,045 тіркелген максималды үлгідегі бекітілген көкжиек сынағы 83.3% қуатқа жетті, топтық тізбекті AGILE 80% мақсатына жетті, SPRT шамамен 73% және әрқашан жарамды қорытынды 62.4% болды. 80% қуатқа жету үшін әрқашан жарамды қорытынды шамамен қажет. 85%-ға көбірек үлгі топтық тізбекті дизайнға қарағанда (Аналитика құралдары жинағы, 2022 ж.Spotify инженерлері бір-біріне тәуелсіз түрде дәл осындай қорытындыға келді: топтық тізбекті тестілер үлгі өлшемін бағалауға болатын кезде «жүйелі түрде жақсырақ немесе әрқашан жарамды тәсілдермен салыстыруға болады» (Шульцберг және Анкаргрен, 2023 ж.).
Мұны түзетуге тұрарлық, себебі жеткізушінің құрылымы керісінше жұмыс істейді. Optimizely құжаттамасында «экспериментке дейінгі жұмысты, мысалы, экспериментті бастамас бұрын үлгі өлшемін есептеуді өткізіп жіберу» керектігі айтылған (Оңтайлы түрде қолдау көрсету). Қателерді бақылау нақты және негізгі зерттеу сенімді (Джохари және т.б., Әрқашан жарамды қорытынды); құрылымда қуат шоты алынып тасталған. Statsig дәл осы әдістер тобын қолдана отырып, мұны ашық айтады: «Егер сізге әсер мөлшерін дәл өлшеу қажет болса, тәжірибе алдындағы қуат есептеуіңіз бағалайтын толық қуатты күтіңіз» (Статистика құжаттары). «Үлгі көлемі қажет емес» дегенді ешқашан тиімділік емес, жарамдылық туралы тұжырым ретінде оқыңыз.
Әдіс, қадам бойынша
Жұмыс істеген мысал: киім сатушысы кассаны сынақтан өткізді. Бастапқы сессияның конверсиясы 2.4%, мақсатты әсер +10% салыстырмалы (2.64%), екі жақты альфа 5%, қуат 80%, күніне шамамен 5,000 сессия.
1. Ешқашан қарамайтындай етіп өлшемін таңдаңыз
Екі пропорциялы өлшем береді Әр қолға 66 943 сеанс, барлығы 133 886. Бұл сіз ерте тоқтауды жоспарлағаныңыз үшін қосымша шығындар емес; бұл кестенің негізі.
2. Қанша және қашан көрінетінін таңдаңыз
Үш-бес көрініс барлық қолжетімді артықшылықтарды қамтиды; одан басқа, әрбір көрініс аз кіріс әкелу үшін максималды үлгі құнын қосады. Көріністерді туралау тұтас апталар, себебі апта күндеріне арналған кесте бөлшек сауда трафигінің ауытқуының үлкен көзі болып табылады. Күніне 5,000 сессиямен аптасына төрт рет жоспарланған ең жоғары көрсеткішті жабатын 140 000 сессияға жуықтайды.
3. Шығын функциясын таңдап, шекті мәндерді жазыңыз
Альфа шығын функциясы әрбір көріністің 5% бюджеттің қанша бөлігін тұтынатынын, қанша деректер жинақталғанына байланысты анықтайды (Пенн штатының СТАТ 509). Екі классикалық таңдау, төрт бірдей аралықта, екі жақты альфа 0.05:
| іздеу | Жоспарланған үлгінің үлесі | О'Брайен-Флеминг: егер p болса, тоқтаңыз | Покок: егер p болса, тоқтаңыз |
|---|---|---|---|
| 1 (1-аптаның соңы) | 25% | 0.0001 | 0.0179 |
| 2 (2-аптаның соңы) | 50% | 0.0055 | 0.0179 |
| 3 (3-аптаның соңы) | 75% | 0.0216 | 0.0184 |
| 4 (4-аптаның соңы) | 100% | 0.0411 | 0.0188 |
| Максималды үлгі және бекітілген сынақ | + 3% | + 20% |
Бұлар Lan-DeMets шығын функцияларымен есептелді және жарияланған сипаттамаға сәйкес келеді: О'Брайен-Флеминг «басында өте қатаң табалдырықтарды пайдаланады, бірақ соңғы талдау табалдырығы әдеттегі p < 0.05-ке жақын», ал Покок p < 0.016 шамасында тұрақты табалдырықты ұстайды (Чолино, Кайзер және Боннер, 2023 ж.).
O'Brien-Fleming арзан сақтандыру болып табылады: ол 1-ші көріністе ешқашан іске қосылмайды, максималды үлгі шамамен 3%-ға қымбатырақ және оның соңғы шегі 0.05-тен сәл төмен. Pocock әлдеқайда жиі ерте тоқтайды, бірақ 20%-ға көбірек трафик алады. Табысқа байланысты көрсеткіштер үшін әдепкі бойынша O'Brien-Fleming қолданылады.
4. Іске қосу алдында ережені билетке жазыңыз
Тестті тоқтата алатын әрбір адамға көрінетін бір сөйлем: «Біз 1-ден 4-ке дейінгі апталардың соңына қараймыз, егер [негізгі метрика] үшін екі жақты p-мәні сол көріністің шегінен төмен болса ғана жеңімпазды жариялаймыз және әйтпесе 4-аптаға көшеміз». Біреудің басында тұратын ереже ереже емес.
5. Пайдасыздық шекарасын да орнатыңыз
Көптеген командалар тек тиімділік шекараларын ғана енгізеді, сондықтан олар жеңімпаздарды ерте тоқтатады және жеңілгендерге толық ұзындықта жүгіруге мүмкіндік береді, бұл мүмкіндік құнына кері. Міндетті емес пайдасыздық шекарасы - мағыналы жеңіс мүмкін емес болған кезде тоқтау - күнтізбелік үнемдеудің көп бөлігі пайда болатын жер. О'Брайен-Флемингтің төрт рет қаралуымен, нақты әсердегі күтілетін үлгі бекітілген көкжиек талабының шамамен 83%-ына дейін төмендейді.
6. Алғашқы нүктелік бағалауды әсер мөлшері ретінде көрсетпеңіз
Ерте тоқтайтын сынақ тоқтатылды себебі Байқалған көтеру күші әдеттен тыс үлкен болды, сондықтан бағалау құрылысқа байланысты жоғары қарай бағытталған. Оны кіріс болжамы үшін емес, кеме туралы шешім қабылдау үшін пайдаланыңыз. Statsig: "Ерте шешімдер көбінесе жоғары белгісіздікпен төмен қуатты көтеру бағаларын береді."
Іске қосу алдындағы бақылау тізімі
- Іске қосу алдында жазбаша түрде жарияланған бір негізгі көрсеткіш
- Үлгі мен күнтізбенің максималды аяқталу күні бекітілген
- Сан мен уақыт бойынша бекітілген, апталарға сәйкес келетін сияқты
- Шығын функциясы таңдалды, шектік мәндер билетке жазылды
- Тек тиімділік ережесі ғана емес, пайдасыздық ережесі анықталады
- SRM әр көзқараста тексерілді, бұрын p-мәні оқылады
- Қоршау көрсеткіштері тоқтау ережесінен тыс бөлек бақыланады
- Сынақты тоқтата алатын әрбір адам жоспарланбаған көріністерге тыйым салынғанын біледі
Мұны Түркия мен аймақ үшін калибрлеу
Түркия Сауда министрлігінің 2026 жылдың мамыр айында ұсынған электрондық коммерция болжамы есебіне сәйкес, 2025 жылы Түркияда 4.57 триллион лира көлемінде 5.94 миллиард электрондық коммерция транзакциясы тіркелді (Daily Sabah, 2026 жылғы 12 мамырБұл негізінен орташа дүкендерден тұратын үлкен нарық, сондықтан төрт апталық терезелер әдеттегідей — науқанмен соқтығысуға жеткілікті ұзақ.
Қараша айының соңындағы жергілікті жерде Efsane Cuma деп аталатын жеңілдік кезеңі және оған дейінгі 11.11 оқиғасы өзгереді кім сайтта қанша ғана емес. Жеңілдікпен басқарылатын келушілер әртүрлі логика бойынша конверсиялайды, сондықтан науқан шекарасынан өткен кесте бір популяцияны өлшемейді. Біздің ережеміз: науқанға дейін аяқтау немесе одан кейін бастау. Егер сынақ бір сынақ арқылы өтуі керек болса, науқан аптасын оның жеке қабаты ретінде қарастырыңыз және оның ішінде тоқтаусыз шешім қабылдаңыз.
Екінші түзету ЕО бойынша және Түркиядағы KVKK-мен үйлестірілген келісім баннерлеріне қолданылады: егер аналитика келісімге негізделген болса, трафиктің бір бөлігі бақыланбайды. Көлемі мен кестесі байқалды сеанстар немесе әрбір көрініс күнтізбеде көрсетілгеннен кейінірек келеді.
[ҚАЖЕТТІ ІШКІ ДЕРЕКТЕР: Switas электрондық коммерция клиенттері бойынша орташа күнделікті сессиялар және орташа іске асырылған тест ұзақтығы, күніне 5,000 сессияның мысалындағы көрсеткішті нақты үлестіріммен ауыстыру үшін.]
Бұл қай жерде бұзылады
- Құрамның ауытқуы. Тізбекті әдістер кіріс ағынының уақыт өте келе алмастырылатынын болжайды. Науқан немесе ақылы медиа өзгерісі мұны бұзады және ерекше апталардың бірінде ерте құлыптауды тоқтатуға мүмкіндік береді.
- Жаңашылдық және басымдық. 1-апталық көрсеткіш тұрақты мінез-құлықты емес, реакцияны өлшейді. Егер өзгеріс қайта оралған тұтынушыларға көрінсе, 1-ші көзқарасқа ешқандай тиімділік шекарасын қоймаңыз.
- Қатты құйрықты көрсеткіштер. Бір сессиядағы кіріс сирек кездесетін ірі тапсырыстармен басым, ал қалыпты жуықтаулар шағын аралық үлгілерде сенімсіз. Конверсия көрсеткішіне тоқтап, кірісті қатар оқыңыз немесе жеңіске жетіп, солай деп айтыңыз.
- Бірнеше көрсеткіштер. Бұл шекараларды басқару қателігі бір метрика. Бес тоқтату ережесі бар және қосымша түзетусіз бес метрика сізді бастаған жеріңізге қайтарады.
- Сынған аспаптар. Тізбекті тестілеу бұзылған деректер бойынша шекараны сәтті кесіп өтеді. Бұл SRM тексеруінің орнын баса алмайды.
- Мұнда қамтылмаған: Байес тоқтату ережелері, көп қарулы қарақшылар және CUPED сияқты дисперсияны азайту. Әрқайсысы ерте тоқтатумен бөлек өңдеуді қажет ететін жолдармен өзара әрекеттеседі.
FAQ
Бұл бөлімді FAQPage схемасымен белгілеңіз.
Шығын функциясының орнына қатаңырақ p-мәнін қолдана аламын ба?
Иә, егер сіз алдын ала көріністер санын белгілесеңіз және олардың саны аз болса. Миллердің кестесі шекті мәнді көрсетеді. Ол альфа шығындарына қарағанда консервативтірек, сондықтан сіз қажет болғаннан көп үлгі төлейсіз, бірақ оған жаңа құралдар қажет емес.
Тізбектей тестілеу үлгі өлшемін есептеуді өткізіп жіберуге болатынын білдіре ме?
Жоқ. Үлгі өлшемін бағалаусыз жарамдылық сақталады; қуат сақталмайды. Георгиев пен Spotify модельдеулерінің екеуі де бірдей үлгіні көрсетеді: үлгі өлшемін бағалау мүмкін болған кезде, топтық тізбекті дизайн басым болады.
Егер мен жеңіске емес, кері кетуге назар аударсам ше?
Бұл гипотезаны тексеру емес, қоршауларды бақылау. Қауіпсіздік және қателік көрсеткіштерін бөлек, жеңілдетілген ереже бойынша үздіксіз бақылап отырыңыз және негізгі тоқтату ережесіне қол тигізбеңіз. Пайдаланушыларға зиян келтіретін нұсқаны жою үшін ешқандай рәсім қажет емес.
Байес тестілеуі шолудан қорғалған ба?
Жоқ. Постерионерлік ықтималдық шекті мәннен өткен сәтте тоқтату шешім ережесінің жұмыс сипаттамаларын өзгертеді, егер ереже міндетті емес тоқтату үшін жасалмаса. Преоритет мәселенің бар болуын емес, оның пішінін өзгертеді.
О'Брайен-Флеминг пе, әлде Покок па?
О'Брайен-Флеминг барлық дерлік коммерциялық жағдайларда қолданылады. Пококты тек ерте жауап нақты құндылыққа ие болған кезде ғана таңдаңыз, сіз шамамен 20%-ға көбірек максималды үлгіні сіңіре аласыз және біреу 1 апталық нәтиже бойынша жеткізуге дайын болады.
Жоспарламаған көріністі қоса аламын ба?
Альфа шығын функциясымен, иә, егер сіз көргіңіз келетін деректерге байланысты болмаса, қарау туралы шешім қабылданбайды. Басқару тақтасы «ұқсас көрінген» болғандықтан қарауды қосу деректерге тәуелді уақытқа байланысты және кепілдікті жарамсыз етеді.
Бұл мәселеде бізбен бірге жұмыс істеңіз
Егер сіз Түркиядағы немесе аймақтық электрондық коммерция алаңында эксперименттер жүргізсеңіз және бүгін тоқтату ережесі «оны әр таңертең тексеріп отыру» болса, біз оны сізбен бірге қайта құрастырамыз: өлшем, көрініс кестесі, шекаралар, пайдасыздық ережесі және SRM қақпасы, келесі сынақ оны мұра ету үшін эксперимент үлгісіне жазылады. Свитаспен тәжірибе бағдарламаңыз туралы сөйлесіңіз.
Дереккөздер
- Эван Миллер, A/B сынағын қалай өткізбеу керек
- Джохари, Пекелис, Уолш және Кумен, Әрқашан жарамды қорытынды: A/B сынақтарын үздіксіз бақылаужарияланған; Операцияларды зерттеу 70(3), 2022
- Георгий Георгиев, Тізбекті тесттердің статистикалық күшін салыстыру, Analytics-Toolkit, 2022 жылдың қарашасы (2023 жылдың наурыз айында жаңартылған)
- Шульцберг және Анкаргрен, Тізбекті тестілеу құрылымын таңдау, Spotify Engineering, 2023 жылғы наурыз
- Оңтайлы түрде, Статистикалық талдау әдістеріне шолу
- Статсиг, Жиілікті тізбекті тестілеу
- Чолино, Кайзер және Боннер, Клиникалық сынақтардағы аралық талдау әдістері бойынша нұсқаулық, J Clin Transl Science 7(1):e124, 2023 ж.
- Пенн штатының СТАТ 509, Альфа шығын функциясы тәсілі
- әсер ету, Топтық тізбекті шекараларды анықтау
- Түркиядағы электрондық коммерция көлемі 2025 жылы 52%-дан астамға артты, Daily Sabah, 2026 жылғы 12 мамыр, Сауда министрлігінің электрондық коммерцияға қатысты болжам есебі туралы хабарлау
