Сіздің бағдарламаңыз жеңімпазды айына бір рет хабарлайды. Он екі жеңісті қоссаңыз, жылдық жинақ конверсия өткен жылмен салыстырғанда 18%-ға жоғары болуы керек дейді. Қаржы кіріс пен шығынды қарап, олай емес екенін айтады. Әдетте жинақ қате болады.
Microsoft эксперименттік платформасында тексерілген идеялардың тек үштен бір бөлігі ғана жақсартуға арналған метриканы жақсартты, ал іске қосылғандары дәл жақсы көрінгені үшін таңдалады, бұл арифметиканың ауытқуын білдіреді (Кохави және Лонгботам, 2015 ж.). Ұстап тұру тобы - өлшейтін ең арзан құрал бағдарлама жеке сынақтан гөрі.
Бұл нұсқаулық айына кемінде бір эксперимент жіберетін CRO жетекшілері мен аналитика иелеріне арналған. Соңында сіз бағдарламаңыздың әсерін анықтай алатын күту уақытын өлшей аласыз, ұзақтығы мен талдау терезесін таңдай аласыз және нәтижені көрсетпес бұрын оны жарамсыз ететін сәтсіздік режимдерін тани аласыз.
Ұстап тұрған топ жеңістердің қосындысын қалай өлшейді?
Ұстап қалу – бұл кез келген басқа пайдаланушының ауыспалы тәжірибеде сақталған кездейсоқ таңдалған бөлігі, ал қалғандары әрбір іске қосылған жеңімпазды алады. Бірнеше айдан кейін сіз екі топты салыстырасыз. Айырмашылық – сіз жіберген барлық нәрсенің жинақталған, әлі тірі әсері – бір-біріне тігілген он екі қысқа мерзімді бағалау емес.
Netflix дәл осы құралды пайдаланады, онда «ұзақ мерзімді әсерлерді түсіну, жаңа мүшелердегі ескі болжамдарды қайта тексеру және жиынтық құнды өлшеу» тәсілі ретінде «holdback AB сынақтарын» сипаттайды (Netflix технологиялық блогы).
Неліктен қорытынды тест нәтижелері не болғанын асыра сілтеп көрсетеді
Төрт механизм шындықтан жоғары қосындыны тартады және олар қосылады:
- Жеңімпаздың қарғысы. Сіз тек маңыздылығынан асып түсетін нұсқаларды ғана іске қосасыз, сондықтан іске қосылған жиынтық жоғары шуылмен байытылған. Airbnb-дегі Ли мен Шен бұл таңдау қателігін ресімдеп, түзету жариялады (KDD 2018).
- Жаңалық пен басымдықтың ыдырауы. Қысқа терезелер жаңалыққа реакцияларды көрсетеді. Microsoft News мысалында, жаңа түймедегі бастапқы шертулердің 28%-ға көтерілуі эксперимент терезесінде күн сайын төмендеді (Садеги және т.б., 2022 ж.).
- Өзара әрекеттесу және кірістің төмендеуі. Бір воронка қадамында екі тәуелсіз тексерілген жеңіс көбінесе қосылмайды; олар бірдей шекті пайдаланушы үшін бәсекелеседі.
- Талдаудағы бос орын. Қарап шығу, метрикалық ауыстыру және таңдамалы есеп беру іске қосылған жиынды жоғары қарай жылжытады (Эпп).
Мұның ешқайсысы сіздің тесттеріңіз жалған болғанын білдірмейді. Бұл қосындының болжам емес, жоғарғы шек екенін білдіреді.
Құрастырмас бұрын, бекіткіштің өлшемін өлшеңіз
Бұл қадамды барлығы дерлік өткізіп жібереді, және көптеген ұсталушылар осы жерде өледі. Ұсталушы ұстау - бұл әдейі қиғаш бөлінуі бар екі қолды сынақ, ал дәлдігі кішірек қолмен реттеледі. Қажетті жалпы үлгі масштабтары 1 / (p × (1 − p)), мұндағы p ұстау үлесі болып табылады. Сондықтан 1% ұстау бірдей әсерді көру үшін теңгерімді тесттің шамамен 25 есе трафигін қажет етеді.
Күту кезеңінде қажетті жалпы пайдаланушылар саны, бастапқы конверсия коэффициенті 2%, қуаты 80% және екі жақты маңыздылығы 5% болғанда:
| Ұстап тұру үлесі | Пайдаланушылар +5% салыстырмалы анықтауы керек болды | Пайдаланушылар +10% салыстырмалы анықтауы керек болды |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
Енді мұны жеткізушінің әдепкі параметрлеріне қарсы оқыңыз. Statsig «төмен бір таңбалы ұстап қалу пайызын, мысалы, 1%–2%» деп ұсынады (Статистика5%-дан жоғары оңтайлы түрде ескертеді (ОңтайлыGrowthBook Facebook және X командаларының 5% немесе одан аз жұмыс істейтінін хабарлайды (GrowthBook).
Бұл сандар авторлар үшін дұрыс, ал орта нарықтағы сайттардың көпшілігі үшін қате. Ай сайын 400 000 пайдаланушысы бар аймақтық электрондық коммерция сайты тоқсан ішінде 1.2 миллион жинайды. 1% тұрақтылықта оған шамамен он жыл қажет болады. 10% болғанда, ол әлі де +5% көрсеткішіне жетпейді. 20% болғанда, ол тоқсанда +5% және шамамен бір айда +10% анықтайды. Бөлісуді жеткізушінің әдепкі бойынша емес, трафигіңізден таңдаңыз. Егер шынайы жауап 20% болса, бұл келісімді бизнеспен ашық түрде түсіндіріңіз: пайдаланушылардың бестен бір бөлігі тоқсанның қандай да бір пайдасы бар-жоғын білу үшін тоқсан сайын жаңа мүмкіндіктерді күтеді.
Ұзақтығы мен талдау терезесін таңдаңыз
Statsig күту режимін шығарар алдында үш-алты айға дейін ұсынады; GrowthBook әсерлер тоқтап, қайта қарау терезелері толтырылуы үшін жарты айдан тоқсанға дейінгі белсенді кезеңді, содан кейін екі-төрт апталық талдау кезеңін ұсынады.
Біздің жұмыс ережесі: белсенді кезең - өлшем кестеңіз талап ететіннен және бір толық бизнес циклынан ұзағырақ. Бұл аймақта бұл кем дегенде бір науқан шыңын және бір тұрақты айды қамтуды білдіреді, сондықтан нәтиже тек 11.11-мен шешілмейді. Содан кейін жалаушаларды қатырып, басқару тақтасын ашқанға дейін талдау терезесін күтіңіз.
Құрастыру: дұрыс жасаудың жеті тәсілі
- Кездейсоқ түрде тұрақты, сервер жағындағы пайдаланушы немесе тіркелгі идентификаторыКелісім баннері бұғаттаған немесе пайдаланушы тазалаған cookie файлдары адамдардың қолдарынан ағып кетеді.
- Күтуді тағайындау бір рет, алдыңғы жағында, өлшеу қажет ұшырулардан бұрын. Факттан кейін жасалған ұстап тұру ұстап тұру емес.
- Әрбір іске қосылған жеңімпазды бірдей жалауша жүйесі арқылы бағыттаңыз, сонда "holdout = off" шын мәнінде ескі тәжірибені білдіреді. Statsig іске асыруындағыдай, күтіп тұрған пайдаланушылар әдепкі қақпа және қабат мәндерін алады.
- Анық ұстаңыз алып тастау тізіміҚауіпсіздік түзетулері, заңды және қолжетімділікке сәйкестік жұмыстары және баға өзгерістері барлығына жіберіледі. Әрбір ерекшелікті күнімен құжаттаңыз.
- Екіден төртке дейін таңдаңыз берік көрсеткіштер (пайдаланушыға шаққандағы табыс, ұстап қалу, тапсырыс жиілігі) және негізгі конверсия коэффициенті. Бесінші бөлігін қоспаңыз.
- Өлшенген көтеру күшімен бірге терезеде жеткізілген әрбір өзгерістің күнін жазып, ұшыру журналын жүргізіңіз. Сіз күту уақытын осымен салыстырасыз.
- Инженерге талдау терезесі жабылғанша жалаушалардың код базасында қалуын айтыңыз. Statistics-тен гөрі, жалаушаларды мерзімінен бұрын тазалаудан жиірек өледі.
Нәтижені шынайы оқыңыз
Ұшыру регистріңіздегі ұстап тұрумен өлшенген көтеру күшінің қосынды көтеру күшіне қатынасын есептеңіз. Біздің жұмыс табалдырықтарымыз — жарияланған эталондар емес, бағалау шешімдері:
| Ұстап тұрған көтергіш ÷ қосынды көтергіш | оқу | Action |
|---|---|---|
| ≥ 0.6, интервал нөлді қамтымайды | Бағдарлама шамамен шынайы | Күту нөмірін сырттай хабарлаңыз, ағымдағы болжамды сақтаңыз |
| 0.3 - 0.6 | Таңдау мен өзара әрекеттесуден қалыпты жиырылу | Байқалған коэффициентті болашақ бизнес жағдайларына шаш қию ретінде қолданыңыз |
| < 0.3 немесе интервал нөлді қамтиды | Сома дәлел емес | Қосынды көтеруді цитаталауды тоқтатыңыз; жеңіс критерийлері мен тоқтату ережелерін қайта қарастырыңыз |
| Теріс ұпайлық бағалау | Жеткізілген нәрсе ақшаға тұрып жатыр | Ең үлкен ұшырылымдарды бір-бірлеп кері сынақтан өткізіңіз |
Балама командалардың бірінші кезектегі жұмысына қатысты аймақтық ескерту. Егер сіз күтуді өткізіп жіберіп, осы тоқсанды өткен жылмен салыстыруды жоспарласаңыз, Түркиядағы тұтынушылық бағаның жылдық инфляциясы 2026 жылдың тамыз айында 31.51% құрағанын ескеріңіз (TÜIK көрсеткіштері, 2026 жылдың 3 қыркүйегінде жарияланғанЛирамен есептегенде бір пайдаланушыға шаққандағы табыс бұл қарқынмен кезеңдер бойынша салыстыруға келмейді, және оны төмендету өзіндік болжамдарды қосады. Бір мезгілде кездейсоқтық жасау мұны айналып өтеді: екі тарап та бір экономикада бір күні өмір сүреді.
[ҚАЖЕТТІ ІШКІ ДЕРЕКТЕР: Switas клиентінің мысалы — бағдарлама ұзындығы, трафик шкаласы, қосынды сынақ көтергіштігі мен ұстаумен өлшенген көтергіштігі және пайдаланылған ұстау үлесі.]
Алты тәсілмен ұрыс тыныш үзіледі
- Ластану. Ортақ құрылғылар, жүйеден шыққан сеанстар және идентификаторды қалпына келтіру пайдаланушыларды екі қолмен жылжытады. Кроссоверді өлшеу; шамамен 2%-дан жоғары бағалау сенімді емес.
- Дыбыссыз ағып кету. Белгілеу жүйесінен тыс жіберілген өзгеріс (CDN ережесі, CMS өңдеуі, жаңа үлгі) күтушіге де жетіп, алшақтықты нөлге дейін қысқартады.
- Шығарудың асып кетуі. Әрбір «бұл барлығына бірдей әсер етуі керек» деген шешім сіз өлшеп жатқан нәрседен бірдеңені алып тастайды. Олардың онысын өлшесеңіз, ештеңені өлшемейсіз.
- Үлгі коэффициентінің сәйкессіздігі. Бөліну көзделген үлесінен ауытқиды. Апта сайын тексеріп тұрыңыз; SRM-мен ұстап тұру SRM-мен жасалған кез келген басқа сынақ сияқты жарамсыз.
- Мерзімінен бұрын босату. Optimizely компаниясының жергілікті жаһандық ұстауларын кідірту мүмкін емес, тек аяқтау керек. Мұны ереже ретінде қабылдаңыз: ерте аяқтау уақытты жоғалтады.
- Бірінші күннен бастап күші аз. Ең көп таралған сәтсіздік. 2% күтуден туындаған нөлдік нәтиже сіздің бағдарламаңыз және өлшеміңіз туралы ештеңе айтпайды.
Бұл әдіс қай жерде бұзылады
Күту қай іске қосу оны жасағанын емес, біріктірілген әсердің көлемін көрсетеді. Атрибуция әлі де жеке сынақтарды қажет етеді. Ол барлығына жеткізілуі тиіс ештеңені өлшей алмайды, сондықтан сәйкестік жұмыстары оның сыртында қалады. Бұл сол пайдаланушылардың терезе ішінде оралмайтын нашар сәйкестік және бренд немесе офлайн режимдегі байланыс туралы ештеңе айтпайды. Ай сайын шамамен 100 000 пайдаланушыдан төмен анықталатын және қорғалатын үлес жоқ; бұл шкала бойынша мұқият бақыланатын "алдын-ала" оқулары мен сапалық тексеру шынайы резервтік нұсқа болып табылады, олардың әлсіз жақтары ашық айтылады.
Жиі Қойылатын Сұрақтар
Қорғаушы топ қаншалықты үлкен болуы керек?
Сіз күткен кумулятивті әсерді анықтау үшін жеткілікті үлкен, бұл шартты емес, есептеу. 2% бастапқы деңгейде және +5% салыстырмалы мақсатта 5% ұстаушыға шамамен 3.25 миллион пайдаланушы қажет, ал 20% ұстаушыға шамамен 971 000 пайдаланушы қажет.
Күту қанша уақытқа созылуы керек?
Сатушылар үш айдан алты айға дейінгі белсенді кезеңді және екі-төрт апталық талдау терезесін ұсынады. Терезе кем дегенде бір науқан шыңын және бір қарапайым айды қамтитын шектеуді қосыңыз, сондықтан бір сату оқиғасы нәтижені шешпейді.
Неліктен менің ұстап тұру көтеру күшім сынақтағы жеңістерімнің қосындысынан аз?
Бұл күтілетін нәтиже, қате емес. Жеңімпаздың қарғысы, жаңалықтың төмендеуі, өзгерістер арасындағы өзара әрекеттесу және талдаудың баяулауы - бәрі қосындыны көбейтеді. Ұстап қалу саны шындыққа жақынырақ.
Іске қосқаннан кейін күту режимін жасай аламын ба?
Бұл іске қосулар үшін емес — барлығы оларды бұрыннан алған. Күту тек басталу күнінен бастап шектелген өзгерістерді ғана өлшейді. Сіз келесі екі тоқсан үшін бүгін де біреуін бастай аласыз.
Пайдаланушыларды шектеу табысқа зиян келтіре ме?
Шамалы, егер сіздің ұшыруларыңыз шынымен жұмыс істесе; бұл шығын ұстау үлесінің нақты көтерілу санына көбейтіндісімен шектеледі. Егер олар жұмыс істемесе, ұстау ештеңеге тұрмайды және сізді оларды қайталаудан сақтайды.
Егер күту нәтижесі тұрақты болса ше?
Алдымен қуатты өлшеу кестесіне, содан кейін қиылысу мен ағып кетуге қарсы тексеріңіз. Шынымен тегіс, жеткілікті қуатты нәтиже жеткізудің төрттен екі бөлігінің көрсеткішті өзгертпегенін білдіреді: үйрену қымбат, ал үйренбеу қымбатырақ.
Келесі қадам
Егер сіз эксперименттер жүргізіп, бір жылдық жеңістердің құнын айта алмасаңыз, осы аптада өз трафигіңізге қарсы ұстап қалуды өлшеңіз немесе бізге оны өлшемін, құрастырып, оқуды тапсырыңыз CRO қатысуы.
Дереккөздер
- Кохави және Лонгботам, «Онлайн бақыланатын эксперименттер және A/B тестілеуі» (2015)
- Ли мен Шен (Airbnb), "Жеңімпаздың қарғысы", KDD 2018
- Садеги және т.б. (Microsoft), "Жаңалық және басымдық", Technometrics, 2022
- Netflix TechBlog, "Netflix-тегі себеп-салдарлық қорытындыларды қолдану"
- Statsig Docs, "Holdouts"
- GrowthBook, "GrowthBook-тағы жетістіктер"
- Оңтайлы қолдау, "Әлемдік ұсталымдар"
- Эппо, «Бүтін оның бөліктерінің қосындысынан кіші»
- Стратегия және бюджет дирекциясы — TÜIK CPI, 2026 жылғы тамыз
