Вашата програма отчита победител приблизително веднъж месечно. Добавете дванадесет победи и годишното тесте показва, че конверсията би трябвало да е с 18% по-висока от миналата година. Финансовият отдел гледа отчета за печалбите и загубите и казва, че не е така. Обикновено тестето греши.
На експерименталната платформа на Microsoft само около една трета от тестваните идеи са подобрили показателя, който са били предназначени да подобрят, а тези, които са пуснати на пазара, са избрани именно заради това, че са изглеждали добре, което е мястото, където аритметиката започва да се отклонява (Кохави и Лонгботам, 2015 г.). Групата за въздържание е най-евтиният инструмент, който измерва програма а не индивидуалният тест.
Това ръководство е за CRO потенциални клиенти и собственици на аналитични услуги, които провеждат поне един експеримент месечно. До края ще можете да определите размер на задържане, който действително може да открие ефекта на вашата програма, да изберете продължителност и прозорец за анализ и да разпознаете режимите на неуспех, които обезсилват резултата, преди да го представите.
Това, което една група, която се е въздържала, измерва, а сумата от победите не
„Задържащият се“ е произволно избрана част от потребителите, които остават в изживяването преди промяната, докато всички останали получават всеки пуснат победител. След няколко месеца сравнявате двете групи. Разликата е кумулативният, все още активен ефект от всичко, което сте пуснали, а не дванадесет краткосрочни оценки, събрани заедно.
Netflix използва същия инструмент, описвайки „тестовете за AB задържане“ като начин за „разбиране на дългосрочните ефекти, повторно тестване на стари предположения върху по-нови членове и измерване на кумулативната стойност“ (Технологичен блог на Netflix).
Защо сумираните победи в тестовете преувеличават случилото се
Четири механизма изтеглят сумата над истината и те се натрупват:
- Проклятието на победителя. Пускате само варианти, които са пресекли значимостта, така че пуснатият набор е обогатен с възходящ шум. Лий и Шен от Airbnb формализираха това пристрастие при подбора и публикуваха корекция (КДД 2018 г).
- Упадък на новостта и първичността. Кратките прозорци улавят реакциите към новостите. В пример с Microsoft News, първоначалното увеличение от 28% на кликванията върху нов бутон намалява с всеки изминал ден в рамките на експерименталния прозорец (Садеги и др., 2022 г.).
- Взаимодействие и намаляваща възвръщаемост. Две независимо тествани победи на една и съща стъпка от фунията често не се сумират; те се конкурират за един и същ маргинален потребител.
- Застой в анализа. Надникването, превключването на показатели и селективното отчитане изместват стартирания набор още повече нагоре (ЕСОЗР).
Нищо от това не означава, че тестовете ви са били фалшиви. Това означава, че сумата е горна граница, а не приблизителна оценка.
Оразмерете задържащото устройство, преди да го изградите
Това е стъпката, която почти всички пропускат, и именно там повечето от тези, които се въздържат, умират. Тестът с въздържание е тест с две рамена с умишлено неравномерно разделяне, а прецизността се определя от по-малкото рамо. Необходимата обща извадка се скалира с 1 / (p × (1 − p)), Където p е делът на задържащите. Следователно, задържащ от 1% се нуждае от приблизително 25 пъти повече трафик от балансиран тест, за да види същия ефект.
Общ брой необходими потребители през периода на изчакване, при базов процент на конверсия от 2%, 80% мощност и 5% двустранна значимост:
| Дял на въздържателите | Потребителите, необходими за откриване на +5% относително | Потребителите, необходими за откриване на +10% относително |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
Сега прочетете това спрямо неизпълнените от доставчиците стойности. Statsig предлага „нисък едноцифрен процент на задържане, като например 1%–2%“ (Стациг); Optimizely предупреждава над 5% (Optimizely); GrowthBook съобщава, че екипите на Facebook и X работят с 5% или по-малко (Книга за растеж).
Тези числа са верни за техните автори и грешни за повечето сайтове от среден пазар. Регионален сайт за електронна търговия с 400 000 потребители месечно натрупва 1.2 милиона за едно тримесечие. При задържане от 1% ще му е необходимо приблизително десетилетие. При 10% все още не е до +5% четене. При 20% открива +5% за едно тримесечие и +10% за около месец. Изберете дела от вашия трафик, а не от този по подразбиране на доставчика. Ако честният отговор е 20%, обяснете този компромис на бизнеса директно: една пета от потребителите чакат едно тримесечие за нови функции, в замяна на това да знаят дали тримесечието е струвало нещо.
Изберете продължителността и прозореца за анализ
Statsig препоръчва три до шест месеца преди да се освободи от задържана позиция; GrowthBook препоръчва активен период от половин месец до тримесечие, след което период на анализ от две до четири седмици, за да се установят ефектите и да се запълнят периодите за ретроспективен поглед.
Нашето работно правило: активният период е по-дългият от изискванията на вашата таблица за оразмеряване и един пълен бизнес цикъл. В този регион това означава покриване на поне един пик на кампанията и един месец с равномерен резултат, така че резултатът да не се определя само от 11.11. След това замразете флаговете и изчакайте края на прозореца за анализ, преди някой да отвори таблото за управление.
Изградете го: седем неща, които трябва да направите както трябва
- Рандомизирайте на постоянен идентификатор на потребител или акаунт от страна на сървъраБисквитка, която банер за съгласие блокира или потребител изчиства, пропуска хора между ръцете.
- Задайте въздържателя веднъж, отпред, преди изстрелванията, които искате да измерите. Възражение, създадено след факта, не е възражение.
- Пренасочвайте всеки стартиран победител през една и съща система за флагове, така че "holdout = off" наистина означава старото изживяване. Потребителите с изключена функция получават стойности на гейта и слоя по подразбиране, както прави имплементацията на Statsig.
- Запазете изрично списък за изключване: корекции на сигурността, работа по съответствие с правните изисквания и изискванията за достъпност, както и промени в цените, се предоставят на всички. Документирайте всяко изключение с неговата дата.
- Изберете от две до четири устойчива показатели (приход на потребител, задържане, честота на поръчките) плюс основния ви коефициент на конверсия. Не добавяйте пета част.
- Водете датиран регистър на пусканията на всяка промяна, изпратена през прозореца, с измереното ѝ въздействие. С това сравнявате изоставането.
- Кажете на инженерите, че флаговете остават в кодовата база, докато прозорецът за анализ не се затвори. Упоритите откази се дължат на преждевременно почистване на флаговете по-често, отколкото на нещо статистическо.
Прочетете резултата честно
Изчислете съотношението на измерената подемна сила при задържане към сумираната подемна сила във вашия регистър за изстрелвания. Нашите работни прагове - преценки, а не публикувани критерии:
| Повдигане при задържане ÷ сумирано повдигане | четене | действие |
|---|---|---|
| ≥ 0.6, интервалът изключва нулата | Програмата е горе-долу честна | Докладвайте броя на изоставените външно, поддържайте актуална прогноза |
| 0.3 - 0.6 | Нормално свиване от селекция и взаимодействие | Приложете наблюдаваното съотношение като допустима отстъпка към бъдещи бизнес казуси |
| < 0.3 или интервалът включва нула | Сумата не е доказателство | Спрете да цитирате сумарния лифт; преразгледайте критериите за печалба и правилата за спиране |
| Отрицателна точкова оценка | Нещо, което се изпраща, струва пари | Обратно тестване на най-големите изстрелвания едно по едно |
Едно регионално предупреждение относно алтернативните отбори, които посягат към първото място. Ако планирате да пропуснете въздържанието и да сравните това тримесечие с миналата година, имайте предвид, че годишната инфлация на потребителските цени в Турция е била 31.51% през август 2026 г. (Данни на TÜIK, публикувани на 3 септември 2026 г.). Приходите на потребител в лири не са сравними между периодите при този темп и дефлацията им добавя свои собствени предположения. Едновременната рандомизация заобикаля това: и двете групи се намират в една и съща икономика в един и същи ден.
[НЕОБХОДИМИ ВЪТРЕШНИ ДАННИ: пример за клиент на Switas — продължителност на програмата, мащаб на трафика, сумарен тестов лифт спрямо лифт, измерен чрез holdout, и използван дял на holdout.]
Шест начина, по които един съперник тихо се проваля
- Замърсяване. Споделените устройства, сесиите след излизане от системата и нулирането на идентификатори преместват потребителите между групите. Измерете кръстосването; над приблизително 2% оценката не е надеждна.
- Безшумно изтичане. Промяна, изпратена извън системата за флагове (CDN правило, CMS редакция, нов шаблон), също достига до задържащия елемент и свива разликата към нула.
- Пълзене на изключването. Всяко решение от типа „това трябва да отиде при всички“ премахва дадено стартиране от това, което измервате. Десет такива и не измервате нищо.
- Несъответствие в съотношението на извадката. Разделянето се отклонява от предвидения си дял. Проверявайте ежеседмично; отказът от SRM е също толкова невалиден, колкото всеки друг тест с SRM.
- Преждевременно освобождаване. Глобалните задържания на Optimizely, базирани на оригиналния подход, не могат да бъдат поставени на пауза, а само да бъдат прекратени. Приемете това като правило: ранното прекратяване води до загуба на времевия прозорец.
- Недостатъчно мощен от първия ден. Най-често срещаният неуспех. Нулев резултат от 2% задържане не ви казва нищо за вашата програма и нищо за вашия размер.
Къде този метод не работи
Въздържанието дава размера на комбинирания ефект, а не кое стартиране го е довело. Атрибуцията все още се нуждае от индивидуални тестове. Тя не може да измери нищо, което трябва да бъде доставено до всички, така че работата по съответствието е извън нея. Тя е лоша, когато едни и същи потребители не се връщат в рамките на прозореца, и не казва нищо за марката или офлайн разпространението между разпределителите. Под приблизително 100 000 потребители месечно няма дял, който е едновременно откриваем и защитим; в този мащаб внимателно контролираните „преди-след“ четения плюс качествената валидация са честният резервен вариант, като слабостите им са посочени на глас.
Често задавани въпроси
Колко голяма трябва да бъде една група за съпротива?
Достатъчно голям, за да открие очаквания от вас кумулативен ефект, който е по-скоро изчисление, отколкото конвенция. При базова линия от 2% и относителна цел от +5%, за запазване на 5% са необходими около 3.25 милиона потребители, докато за запазване на 20% са необходими около 971 000.
Колко дълго трябва да продължи едно удържане?
Доставчиците предлагат активен период от три до шест месеца плюс период за анализ от две до четири седмици. Добавете ограничението периодът да обхваща поне един пик на кампанията и един обикновен месец, така че едно-единствено събитие за продажба да не определя резултата.
Защо моят успех в задържането е по-малък от сбора на победите ми в тестовете?
Това е очакваният резултат, а не грешка. Проклятието на победителя, упадъкът на новостта, взаимодействието между промените и липсата на анализ - всичко това завишава сумата. Числото на изчакване е това, което е по-близо до реалността.
Мога ли да създам задържане, след като вече съм стартирал неща?
Не и за тези стартирания — всички вече са ги получили. Задържането измерва само промените, настъпили от началната му дата. Все още можете да започнете още днес за следващите две тримесечия.
Вреди ли задържането на потребителите на приходи?
Донякъде, ако вашите стартирания наистина работят; тази цена е ограничена от дела на изчакването, умножен по истинския лифт. Ако не работят, изчакването не струва нищо и ви спестява повтарянето им.
Ами ако резултатът от въздържанието е без промяна?
Първо проверете мощността спрямо таблицата с размери, след това кросоувъра и утечката. Наистина равен резултат с адекватна мощност означава, че две четвърти от доставките не са променили показателя: скъпо е да се научи, по-скъпо е да не се научи.
Следваща стъпка
Ако провеждате експерименти и не можете да кажете каква е била стойността на една година с победи, оразмерете съпротивлението си спрямо собствения си трафик тази седмица — или ни помолете да го оразмерим, изградим и прочетем като част от Ангажираност на CRO.
Източници
- Кохави и Лонгботъм, „Онлайн контролирани експерименти и A/B тестване“ (2015 г.)
- Лий и Шен (Airbnb), „Проклятието на победителя“, KDD 2018
- Садеги и др. (Microsoft), „Новост и първенство“, Technometrics, 2022
- Netflix TechBlog, „Приложения на причинно-следствените изводи в Netflix“
- Документи на Statsig, „Съпротивители“
- Книга за растеж, „Упорства в Книгата за растеж“
- Optimizely Support, „Глобални възражения“
- Епо, „Цялото е по-малко от сбора на частите си“
- Дирекция „Стратегия и бюджет“ — TÜIK CPI, август 2026 г.
