Ако проверявате A/B тест всяка сутрин и го спирате първия път, когато таблото за управление стане зелено, реалният ви процент на фалшиво положителни резултати не е 5%. В симулационно тестване на значимостта след всяко наблюдение, Евън Милър го е измерил на 26.1%, повече от пет пъти по-високо от нивото, на което повечето отбори вярват, че се представят (Как да не провеждате A/B тест). Една от всеки четири „победи“, която няма да се повтори, не е статистически проблем. Това е проблем с пътната карта.
Това ръководство е за екипи за растеж и CRO, които провеждат тестове върху електронна търговия или трафик от пътувания, твърде сезонен, за да стоят на едно място четири седмици. До края ще можете да планирате график за преглед преди пускането на пазара, да прочетете прага за всеки преглед от таблица, да оразмерите теста за малката допълнителна извадка, която струва планирането, и да разпознаете къде методът престава да бъде валиден.
Защо надничането нарушава теста за фиксиран хоризонт
Тестът с фиксиран хоризонт изразходва целия си 5% бюджет за грешка веднъж, при един предварително деклариран размер на извадката. Всеки допълнителен поглед е още един шанс да се премине границата. Проблемът не е в разглеждането на данните; той е в търсенето с праг, ценообразуван за един поглед. Таблицата на Милър дава отчетеното ниво на значимост, необходимо за поддържане на истински 5% процент, ако настоявате да надниквате определен брой пъти:
| Брой погледи | Докладваната значимост, необходима за истинските 5% |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Казано по друг начин: надникнете десет пъти и това, което прочетете като 1% значимост, всъщност е 5%. Грубо, но честно. Методите по-долу вършат същата работа по-ефективно.
Три начина да спрете рано и какви са цените за всеки от тях
| Подход | Поправка преди пускане в експлоатация | Цена спрямо фиксиран тест | Използвайте го, когато |
|---|---|---|---|
| Фиксиран хоризонт | Размер на извадката, една дата на анализ | Няма, но не е разрешено ранно спиране | Трафикът е стабилен, прозорецът е малък |
| Групиране последователно (алфа разходи) | Максимална извадка, брой и време на преглеждания | Максималната проба се увеличава с ~3% (О'Брайън-Флеминг) до ~20% (Покок), 4 вида | Размерът на извадката е оценим |
| Винаги валидно (mSPRT) | Нищо, по принцип | Най-голямата загуба на мощност от трите в една и съща проба | Размерът на извадката не може да се оцени |
Третият ред е важен, защото е това, което повечето търговски платформи предлагат. В симулацията на Георги Георгиев при фиксирана максимална извадка от 7,045 на група, тест с фиксиран хоризонт достигна 83.3% мощност, групово-последователният AGILE достигна целта си от 80%, SPRT около 73%, а винаги валидният извод - 62.4%. За да се достигне 80% мощност, винаги валидният извод беше необходим приблизително... 85% повече проба отколкото групово-последователния дизайн (Аналитичен инструментариум, 2022 г.). Инженерите на Spotify стигнаха до същото заключение независимо: груповите последователни тестове са „систематично по-добри или сравними с винаги валидните подходи“, когато размерът на извадката може да бъде оценен (Шулцберг и Анкаргрен, 2023 г.).
Струва си да се коригира това, защото рамката на доставчиците работи в обратната посока. Документацията на Optimizely ви казва да „пропуснете извършването на предварителна експериментална работа, като например изчисляване на размера на извадката преди стартиране на експеримента“ (Поддръжка на Optimizely). Контролът на грешките е реален и основното изследване е обосновано (Джохари и др., Винаги валидно заключение); това, което рамкирането пропуска, е сметката за мощност. Statsig, прилагайки същото семейство методи, го казва ясно: „Ако се нуждаете от точно измерване на размера на ефекта, изчакайте пълната мощност, която вашето изчисление на мощността преди експеримента оценява“ (Документи на Statsig). Четете „не е необходим размер на извадката“ като твърдение за валидност, никога за ефективност.
Методът, стъпка по стъпка
Разработен пример: търговец на дрехи тества плащането. Конверсия на базова сесия 2.4%, целеви ефект +10% относително (2.64%), двустранна алфа 5%, мощност 80%, приблизително 5,000 сесии на ден.
1. Оразмерете го така, сякаш никога няма да надникнете
Двупропорционалното оразмеряване дава 66 943 сесии на рамо, общо 133 886. Това не са опционални режийни разходи само защото планирате да спрете рано; това е котвата, върху която е изграден графикът.
2. Изберете колко визии и кога
Три до пет вида обхващат почти цялата налична полза; след това всеки вид добавя максимална цена за малка възвръщаемост. Подравнете външния вид с цели седмици, тъй като съставът по дни от седмицата е голям източник на отклонение в трафика на дребно. При 5,000 сесии на ден, четири седмични прегледа достигат близо 140 000 сесии, покривайки планирания максимум.
3. Изберете функция на разходите и запишете праговете
Алфа функцията за разходи определя каква част от 5% бюджет може да изразходва всеки външен вид, като функция от това колко данни са натрупани (Penn State STAT 509). Двата класически варианта, при четири равно разположени вида, двустранна алфа 0.05:
| Гледам | Дял от планираната извадка | О'Брайън-Флеминг: спрете, ако p | Покок: спрете, ако п |
|---|---|---|---|
| 1 (края на 1-та седмица) | 25% | 0.0001 | 0.0179 |
| 2 (края на 2-та седмица) | 50% | 0.0055 | 0.0179 |
| 3 (края на 3-та седмица) | 75% | 0.0216 | 0.0184 |
| 4 (края на 4-та седмица) | 100% | 0.0411 | 0.0188 |
| Максимална проба срещу фиксиран тест | + 3% | + 20% |
Те са изчислени с разходните функции на Lan-DeMets и съответстват на публикуваната характеристика: O'Brien-Fleming използва „много строги прагове в началото, но крайният праг на анализа е близо до типичното p < 0.05“, докато Pocock поддържа почти постоянен праг около p < 0.016 (Чолино, Кайзер и Бонър, 2023 г.).
O'Brien-Fleming е евтина застраховка: почти никога не се задейства при look 1, струва около 3% повече максимална извадка, а крайният му праг е едва по-малък от 0.05. Pocock спира рано много по-често, но таксува с 20% повече трафик. По подразбиране използвайте O'Brien-Fleming за показатели, свързани с приходите.
4. Запишете правилото в заявката преди стартиране
Едно изречение, видимо за всеки, който може да спре теста: „Разглеждаме края на седмици 1 до 4, обявяваме победител само ако двустранната p-стойност за [основен показател] е под прага на този поглед, и в противен случай продължаваме до седмица 4.“ Правило, което живее в нечия глава, не е правило.
5. Задайте и границата на безсмислието
Повечето отбори прилагат само граници на ефикасност, така че спират победителите рано и оставят губещите да се състезават с пълна сила, което е обратното по отношение на алтернативната цена. Необвързващата граница на безполезност – спиране, когато значима победа е станала неправдоподобна – е мястото, откъдето идва по-голямата част от спестяванията в календара. С четири погледа на О'Брайън-Флеминг, очакваната извадка при истински ефект пада до приблизително 83% от изискването за фиксиран хоризонт.
6. Не докладвайте ранната точкова оценка като размер на ефекта
Тест, който спира преждевременно, спря , защото Наблюдаваното повдигане е било необичайно голямо, така че оценката е повлияна нагоре от строителството. Използвайте го за решението за кораба, а не за прогнозата за приходите. Statsig: „Ранните решения често водят до недостатъчни оценки за повдигане с висока несигурност.“
Контролен списък преди пускането на пазара
- Един основен показател, деклариран писмено преди пускането на пазара
- Фиксирана максимална проба и крайна дата на календара
- Изглежда фиксиран по брой и време, съобразен с цели седмици
- Избрана функция за разходване, прагове, записани в заявката
- Дефинирано е правилото за безполезност, не само правилото за ефикасност
- SRM проверява при всеки поглед, преди p-стойността се отчита
- Показателите за предпазните огради се следят отделно, извън правилото за спиране
- Всеки, който може да спре теста, знае, че непланираните погледи са забранени.
Калибриране на това за Турция и региона
Според доклада за перспективите за електронната търговия на Министерството на търговията, представен през май 2026 г., Турция е регистрирала 5.94 милиарда транзакции в електронната търговия през 2025 г. в обем от 4.57 трилиона турски лири.Дейли Сабах, 12 май 2026 г.). Това е голям пазар, съставен предимно от средно големи магазини, така че четириседмичните прозорци са рутинни – достатъчно дълги, за да се сблъскат с кампания.
Периодът на отстъпки в края на ноември, известен на местно ниво като Efsane Cuma, и събитието на 11.11 преди него се променят който е на сайта, а не просто колко. Посетителите, водени от отстъпки, конвертират по различна логика, така че график, пресичащ границата на кампания, не измерва една популация. Нашето правило: завършете преди кампанията или започнете след нея. Ако даден тест трябва да премине през една популация, третирайте седмицата на кампанията като отделен стратум и не вземайте решения за спиране в него.
Втора корекция се прилага в целия ЕС и за банерите за съгласие, съответстващи на KVKK, в Турция: ако анализите са базирани на съгласие, част от трафика ви остава незабелязана. Размер и график на наблюдаваното сесии или всеки външен вид пристига по-късно от указаното в календара.
[НЕОБХОДИМИ ВЪТРЕШНИ ДАННИ: медиана на дневните сесии и медиана на реализираната продължителност на теста сред клиентите на електронната търговия на Switas, за да се замени илюстративната цифра от 5,000 сесии/ден с действително разпределение.]
Къде се разпада това
- Промяна в композицията. Последователните методи предполагат, че входящият поток е заменяем с течение на времето. Промяна в кампания или платени медии нарушава това и спирането на ранните заключвания в която и да е седмица е необичайно.
- Новост и първенство. Седмично отчитане измерва реакцията, а не установеното поведение. Ако промяната е видима за редовните клиенти, не поставяйте никаква граница на ефикасност за отчитане на първия тест.
- Показатели с тежки опашки. Приходите на сесия са доминирани от редки големи поръчки, а нормалните приближения са ненадеждни при малки междинни извадки. Спрете на процента на конверсия и прочетете приходите успоредно или направете winsorise и го кажете.
- Множество показатели. Тези граници контролират грешката за един метрика. Пет метрики с пет правила за спиране и без по-нататъшна корекция ви връщат там, откъдето сте започнали.
- Счупена апаратура. Последователният тест с удоволствие ще премине границата на повредени данни. Той не е заместител на SRM проверката.
- Не е обхванато тук: Байесови правила за спиране, многоръки бандити и намаляване на дисперсията, като например CUPED. Всяко от тях взаимодейства с ранното спиране по начини, изискващи отделно разглеждане.
Често задавани въпроси
Маркирайте този раздел със схемата на страницата с често задавани въпроси.
Мога ли просто да използвам по-строга p-стойност вместо функция на разходите?
Да, ако предварително определите броя на преглежданията и има само няколко. Таблицата на Милър дава прага. Тя е по-консервативна от алфа разходите, така че плащате повече проба, отколкото е необходимо, но не се нуждае от нови инструменти.
Означава ли последователното тестване, че мога да пропусна изчисляването на размера на извадката?
Не. Валидността се запазва без оценка на размера на извадката; мощността не е. Както симулациите на Georgiev, така и симулациите на Spotify показват един и същ модел: когато можете да оцените размера на извадката, доминира груповият последователен дизайн.
Ами ако наблюдавам регресия, а не победа?
Това е наблюдение на предпазни мерки, а не тестване на хипотези. Следете непрекъснато показателите за безопасност и грешки под отделно, по-свободно правило и оставете основното правило за спиране недокоснато. Премахването на вариант, който вреди на потребителите, не изисква церемонии.
Имунно ли е Байесовото тестване срещу надникване?
Не. Спирането в момента, в който апостериорна вероятност премине праг, променя оперативните характеристики на правилото за решение, освен ако правилото не е проектирано за опционално спиране. Априорната вероятност променя формата на проблема, а не неговото съществуване.
О'Брайън-Флеминг или Покок?
О'Брайън-Флеминг в почти всеки търговски случай. Изберете Покок само когато ранен отговор има конкретна стойност, можете да абсорбирате приблизително 20% повече максимална извадка и някой е готов да изпрати резултат за седмица-1.
Мога ли да добавя визия, която не съм планирал/а?
С алфа функция за разходи, да, при условие че решението за преглед не е продиктувано от данните, които ще видите. Добавянето на преглед, защото таблото за управление „изглеждаше отблизо“, зависи от времето на данните и анулира гаранцията.
Работете с нас по този въпрос
Ако провеждате експерименти в турска или регионална електронна търговска зона и правилото за спиране днес е „проверявайте всяка сутрин“, ще го преработим с вас: оразмеряване, график за търсене, граници, правило за безполезност и SRM порта, записани във вашия шаблон за експеримент, така че следващият тест да го наследи. Говорете със Свитас за вашата програма за експерименти.
Източници
- Евън Милър, Как да не провеждате A/B тест
- Джохари, Пекелис, Уолш и Кумен, Винаги валиден извод: Непрекъснато наблюдение на A/B тестовепубликувано в Изследвания на операциите 70(3), 2022
- Георги Георгиев, Сравнение на статистическата мощност на последователните тестове, Аналитичен инструментариум, ноември 2022 г. (актуализирано март 2023 г.)
- Шулцберг и Анкаргрен, Избор на рамка за последователно тестване, Spotify Engineering, март 2023 г.
- оптимизирано, Преглед на методите за статистически анализ
- Стациг, Честотно последователно тестване
- Чолино, Кайзер и Бонер, Ръководство за междинни методи за анализ в клинични изпитвания, J Clin Transl Sci 7(1):e124, 2023
- Пенсилвания STAT 509, Подходът на алфа разходната функция
- взаимодействие, Дефиниране на последователни граници на групата
- Обемът на електронната търговия в Турция скача с над 52% през 2025 г., Daily Sabah, 12 май 2026 г., съобщава за Доклада за перспективите на електронната търговия на Министерството на търговията
