Послідовне тестування

Послідовне тестування – це сімейство експериментальних дизайнів, які дозволяють оцінювати результати безперервно або через заплановані інтервали, контролюючи при цьому рівень помилок, який в іншому випадку завищив би повторний аналіз. У звичайному тестуванні з фіксованим горизонтом аналіз дійсний лише для одного, попередньо розрахованого розміру вибірки; кожен додатковий перегляд збільшує ймовірність хибнопозитивного результату. Послідовні методи коригують межі прийняття рішень, щоб врахувати той факт, що відбувається кілька переглядів, що робить законним зупинити тестування раніше, коли докази достатньо вагомі.

Комерційна привабливість очевидна. Тестування з фіксованим горизонтом, яке вимагає чотирьох тижнів трафіку, має тривати протягом чотирьох тижнів, навіть якщо варіант серйозно завдає шкоди доходу вже в перший тиждень, якщо тільки команда не готова відмовитися від статистичної валідності дизайну. Послідовні підходи дозволяють швидко зупинити справді катастрофічний варіант і достроково відправити справді великого переможця на ринок, що одночасно знижує вартість тестування та збільшує кількість експериментів, які сайт може провести протягом року. Для підприємств, де поганий варіант несе реальний ризик для доходу, це не уточнення, а вимога.

Кілька методів підпадають під цю категорію. Групові послідовні дизайни визначають невелику кількість проміжних аналізів зі скоригованими порогами для кожного. Функції альфа-витратів розподіляють загальний допустимий рівень хибнопозитивних результатів між цими виглядами. Завжди валідні тести на висновок та послідовні тести на коефіцієнт ймовірності дозволяють безперервний моніторинг з межами, які звужуються в міру накопичення даних. Баєсівські підходи обходять проблему фіксованого горизонту шляхом побудови, хоча вони мають власні міркування щодо запобігання упередженості. Більшість комерційних платформ тестування зараз реалізують один із них під поверхнею, тому їхні звітні показники довіри більше не поводяться так, як це було б при наївному повторному тестуванні значущості.

Важливим застереженням є те, що послідовна валідність не усуває всі ризики передчасного зупинення. Тест, зупинений після п'яти днів, все ще залишається тестом, який не пройшов повний тижневий цикл, не накопичив відвідувачів, що повернулися, і не пережив ефект новизни, який видима зміна дизайну створює в перші дні впливу. Статистика може бути валідною, навіть якщо бізнес-висновок все ще неправильний, оскільки вибірка не є репрезентативною для нормальних умов роботи, а не занадто малою. Правила мінімального часу виконання, зазвичай щонайменше один, а бажано два повні бізнес-цикли, розташовані поруч із послідовними межами, а не замінюються ними.

Рання зупинка також зміщує оцінку розміру ефекту. Тести, які зупиняються одразу після перетину межі, роблять це в моменти, коли випадкова варіація сприяє варіанту, тому спостережуване підвищення в точці зупинки, як правило, перебільшує справжній ефект. Якщо рішення полягає лише в тому, чи постачати товар, це рідко має значення. Якщо число враховується в прогнозі доходу, воно має велике значення, і заявлений показник слід дисконтувати або переоцінити, а не цитувати безпосередньо.

Оскільки реалізації відрізняються, варто встановити, що насправді робить платформа тестування, перш ніж покладатися на її вердикти. У документації постачальника має бути зазначено, чи є заявлена ​​впевненість достовірною за умови постійного моніторингу, який метод використовується та чи скориговано заявлений розмір ефекту на ранню зупинку. Деякі платформи застосовують завжди дійсний висновок, деякі застосовують послідовні межі груп на фіксованих контрольних точках, а деякі все ще повідомляють наївну статистику з фіксованим горизонтом на живій інформаційній панелі, що є домовленістю, яка на практиці призводить до найбільшої кількості хибнопозитивних результатів. Ця різниця не є академічною: одні й ті ж дані можуть дати впевнений вердикт за одним методом і не дати жодного висновку за іншим, а команди, які змінили платформу, іноді виявляють, що значна частина їхніх історичних перемог не була б заявлена ​​за методологією нового інструменту.

Для консалтингової компанії, яка проводить програму з високою частотою повторень, послідовні методи планування є тим, що робить агресивну швидкість експерименту сумісною зі статистичною дисципліною. оптимізація рейтингу конвертації У випадку взаємодії, правила зазвичай документуються заздалегідь: який метод меж застосовується, мінімальний час виконання незалежно від межі, показники захисного огородження, які можуть ініціювати екстрену зупинку, і хто має право її викликати. Таке управління особливо важливе в e-commerce середовищах, де варіант, який шкодить оформленню замовлення протягом пікового торгового тижня, може коштувати за три дні дорожче, ніж приносить прибуток уся програма тестування за квартал.