Тестовий перегляд

Підглядання за результатами тестування — це практика багаторазової перевірки результатів експерименту під час його виконання та його зупинки, щойно перевищено поріг значущості. Це найпоширеніший спосіб, коли валідні статистичні методи перетворюються на недійсні висновки, і це майже завжди робиться з добрими намірами людьми, які вважають, що вони просто стежать за прогресом. Математика тесту з фіксованим горизонтом передбачає один аналіз із заздалегідь розрахованим розміром вибірки; кожен додатковий перегляд — це ще один шанс для випадкових коливань перетнути межу, і реальний рівень хибнопозитивних результатів зростає з кожним з них.

Масштаб спотворення дивує людей. Тест, призначений для роботи з 5-відсотковим рівнем хибнопозитивних результатів, який перевіряється щодня протягом кількох тижнів з правилом зупинки «значні досягнення», може зрештою мати реальний рівень хибнопозитивних результатів у кілька разів вищий. Потім програма накопичує портфель виграшів, значну частину яких складають шуми, а сукупний вплив на бізнес не відповідає сумі зареєстрованих ефектів. Оскільки кожен окремий тест виглядав належним чином проаналізованим, причина нестачі рідко виявляється, і звичайний висновок полягає в тому, що оптимізація просто не працює в цій компанії.

Підглядання також впливає на розмір ефектів, які витримуються. Тест, зупинений у момент досягнення значущості, зупиняється в момент, коли випадкова варіація призводить до переваги варіанта, тому спостережуване підвищення в цей момент систематично завищує справжній ефект, навіть коли ефект реальний. Програми, які зупиняються рано, таким чином повідомляють про більші перемоги, ніж вони забезпечують, що з часом шкодить довірі таким чином, що важко відновитися, як тільки фінансова сторона помітить розрив.

Тиск на попередній перегляд є радше структурним, ніж особистим. Тестові платформи відображають показники значущості в реальному часі на своїх інформаційних панелях. Зацікавлені сторони перевіряють їх. Варіант, який показує великий ранній лід, створює реальний комерційний тиск на негайну відправку, а варіант, який показує раннє зниження, створює тиск на зупинку та скорочення збитків. Рекомендувати людям не переглядати продукт неефективно; практичні рішення є процедурними та технічними. Зафіксуйте розмір вибірки та кінцеву дату в письмовій формі перед запуском. Використовуйте послідовні або байєсівські методи, розроблені для безперервного моніторингу, щоб перегляд був законним. Налаштуйте інформаційні панелі так, щоб приховувати значущість, доки не буде досягнуто запланованої вибірки. Зарезервуйте ранню зупинку для справжніх надзвичайних ситуацій, виявлених за допомогою метрик захисту, із зазначенням особи, яка приймає рішення, та задокументованим обґрунтуванням.

Існує важлива різниця між попереднім переглядом та моніторингом. Спостереження за рівнем помилок, продуктивністю сторінок, співвідношенням вибірки та серйозними порушеннями правил безпеки під час тестування не тільки допустиме, але й необхідне, оскільки зламаний або шкідливий варіант слід негайно зупинити. Що псує аналіз, так це використання основної бізнес-метрики як критерію зупинки поза попередньо зареєстрованим планом. Відокремлення операційного моніторингу від аналізу результатів, з різними панелями інструментів та різними дозволами, часто буває достатнім для вирішення проблеми на практиці.

Коли зацікавлена ​​сторона вимагає знати, як працює тест, до його завершення, пряма відмова зазвичай контрпродуктивна, а надання номера підриває протокол. Практичною середньою позицією є звітування про операційний стан, а не про результат: підтвердження того, що тест працює правильно, що трафік розподіляється відповідно до налаштувань, що не було порушено жодного захисного бар'єру та скільки днів залишилося до запланованого аналізу. Це відповідає на законне занепокоєння, що стоїть за запитом, яке зазвичай стосується ризику, а не цікавості, не розкриваючи номер, на основі якого будуть вжиті заходи. Узгодити цю домовленість заздалегідь, як частину протоколу експерименту, набагато легше, ніж вести переговори посеред тесту, який, здається, виграє, коли комерційний тиск на негайне відправлення є найвищим, а аргумент на користь терпіння щонайменше вітається.

Встановлення цієї дисципліни є одним із найменш технічних та найцінніших втручань, доступних програмі оптимізації. У типовому випадку Послуга CRO Залучення, протокол аналізу, правила зупинки та повноваження на екстрену зупинку документуються до першого запуску тестів, а результати публікуються з фіксованою частотою, а не на вимогу. Якщо організації потрібна постійна видимість з обґрунтованих комерційних причин, рішенням є прийняття послідовної структури, яка її підтримує, а не проведення тестів з фіксованим горизонтом і сподівання, що ніхто не помітить.