Статистична потужність

Статистична потужність – це ймовірність того, що експеримент виявить справжній ефект заданого розміру, якщо цей ефект дійсно існує. Тест з потужністю 80 відсотків, що є найпоширенішою домовленістю, правильно визначить реальне покращення заданого розміру в чотирьох випадках з п'яти та пропустить його в одному з п'яти випадків. Потужність є аналогом рівня значущості: значущість контролює, як часто тест кричить «вовк», потужність контролює, як часто він не помічає вовка.

Потужність визначається заздалегідь разом із рівнем значущості, базовим коефіцієнтом конверсії та мінімальним виявленим ефектом, і разом вони визначають необхідний розмір вибірки. Збільшення вимог до потужності з 80 до 90 відсотків суттєво збільшує необхідний трафік, тому 80 відсотків стало значенням за замовчуванням у комерційному тестуванні, хоча в клінічних дослідженнях поширені вищі стандарти. Цей вибір відображає бізнес-компроміс між вартістю втрати гарної ідеї та вартістю трафіку, витраченого на її пошук.

Недостатньо потужне тестування є найпоширенішим і найменш помітним дефектом програм оптимізації. Тести, які виконуються протягом фіксованого календарного періоду, а не за розрахованим розміром вибірки, за замовчуванням мають недостатню потужність, коли трафік менший, ніж передбачалося. Наслідком є ​​не просто марна трата зусиль, а й систематично оманливі висновки: недостатньо потужна програма видає потік непереконливих результатів, які реєструються як «без ефекту», що з часом створює хибне інституційне переконання, що ціла категорія змін не має значення. Реальні можливості втрачаються, оскільки вимірювальний інструмент ніколи не був достатньо чутливим, щоб їх побачити.

Існує другий, більш підступний наслідок. У експерименті з недостатньою потужністю будь-який результат, який досягає значущості, повинен, за арифметичними розрахунками, показувати великий спостережуваний ефект. Це завищує видимий розмір кожної перемоги, про яку повідомляє програма, явище, яке іноді називають прокляттям переможця. Програма, яка проводить тести з недостатньою потужністю, таким чином, повідомлятиме про портфель разючих перемог, жоден з яких не відтворюється з заявленою величиною після розгортання, а розрив між прогнозованим і реалізованим доходом зрештою руйнує довіру до практики.

Підвищення потужності не завжди означає очікування більшого трафіку. Вибір метрики вище у воронці продажів з більшим базовим показником збільшує потужність для тієї ж кількості відвідувачів. Зменшення дисперсії за допомогою скоригованого за коваріатами аналізу або обмеження тесту більш однорідним сегментом аудиторії може суттєво скоротити час виконання. Тестування більш сміливих змін з більшими очікуваними ефектами збільшує розмір ефекту, який тест повинен виявити, і, отже, знижує вимоги до вибірки. Кожне з цих рішень є проектним рішенням, прийнятим до запуску, і кожне з них є більш продуктивним, ніж розширення вже непереконливого тесту в надії, що цифри зміняться.

Зменшення дисперсії заслуговує на більше уваги, ніж зазвичай, оскільки воно покращує чутливість, не вимагаючи більшого трафіку. Найкраще зарекомендував себе метод, який використовує дані про кожного відвідувача, отримані до експерименту, такі як його поведінка протягом тижнів перед тестом, як коваріату в аналізі, видаляючи варіації, які не мають нічого спільного з методом обробки. Якщо значну частину трафіку складають повернуті відвідувачі з історією, це може суттєво зменшити необхідну вибірку, що скорочує час виконання всієї програми, а не покращує окремий тест. Вибір менш змінної метрики має подібний ефект: бінарне перетворення менш шумне, ніж дохід на відвідувача, який переважає невелика кількість великих замовлень, тому тест, що базується на конверсії та звітує про дохід як вторинний показник, часто досягає висновку набагато швидше, ніж той, що базується безпосередньо на доході.

У консалтинговій практиці аналіз потужності – це те, як дорожня карта тестування стає чесною щодо того, що вона може запропонувати. оптимізація рейтингу конвертації Після запуску програми розрахунок досяжної потужності за поточного трафіку показує клієнту, скільки експериментів за квартал є реалістичними, а які питання потребуватимуть зовсім іншого методу. Для сайтів, де арифметика не підтримує безперервну частоту експериментів, більш ефективним шляхом зазвичай є структуроване дослідження та експертна оцінка, що проводиться через UX аудит, при цьому експерименти зарезервовані для невеликої кількості потоків з високим трафіком та високою цінністю, де цифри справді працюють.