Більшість A/B-тестів зазнають невдачі ще до того, як їх побачить хоча б один відвідувач. Не тому, що гіпотеза була слабкою чи дизайн поганим, а тому, що ніхто не з'ясував, чи взагалі тест може дати відповідь.
Схема знайома. Команда випускає варіант, стежить за інформаційною панеллю і через десять днів бачить, що конкурент зріс на 6% з p-значенням 0.14. Хтось каже: «Тренд позитивний, давайте почекаємо ще тиждень». Минає ще один тиждень. Тепер він зріс на 4%, p = 0.09. Тест називають «спрямованою перемогою» і випускають, або ж його відхиляють як непереконливий. У будь-якому разі, три тижні трафіку не дали жодної інформації — і цей результат був повністю визначений перед запуском чотирма числами, які ніхто не перевіряв.
Ця стаття про ці чотири числа.
Чотири входи
Розмір вибірки не є оціночним рішенням. Він визначається чотирма параметрами, і кожна серйозна експериментальна програма фіксує їх до запуску, а не після.
| вхід | Що це значить | Типове значення |
|---|---|---|
| Базовий коефіцієнт конверсії | Поточний показник метрики, яку ви тестуєте, виміряний на конкретній сторінці та аудиторії, на якій буде проводитися тест | Що б не говорили ваші дані |
| Мінімальний виявний ефект (MDE) | Найменша зміна, яку ви хочете, щоб тест міг виявити | 5–20% відносно, залежно від трафіку |
| Рівень значущості (α) | Ваша толерантність до оголошення переможця, який не є реальним | 0.05 |
| Статистична потужність (1−β) | Ваша ймовірність виявлення ефекту, який is реальний | 0.80 |
Дайте калькулятору ці чотири, і він поверне потрібну кількість відвідувачів за варіант. Наші безкоштовний калькулятор A/B-тестування робить саме це, і це займає близько тридцяти секунд — у цьому й суть. Причина, чому команди пропускають цей крок, полягає не в тому, що він складний. Річ у тому, що відповідь часто буває небажаною.
MDE – це вхідні дані, які всі помиляються
Мінімальний виявний ефект – це параметр, який завдає найбільшої шкоди, оскільки його назва говорить про щось інше.
МДЕ є НЕ очікуване вами покращення. Це не передбачення, не ціль і не прогноз. Це гранична межа виявлення: найменший справжній ефект, який ваш тест має 80% шанс виявити. Встановіть MDE на 5%, і ви кажете: «Якщо реальне покращення менше за 5%, я погоджуюся з тим, що цей тест, ймовірно, його не виявить».
З цього випливають два наслідки, і обидва мають значення.
Тест може відповісти лише на те питання, для якого ви його обрали. Якщо ви розраховуєте розмір для 20% MDE, а справжній ефект становить 7%, тест, найімовірніше, поверне результат «без суттєвої різниці». Це не доказ того, що варіант нічого не робить. Це доказ того, що ваш тест не міг побачити ефектів такого розміру — зовсім інше твердження, яке команди регулярно неправильно перекладають як «ми протестували це, це не спрацювало».
Відносний та абсолютний MDE не є взаємозамінними. Базовий рівень 2.5% з 10% відносний MDE означає виявлення переходу до 2.75% — абсолютний різниця 0.25 процентних пунктів. Введіть 10 у поле калькулятора, очікуючи абсолютні процентні пункти, і ви щойно попросили виявити зміну з 2.5% до 12.5%, і інструмент радісно повідомить вам, що 400 відвідувачів підійде. Перевірте, яку умову використовує ваш калькулятор. Ця єдина плутанина робить недійсною більше планів тестування, ніж будь-яка інша помилка, яку ми бачимо.
Працюючий приклад
Клієнт електронної комерції хоче протестувати новий макет сторінки з детальною інформацією про продукт. Базова конверсія на цій сторінці становить 2.5%. Він хоче виявити відносне покращення на 10% — перехід до 2.75%.
При α = 0.05 та потужності 80% вимога приблизно 100 000 відвідувачів на варіант, або близько 128 000 загалом.
Цю сторінку відвідує 40 000 осіб на місяць. Тож тесту потрібно трохи більше трьох місяців, щоб досягти розміру вибірки, для якого він був розроблений.
Це число, яке змінює розмову. Не тому, що три місяці неможливо, а тому, що тепер це рішення приймається відкрито — до запуску, з видимими компромісами — а не повільне розчарування, виявлене на 21-й день.
Тепер змініть один вхідний параметр. Залиште ту саму базову лінію, але розмір для відносного збільшення на 20% замість 10%:
| MDE (відносний) | Абсолютна різниця | Відвідувачі за варіантом | Час при 40 тис./місяць |
|---|---|---|---|
| 5% | 0.125 п | ~ 256,000 | ~ 13 місяців |
| 10% | 0.25 п | ~ 64,000 | ~ 3.2 місяців |
| 20% | 0.5 п | ~ 16,800 | ~ 25 днів |
| 30% | 0.75 п | ~ 7,700 | ~ 12 днів |
Зменшення MDE вдвічі приблизно вчетверо збільшує вибірку. Цей зв'язок не є примхою цих чисел — розмір вибірки масштабується пропорційно до оберненого квадрата розміру ефекту. Це найкорисніша річ, яку слід засвоїти щодо дизайну експерименту, оскільки вона показує, де знаходиться важіль впливу: Збільшення змін набагато дешевше, ніж залучення більшого трафіку.
Боязкий варіант, який переміщує кнопку на два пікселі, потребує розміру вибірки, який не може запропонувати жоден сайт середнього розміру. Варіант, який реструктуризує сторінку, має шанс. Ось чому обережні програми тестування зупиняються — не тому, що ідеї неправильні, а тому, що вони занадто малі для вимірювання.
Де насправді знаходиться рух транспорту
Іншим важелем, що приховується в арифметиці, є базовий показник. Вимоги до розміру вибірки різко падають зі зростанням базового рівня.
Візьмемо той самий 10% відносний MDE, але застосуємо його до етапу доставки під час оформлення замовлення, де 40% надходжень продовжують оплату:
- Базовий рівень 2.5% → ~64,000 на варіант
- Базовий рівень 40% → ~2,400 на варіант
Той самий MDE, та сама впевненість, та сама потужність. У двадцять шість разів менше трафіку.
Звичайно, ця сторінка відвідується набагато менше, ніж PDP. Але вимоги падають швидше, ніж трафік, тому тести глибокої воронки продажів часто є єдиними тестами, які сайт із середнім трафіком може фактично виконати. Якщо конверсія вашого сайту становить 2%, тестування головної сторінки – це річне зобов’язання, а тестування оформлення замовлення – два тижні.
Практичне керівництво: коли калькулятор повертає неможливе число, перш ніж розширювати MDE, перевірте, чи є крок далі у воронці продажів, де ту саму гіпотезу можна перевірити відносно вищої базової лінії.
Що насправді йде не так, коли ви це пропускаєте
Тут є два режими відмови, і другий набагато менш відомий, ніж перший.
Ви пропускаєте справжні покращення. Тест із недостатньою потужністю повертає результат «без суттєвої різниці» для зміни, яка справді працює. Команда робить висновок, що ідея була поганою, і відмовляється від напрямку, який би окупився. Це невдача, про яку всі знають, і це менш витратний з двох.
Ваші переможці завищені. Це той самий фактор, який непомітно спотворює показники програми. У тесті з недостатньою потужністю єдиний спосіб, яким результат може подолати поріг значущості, — це якщо випадковий шум достатньо сильно його зсуне, а це означає, що ефекти, які ви... do декларувати значущість систематично більші за правду. Чим нижча степененість, тим гірше перебільшення.
Тож слабка програма не просто пропускає результати. Вона створює журнал тестування, повний переможців із завищеними показниками, які потім множаться на трафік для прогнозування доходу, який так і не матеріалізується. Через шість місяців хтось запитує, чому сума перемог не відображається у звіті про прибутки. Зазвичай це і є відповідь.
Ви не можете виправити це під час аналізу. Цьому потрібно запобігти під час проектування.
За варіант, а не загалом
Вихід калькулятора є вимогою для кожної руки тесту. Два варіанти означають вдвічі більше. Це звучить очевидно, але постійно неправильно тлумачиться, зазвичай в оптимістичному напрямку.
Кілька варіантів ускладнюють проблему вдвічі. Для A/B/C/D-тесту потрібна вибірка в чотири рази більша, ніж для однорукого тесту, та Три одночасні порівняння з контрольним результатом завищують ймовірність принаймні одного хибнопозитивного результату значно понад номінальні 5%. З урахуванням цього вимога знову підвищується.
Для більшості сайтів практичне правило таке: якщо у вас немає зайвого трафіку, запускайте два етапи. Чотирифакторний тест на сторінці, яка ледве може задовольнити двофакторний тест, не є чотириразовим переможцем у навчанні. Він в нуль разів переможний у навчанні, і його виконання відбувається повільніше.
Тривалість – це окреме обмеження
Досягнення потрібного розміру вибірки є необхідним. Цього недостатньо.
Тест, який досягає своєї мети за чотири дні, охопив вибірку поведінки за чотири дні. Трафік у будні та вихідні дні конвертується по-різному. Цикли зарплати мають значення в електронній комерції. Платні кампанії, що запускаються в середині тестування, змінюють склад аудиторії під вами. Нові дизайни також створюють ефект новизни, який зникає — рання взаємодія з незнайомим макетом не є стабільною оцінкою стабільної продуктивності.
Тримайте дослідження протягом щонайменше одного повного тижня, а краще двох, незалежно від того, що дозволяє розрахунок розміру вибірки. Визначальним є те, яке обмеження довше — розмір вибірки чи бізнес-цикл. І встановіть кінцеву дату заздалегідь, замість того, щоб перевіряти щоранку та зупинятися, коли цифри виглядають добре, що є окремим та дуже ефективним способом створення хибних переможців.
Коли число неможливе
Іноді чесна відповідь полягає в тому, що тест неможливо провести. Це корисна інформація, і є п'ять розумних варіантів.
Випробуйте більшу зміну. Квадратична залежність робить цей варіант з великим відривом. Перепроектуйте потік, а не кнопку.
Перейдіть до вищого базового показника. Тестуйте на додавання до кошика або оформлення замовлення, а не на покупку. Розмір ефекту вимірюється на більшій базі, і вимоги до вибірки зменшуються. Прийміть, що ви вимірюєте проксі-показник, і окремо перевірте зв'язок з доходом.
Тестуйте далі вниз по воронці продажів, як зазначено вище.
Групуйте схожі сторінки. Проведення одного тесту на всіх сторінках категорій, а не на окремій категорії, збільшує доступний трафік, за умови, що сторінки мають достатньо схожу поведінку, щоб об'єднання в пули було виправданим.
Припиніть тестування та почніть дослідження. Якщо сайт не може забезпечити ефективність експерименту, A/B-тестування — це неправильний інструмент для нього. Тестування зручності використання, записи сеансів та евристичний огляд допоможуть швидше та дешевше виявити недоліки. Кількісна перевірка відбувається пізніше, коли зміни достатньо великі, щоб їх можна було виміряти. У цьому немає нічого ганебного — проводити тести з недостатньою потужністю, щоб відчувати ретельність, гірше, ніж не проводити їх взагалі.
Контрольний список перед польотом
Перед запуском будь-якого тесту:
- [ ] Базовий рівень вимірюється на фактичній сторінці та аудиторії, на якій буде проводитися тест, а не на всьому сайті
- [ ] MDE чітко зазначено у письмовій формі, із зазначенням відносного або абсолютного
- [ ] Розрахований розмір вибірки за варіант і помножене на кількість рук
- [ ] Необхідна тривалість порівняно з доступним трафіком — і відповідь прийнята до запуску
- [ ] Дата закінчення встановлена заздалегідь
- [ ] Мінімум один повний бізнес-цикл, що б не підказували математичні розрахунки зразка
- [ ] Одиниця рандомізації відповідає одиниці аналізу (призначення на рівні відвідувачів, показники на рівні відвідувачів)
- [ ] Розподіл трафіку підтверджено в перші години — тест 50/50, який показує результат 53/47, означає проблему з інструментарієм, і результати непридатні для використання, доки її не буде виявлено.
Проведіть розрахунки, перш ніж створювати варіант
Весь розрахунок займає півхвилини, і це змінює те, що ви будуєте. Команди, які спочатку оцінюють розмір своїх тестів, розробляють сміливіші варіанти, оскільки вони можуть бачити, скільки коштуватимуть сміливіші.
Введіть свій базовий коефіцієнт конверсії, ефект, який ви хочете виявити, а також налаштування впевненості та потужності. Якщо отримане число більше, ніж ваш трафік, це не привід для запуску в будь-якому разі — це тест, який підказує вам змінити план.
Часті питання
Скільки відвідувачів мені потрібно для A/B-тестування? Немає універсального числа. Це залежить від вашого базового коефіцієнта конверсії, найменшого ефекту, який ви хочете виявити, та обраних вами рівнів значущості й потужності. Сторінка з коефіцієнтом конверсії 2.5% потребує приблизно 64 000 відвідувачів на варіант, щоб виявити відносне покращення на 10%; сторінка з коефіцієнтом конверсії 40% потребує близько 2,400 для такого ж відносного ефекту.
Що таке хороший мінімальний виявний ефект? Найнижчий показник, який може забезпечити ваш трафік у прийнятні терміни. Почніть з доступного трафіку та цільової тривалості від двох до чотирьох тижнів, а потім розв'яжіть у зворотному порядку значення MDE, яке підходить. Якщо це MDE більше, ніж зміна, яку ви тестуєте, може правдоподібно створити, переробіть тест.
Чи можу я достроково зупинити тест, якщо він явно виграє? Не зі стандартним тестом з фіксованим горизонтом. Багаторазова перевірка та зупинка на першому значущому результаті завищує рівень хибнопозитивних результатів набагато вище 5%. Якщо вам потрібна можливість зупинитися завчасно, використовуйте метод, створений для цього — послідовне тестування або байєсівський фреймворк — і вирішуйте це до запуску, а не під час.
Що робити, якщо мій тест досягне значущості до досягнення розміру вибірки? Ставтеся до цього з підозрою та продовжуйте йти до запланованого кінця. Рання значущість у недостатньо потужному вікні – це саме та закономірність, яка породжує завищені, невідтворювані переможці.
Чи достатньо 80% потужності? Це загальноприйняте значення за замовчуванням і є розумною відправною точкою, але це означає прийняття 20% ймовірності втрати реального ефекту. Для важливих рішень — редизайн оформлення замовлення, зміна ціни — 90% потужності варті додаткового зразка. Для недорогих, оборотних змін 80% цілком достатньо.
Не впевнені, що ваша програма тестування дає реальні відповіді?
Якщо ваш журнал тестування сповнений дрібних перемог, які ніколи не відображаються у кінцевому результаті, проблема зазвичай криється на початку аналізу. Ми переглядаємо програми експериментів і чітко вказуємо вам, де саме в дизайні є недоліки.
