Мінімальний виявний ефект (MDE)

Мінімальний виявний ефект, зазвичай скорочено МВЕ, – це найменша зміна показника, яку експеримент має надійно виявити. Він встановлюється перед початком тестування та є прямим вхідним фактором для розрахунку розміру вибірки. Експеримент із МВЕ 10 відсотків побудований для виявлення покращень на 10 відсотків або більше із заданим рівнем достовірності та потужності; менші справжні покращення часто залишаються непоміченими цим тестом, виглядаючи радше як непереконливі результати, ніж як перемоги.

MDE часто неправильно розуміють як прогноз того, наскільки варіант покращить конверсію. Це не прогноз. Це налаштування чутливості, в тому ж сенсі, що шкала має найменший вимірюваний приріст. Його встановлення не робить ефект більш чи менш ймовірним; воно визначає, чи має експеримент достатню роздільну здатність, щоб побачити ефект, якщо він є. Плутанина цих двох понять призводить до знайомої неприємної розмови після завершення тесту, де команда стверджує, що варіант «мав би перемогти», оскільки MDE було встановлено на рівні 15 відсотків, тоді як насправді MDE описував лише те, що міг побачити тест.

Правильний спосіб встановлення MDE – комерційний, а не статистичний. Питання полягає в тому, який розмір покращення виправдає витрати на створення, доставку та підтримку змін, плюс альтернативну вартість трафіку, витраченого на їх вимірювання. При великій кількості оформлення замовлення відносне підвищення на 2 відсотки може коштувати значної річної цифри, а отже, вартувати тривалого тестування. При контактній формі з низьким трафіком покращення нижче 20 відсотків може взагалі не мати значення, оскільки абсолютна кількість додаткових потенційних клієнтів є незначною. Робота у зворотному напрямку від бізнес-цінності дозволяє прив’язати дорожню карту тестування до результатів, а не до статистичної зручності.

Існує неминуча напруга між амбітним MDE та фактичним трафіком сайту. Команди, які перебувають під тиском щодо показу результатів, часто вирішують це питання не в тому напрямку, непомітно підвищуючи MDE, доки розрахунок розміру вибірки не поверне комфортну кількість днів. Це призводить до експериментів, які є технічно обґрунтованими, але практично марними: вони здатні виявляти лише настільки значні ефекти, що вони були б очевидними без тестування. Чесна альтернатива полягає в тому, щоб визнати, що на деякі питання неможливо відповісти експериментально за поточного рівня трафіку, і спрямувати їх на інші методи, такі як тестування зручності використання, аналітичне дослідження або експертний огляд.

MDE також формує дизайн самого варіанту. Якщо тест має виявити 15-відсоткове покращення, щоб його варто було провести, незначна зміна тексту кнопки навряд чи допоможе досягти цього результату, і команді краще протестувати суттєво інший підхід до сторінки: реструктуровану ціннісну пропозицію, іншу довжину форми, змінене представлення цін. Ось чому програми з обмеженим трафіком, як правило, створюють цікавішу роботу, ніж програми з необмеженим трафіком, які можуть дозволити собі тестувати вікторини.

Постійним джерелом плутанини є те, чи виражається ефект у відносному чи абсолютному вираженні, і різниця не є тривіальною. При базовому коефіцієнті конверсії два відсотки відносне покращення на десять відсотків означає перехід до 2.2 відсотка, абсолютну зміну на 0.2 процентного пункту. Абсолютне покращення на десять відсотків означатиме перехід до дванадцяти відсотків, чого не призводить жодна реальна зміна. Калькулятори розміру вибірки, тестові платформи та зацікавлені сторони часто перемикаються між двома умовними поняттями, не кажучи про це, і план, побудований на неправильному тлумаченні, або визначатиме експеримент, який не може бути завершений, або той, який є надзвичайно потужним. Чітке зазначення умовного поняття в кожному плані тестування разом з базовим рівнем та результуючим абсолютним числом усуває неоднозначність, яка в іншому випадку виникає щоразу, коли результати обговорюються з людьми поза межами аналітичної функції.

На практиці рішення щодо MDE приймаються колективно під час планування дорожньої карти, а не аналітиком, який працює самостійно. Послуга CRO Зазвичай у процесі залучення документується для кожного запланованого експерименту базова частота, MDE, отриманий розмір вибірки та орієнтований час виконання, щоб зацікавлені сторони могли бачити вартість кожного питання, перш ніж взяти на себе зобов'язання щодо нього. Для організацій, що проводять експерименти на кількох об'єктах або ринках, ця документація також запобігає поширеній помилці застосування однієї конвенції MDE до сайтів з радикально різними профілями трафіку, що часто спостерігається в підприємство програми, де центральний стандарт передається командам, трафік яких не може його підтримувати.