Довірчий інтервал

Довірчий інтервал – це діапазон значень, розрахований на основі експериментальних даних, який, ймовірно, містить справжній ефект зміни. Якщо тест на значущість повертає бінарний вердикт, довірчий інтервал повідомляє як напрямок, так і ймовірну величину ефекту, а також точність вимірювання. Результат, позначений як «відносне підвищення на 6 відсотків, 95-відсотковий довірчий інтервал від 1 відсотка до 11 відсотків», містить набагато більше інформації, важливої ​​для прийняття рішення, ніж «значущість на рівні 95 відсотків».

Ширина інтервалу є ключовим сигналом. Вузький інтервал означає, що експеримент точно виміряв ефект, і бізнес може планувати навколо цього числа. Широкий інтервал, який все ще виключає нуль, означає, що зміна, ймовірно, була позитивною, але її розмір залишається справді невизначеним, що має значення, коли рішення про впровадження залежить від того, чи є ефект достатньо великим, щоб виправдати витрати на впровадження. Інтервал, який охоплює нуль, означає, що дані сумісні зі зміною, яка допомагає, нічого не робить або шкодить, і жодне впевнене твердження в будь-якому напрямку не підтверджується.

Довірчі інтервали виправляють певну та дорогу звичку: повідомляти про спостережувану точкову оцінку так, ніби це правда. Коли тест повідомляє про 18-відсоткове зростання з інтервалом від 2 до 36 відсотків, головне число, яке потрапляє до підсумкового звіту, майже завжди становить 18 відсотків, і це число потім з'являється в прогнозах, бізнес-кейсах та річних прогнозах. Коли зміна впроваджується та дає 4 відсотки, програму тестування звинувачують у надмірних обіцянках. Представлення інтервалу з самого початку встановлює точні очікування та захищає довіру до практики.

Формальна інтерпретація є більш тонкою, ніж повсякденна. 95-відсотковий довірчий інтервал не означає, що існує 95-відсоткова ймовірність того, що справжній ефект знаходиться всередині цього конкретного інтервалу. Це означає, що процедура, яка створює інтервали таким чином, фіксуватиме справжнє значення у 95 відсотках повторних експериментів. На практиці більшість команд розмірковують про це повсякденним способом і рідко зазнають шкоди, але ця різниця має значення, коли хтось намагається поєднати інтервали в різних тестах або міркувати про конкретний результат у ймовірнісних термінах. Баєсівські методи, які повідомляють про достовірні інтервали з інтуїтивною інтерпретацією, часто є кращими саме з цієї причини.

Інтервали також розкривають вартість сегментного аналізу постфактум. Розподіл експерименту на мобільні та десктопні версії, нові та повернені, платні та органічні, створює інтервали, які різко розширюються, оскільки кожна підмножина зменшується. Сегменти з драматично виглядаючими точковими оцінками та інтервали, що варіюються від сильно негативних до сильно позитивних, є сировиною для більшості хибних висновків в оптимізаційній роботі. Відображення інтервалу поруч із кожним показником сегмента робить слабкість цих показників одразу помітною для неспеціалістів, що є ефективнішим, ніж письмове застереження, яке ніхто не читає.

Повідомлення інтервалів комерційним зацікавленим сторонам вимагає їх перетворення на терміни рішення, а не представлення їх у вигляді статистичної нотації. Ефективне формулювання виражає діапазон у бізнес-одиницях: замість того, щоб повідомляти про відносний інтервал підвищення, вкажіть, що очікується, що зміна призведе до збільшення додаткового щомісячного доходу в межах від нижньої до верхньої цифри, враховуючи поточний трафік. Тоді планування може використовувати консервативний кінець діапазону, який створює прогнози, що виправдовують очікування, тоді як оптимістичний кінець встановлює очікування щодо найкращого реалістичного випадку. Якщо інтервал включає нуль, чесне твердження полягає в тому, що експеримент не зміг встановити, чи допомагає зміна, чи шкодить, і наступне питання полягає в тому, чи хоче бізнес витрачати більше трафіку, звужуючи його, чи приймати рішення на інших підставах, таких як бренд, доступність або вартість обслуговування.

Таким чином, практика звітності у зрілій програмі керується радше інтервалом, ніж вердиктом. аналітика даних Функція, яка стандартизує інтервальну звітність в експериментах, маркетингових вимірюваннях та прогнозуванні, створює спільний організаційний словник для поняття невизначеності, що, своєю чергою, полегшує чесну розмову про те, які результати є достатньо переконливими для побудови стратегії. управління зростанням робота, що чесність посилюється: прогнози, побудовані на інтервальних оцінках, набагато краще переживають контакт з реальністю, ніж ті, що побудовані на вибіркових точкових оцінках з найсприятливішого тесту останнього кварталу.