Культура експериментів

Культура експериментування описує набір спільних норм, стимулів та звичок прийняття рішень, які визначають, чи дійсно організація використовує докази для прийняття рішень щодо продукту та маркетингу. Вона відрізняється від можливостей експериментування, які являють собою інструменти, трафік та технічні навички, необхідні для проведення тестів. Багато організацій набувають можливості, але ніколи не розвивають культуру, саме тому платформи для тестування часто купуються, з ентузіазмом використовуються протягом кварталу, а потім тихо покидаються.

Визначальною рисою здорової культури експериментування є те, що помилятися – це нормально та дешево. Згідно з опублікованими звітами великих технологічних компаній, лише меншість експериментів призводить до покращення, якого очікували їхні автори, а значна частка погіршує ситуацію. Якщо невдалий тест розглядається як провал людини, яка його запропонувала, люди перестануть пропонувати щось ризиковане, тестуватимуть лише зміни, в яких вони впевнені, та знайдуть способи сприятливо інтерпретувати неоднозначні результати. Потім програма зводиться до тривіальних тестів з передбачуваними результатами, які не генерують жодного навчання та жодної цінності.

Друга характеристика полягає в тому, що старшинство не скасовує докази. Культура, де результат тесту може бути скасований уподобанням керівництва без нових доказів, вчить усіх, що експериментування – це театр. Це не означає, що дані повинні автоматично диктувати кожне рішення; бренд, юридичні аспекти, доступність та довгострокові стратегічні міркування мають законне право скасовувати короткостроковий результат конверсії. Важливо, щоб таке скасування було явним та обґрунтованим, а не мовчазним, щоб організація зберігала спільне розуміння того, що насправді говорять докази.

По-третє, знання фіксуються та використовуються повторно. Без репозиторію минулих експериментів з можливістю пошуку, включаючи їхні гіпотези, плани, результати та інтерпретації, організації повторно тестують ті самі ідеї кожні вісімнадцять місяців, коли персонал змінюється. Добре підтримуваний репозиторій перетворює послідовність ізольованих тестів на накопичувальний актив: сукупність знань про те, на що реагує ця конкретна аудиторія, що набагато цінніше за будь-яку окрему перемогу, і його неможливо отримати з галузевих бенчмарків чи досліджень конкурентів.

Побудова культури зазвичай вимагає продуманої послідовності, а не оголошення. Почніть з невеликої кількості добре проведених експериментів над значущими проблемами, щоб ранні результати були достовірними. Публікуйте результати в узгодженому форматі, який включає невдачі з однаковою важливістю. Залучіть одного старшого спонсора, щоб він помітно змінив рішення на основі результату. Навчіть зацікавлених сторін, як інтерпретувати розміри ефектів та інтервали, щоб вони могли взаємодіяти з висновками, а не отримувати вердикти. Заздалегідь встановіть правила прийняття рішень, щоб суперечки відбувалися під час проектування, а не після отримання цифр. Розширюйте сферу застосування лише тоді, коли практика стане довірливою.

Вимірювання самої програми заслуговує на таку ж ретельність, яку програма застосовує в інших сферах. Підрахунок проведених тестів є слабким показником, а підрахунок перемог ще гіршим, оскільки він винагороджує тестування безпечних ідей. Більш корисні показники включають частку експериментів, які призвели до задокументованого навчання незалежно від результату, частку дорожньої карти, що стосується проблем, виявлених на основі доказів, а не на основі думок, кумулятивний ефект, виміряний порівняно з ухиленням, та кількість рішень, які були змінені доказами. Останній з них є найпрямішим показником того, що культура взагалі існує: організація, де протягом року жодного суттєвого рішення не було змінено результатом експерименту, не має культури експериментування, що б не підказували її інструменти та обсяг тестування, а відповідне втручання здійснюється на рівні прав прийняття рішень, а не методології.

Технічна робота зазвичай є легшою половиною. На практиці, управління зростанням Залучення витрачає значну частину своїх зусиль на управління, формати звітності, права прийняття рішень та навчання зацікавлених сторін, а не на статистику чи інструменти, оскільки саме ці обмеження визначають, чи щось змінять результати. Якщо організація починає з відсутності історії експериментів, структурована стратегічне планування та консалтинг Зазвичай спочатку потрібна фаза, щоб узгодити, які рішення бізнес справді хоче прийняти на основі доказів, а які вже встановлені з причин, які не змінить жоден експеримент.