Экспериментальная культура

Культура экспериментирования описывает набор общих норм, стимулов и привычек принятия решений, которые определяют, действительно ли организация использует данные для принятия решений, касающихся продукта и маркетинга. Она отличается от возможностей экспериментирования, которые представляют собой инструменты, трафик и технические навыки, необходимые для проведения тестов. Многие организации приобретают возможности, но так и не развивают культуру экспериментирования, поэтому платформы для тестирования часто покупаются, активно используются в течение квартала, а затем тихо забрасываются.

Отличительной чертой здоровой культуры экспериментирования является то, что ошибки — это нормально и ничего не стоят. Согласно опубликованным отчетам крупных технологических компаний, лишь меньшинство экспериментов приводит к ожидаемым улучшениям, а значительная часть ухудшает ситуацию. Если неудачный тест рассматривается как ошибка того, кто его предложил, люди перестанут предлагать что-либо рискованное, будут тестировать только те изменения, в которых уверены, и будут искать способы благоприятно интерпретировать неоднозначные результаты. В результате программа сводится к тривиальным тестам с предсказуемыми результатами, которые не приносят ни обучения, ни пользы.

Вторая характеристика заключается в том, что стаж работы не перевешивает доказательства. Культура, в которой результат теста может быть отменен по усмотрению руководителя без новых доказательств, учит всех, что экспериментирование — это театр. Это не означает, что данные должны механически диктовать каждое решение; соображения бренда, юридические аспекты, доступность и долгосрочная стратегия имеют законное право перевешивать краткосрочный результат конверсии. Важно, чтобы это переопределение было явным и обоснованным, а не молчаливым, чтобы в организации сохранялось общее понимание того, что на самом деле показали доказательства.

В-третьих, полученные знания фиксируются и используются повторно. Без доступного для поиска хранилища прошлых экспериментов, включая их гипотезы, планы, результаты и интерпретации, организации перепроверяют одни и те же идеи каждые восемнадцать месяцев из-за смены персонала. Хорошо поддерживаемое хранилище превращает последовательность отдельных тестов в накапливающийся актив: совокупность знаний о том, на что реагирует конкретная аудитория, что гораздо ценнее любой отдельной победы и чего нельзя получить из отраслевых показателей или исследований конкурентов.

Формирование культуры обычно требует продуманной последовательности действий, а не простого объявления. Начните с небольшого количества хорошо спланированных экспериментов по значимым проблемам, чтобы первые результаты были достоверными. Публикуйте результаты в едином формате, уделяя одинаковое внимание и неудачам. Добейтесь того, чтобы один из старших спонсоров заметно изменил решение на основе полученного результата. Обучите заинтересованных лиц тому, как интерпретировать размеры эффекта и интервалы, чтобы они могли взаимодействовать с результатами, а не получать готовые вердикты. Заранее установите правила принятия решений, чтобы споры возникали на этапе проектирования, а не после получения данных. Расширяйте сферу применения только тогда, когда практика завоюет доверие.

Оценка эффективности самой программы заслуживает той же строгости, что и оценка эффективности в других областях. Подсчет проведенных тестов — слабый показатель, а подсчет побед еще хуже, поскольку он поощряет тестирование безопасных идей. Более полезными показателями являются доля экспериментов, которые привели к документированному обучению независимо от результата, доля плана действий, направленного на решение проблем, выявленных на основе фактических данных, а не мнений, кумулятивный эффект, измеренный по отношению к контрольной группе, и количество решений, которые были изменены на основе фактических данных. Последний показатель является наиболее прямым индикатором существования культуры экспериментирования: в организации, где ни одно значимое решение не было изменено результатами экспериментов за год, отсутствует культура экспериментирования, независимо от используемых инструментов и объема тестирования, и соответствующее вмешательство должно осуществляться на уровне прав принятия решений, а не методологии.

Техническая работа обычно оказывается самой легкой половиной. На практике же... управление ростом В сфере взаимодействия значительная часть усилий тратится на управление, форматы отчетности, права принятия решений и обучение заинтересованных сторон, а не на статистику или инструменты, поскольку именно эти ограничения определяют, изменятся ли результаты. В организациях, начинающих свою деятельность без какого-либо опыта экспериментов, структурированный подход будет наиболее эффективным. стратегическое планирование и консалтинг Обычно первым этапом является согласование того, какие решения компания действительно хочет принимать, опираясь на доказательства, а какие уже приняты по причинам, которые не изменятся в результате эксперимента.