Култура на експериментирането

Културата на експериментиране описва набора от споделени норми, стимули и навици за вземане на решения, които определят дали една организация действително използва доказателства, за да взема решения за продукти и маркетинг. Тя е различна от възможностите за експериментиране, които представляват инструментите, трафикът и техническите умения, необходими за провеждане на тестове. Много организации придобиват възможностите, но никога не развиват културата, поради което платформите за тестване често се купуват, използват ентусиазирано в продължение на тримесечие и след това тихо се изоставят.

Определящата характеристика на здравословната експериментаторска култура е, че да се греши е нормално и евтино. В публикуваните отчети на големи технологични компании само малка част от експериментите водят до подобрението, което авторите им очакваха, а значителен дял влошава нещата. Ако неуспешен тест се третира като провал на човека, който го е предложил, хората ще спрат да предлагат нещо рисковано, ще тестват само промени, в които са уверени, и ще намерят начини да интерпретират двусмислените резултати благоприятно. След това програмата се насочва към тривиални тестове с предвидими резултати, които не генерират никакво учене и никаква стойност.

Втората характеристика е, че старшинството не отменя доказателствата. Култура, в която резултатът от тест може да бъде отменен от предпочитание на ръководството, без нови доказателства, учи всички, че експериментирането е театър. Това не означава, че данните трябва механично да диктуват всяко решение; съображенията за марка, правни аспекти, достъпност и дългосрочни стратегии легитимно отменят краткосрочния резултат от конверсията. Важното е отменянето да е изрично и обосновано, а не мълчаливо, така че организацията да запази общо разбиране за това какво всъщност са казали доказателствата.

Трето, наученото се улавя и използва повторно. Без хранилище с възможност за търсене на минали експерименти, включително техните хипотези, дизайни, резултати и интерпретации, организациите тестват едни и същи идеи отново на всеки осемнадесет месеца, когато персоналът се сменя. Добре поддържаното хранилище превръща поредица от изолирани тестове в натрупващ се актив: набор от знания за това на какво реагира тази специфична аудитория, което е далеч по-ценно от всяка индивидуална победа и не може да бъде придобито от отраслови бенчмаркове или проучвания на конкуренти.

Изграждането на култура обикновено изисква преднамерена последователност, а не просто обявяване. Започнете с малък брой добре проведени експерименти върху смислени проблеми, така че ранните резултати да са достоверни. Публикувайте резултатите в последователен формат, който включва и неуспехите с еднаква важност. Накарайте един старши спонсор видимо да промени решение въз основа на резултат. Обучете заинтересованите страни как да тълкуват размерите на ефектите и интервалите, така че да могат да се ангажират с откритията, вместо да им се връчват присъди. Установете предварително правила за вземане на решения, така че споровете да се случват по време на проектиране, а не след като числата пристигнат. Разширявайте обхвата само след като практиката е доверена.

Самото измерване на програмата заслужава същата строгост, която програмата прилага другаде. Броенето на проведените тестове е слаб индикатор, а броенето на победите е по-лошо, тъй като възнаграждава тестването на безопасни идеи. По-полезните мерки включват дела на експериментите, които са довели до документирано обучение, независимо от резултата, дела на пътната карта, адресираща проблеми, идентифицирани от доказателства, а не от мнение, кумулативния ефект, измерен спрямо възражение, и броя на решенията, които са били променени от доказателства. Последният от тях е най-прекият индикатор, че културата изобщо съществува: организация, в която нито едно съществено решение не е било променено от резултат от експеримент за една година, няма култура на експериментиране, каквото и да предполагат нейните инструменти и обем на тестовете, и подходящата интервенция е на ниво права за вземане на решения, а не на методология.

Техническата работа обикновено е по-лесната половина. На практика, управление на растежа Ангажираността на участниците изразходва значителна част от усилията си за управление, формати за отчитане, права за вземане на решения и обучение на заинтересованите страни, а не за статистика или инструменти, защото това са ограниченията, които определят дали резултатите ще променят нещо. Когато една организация започва от липса на история на експериментиране, структурирана... стратегическо планиране и консултиране Обикновено първо е необходима фаза, за да се съгласува кои решения бизнесът наистина иска да вземе с доказателства и кои вече са установени по причини, които никакъв експеримент няма да промени.