Тестването, основано на хипотези, е структуриран подход към експериментирането, при който всеки тест започва с изрично, опровержимо твърдение, предвиждащо, че конкретна промяна ще доведе до конкретен, измерим ефект върху поведението на потребителите, обикновено формулирано във формат като: тъй като наблюдавахме доказателство X, вярваме, че промяната на Y ще доведе до резултат Z, измерен чрез показател M в рамките на определен период от време. Това се различава рязко от ad hoc тестването, при което вариантите се изпробват въз основа на обща интуиция или заимствана отраслова добра практика без ясно формулирана причина, основана на доказателства, специфични за самия сайт или продукт, който се тества в момента. Някои екипи изискват допълнително всяка хипотеза да назовава конкретния потребителски сегмент, за който се отнася, тъй като промяна, която помага на посетителите за първи път от мобилни устройства, може да няма ефект или дори да има негативен ефект върху връщащите се клиенти от настолни устройства, които вече знаят точно какво са дошли да направят.
Тази дисциплина е важна, защото принуждава екипа да обоснове предложената промяна със съществуващи доказателства, преди да ангажира ресурси за инженерство и дизайн, за да изгради и проведе тест, което значително подобрява общия процент на успех на програмата за експериментиране с времето и прави логиката зад успехите и неуспехите използваема за бъдеща работа другаде в продукта. Тест, който потвърждава или опровергава хипотеза, основана на предишни данни, като топлинна карта, показваща, че потребителите напълно пренебрегват ключов призив за действие, води до извод, който се обобщава за други страници със сходни модели, докато тест, основан единствено на несвързана творческа идея, дори когато случайно печели, често дава резултат, който е наистина труден за обяснение или прилагане където и да било другаде в продукта.
На практика програмите за тестване, основано на хипотези, обикновено поддържат текущ списък от хипотези, генерирани едновременно от множество източници, включително аналитични данни, топлинни карти и записи на сесии, интервюта с потребители, теми от клиентската поддръжка и конкурентен анализ на сходни бизнеси в същата категория. Този списък се приоритизира с рамка за оценяване като ICE, която оценява всяка хипотеза по потенциално въздействие, увереност в основните доказателства и лекота на внедряване. След като бъде приоритизирана, хипотезата се операционализира в A/B тест с ясно определен основен показател, минимален откриваем ефект и необходим размер на извадката, изчислен предварително, а тестът след това се изпълнява до достигане на статистическа значимост, обикновено ниво на достоверност от 95 процента, а не се спира рано въз основа на привлекателен, но преждевременен междинен резултат.
Често срещано заблуждение е, че хипотезата е просто описание как ще изглежда вариантът, например ще направим бутона червен, а не обосновано предвиждане, свързващо съществуващите доказателства с очакван поведенчески резултат; правилно формулираната хипотеза винаги посочва основното убеждение за поведението на потребителите, което промяната в дизайна е специално предназначена да тества и валидира. Друг значителен капан е третирането на губещия тест като провал на целия процес, а не като валиден и наистина ценен резултат от учене сам по себе си, тъй като хипотеза, опровергана от реални потребителски данни, пак елиминира неправилно предположение и пренасочва бъдещите усилия по-продуктивно, отколкото ако идеята изобщо не е била тествана, важна културна разлика, която опитните специалисти по CRO работят упорито да вградят в организациите на клиентите с времето.
В рамките на консултантска агенция по CRO тестването, основано на хипотези, е оперативният модел, около който са структурирани почти всички клиентски програми за експериментиране, тъй като осигурява защитима, проследима верига, свързваща наблюдавания проблем с предложеното решение и измерения резултат. Тази верига е от съществено значение както за оправдаване на текущата инвестиция в програма за непрекъснато тестване пред скептични заинтересовани страни, така и за изграждането на институционална база знания, чиято стойност нараства значително, докато повече хипотези се тестват, прецизират и биват или потвърдени, или окончателно отхвърлени през последователни кръгове тестване в продукта. С времето този натрупан архив от потвърдени и опровергани хипотези се превръща в един от най-ценните активи на консултантската агенция, тъй като позволява новите експерименти да се проектират с предимството на всичко вече научено, вместо всеки път да се започва от бял лист.
