A hipotézisvezérelt tesztelés a kísérletezés strukturált megközelítése, amelyben minden teszt egy explicit, cáfolható állítással kezdődik, amely azt jósolja, hogy egy konkrét változtatás konkrét, mérhető hatást gyakorol a felhasználói viselkedésre, jellemzően olyan formátumban megfogalmazva, mint: mivel X bizonyítékot figyeltünk meg, úgy gondoljuk, hogy az Y megváltoztatása Z eredményt hoz, amelyet M mutatóval mérünk meghatározott időszakon belül. Ez élesen különbözik az ad hoc tesztelésről, ahol a variációkat általános intuíció vagy átvett iparági bevált gyakorlat alapján próbálják ki, anélkül, hogy az épp tesztelt oldalra vagy termékre jellemző bizonyítékokon alapuló, világosan megfogalmazott indok állna mögöttük. Egyes csapatok megkövetelik, hogy minden hipotézis megnevezze azt a konkrét felhasználói szegmenst is, amelyre vonatkozik, mivel egy olyan változtatás, amely az első alkalommal érkező mobilos látogatóknak segít, lehet, hogy semmilyen, vagy akár negatív hatással van azokra a visszatérő asztali ügyfelekre, akik pontosan tudják, mit akarnak csinálni.
Ez a fegyelem azért fontos, mert arra kényszeríti a csapatot, hogy egy javasolt változtatást meglévő bizonyítékkal indokoljon, mielőtt fejlesztői és dizájnerforrásokat köt le egy teszt megépítésére és lefuttatására, ami érdemben javítja a kísérletezési program általános nyerési arányát idővel, és a sikerek és kudarcok mögötti gondolatmenetet a termék más részein végzett jövőbeli munkában is felhasználhatóvá teszi. Az a teszt, amely megerősít vagy megcáfol egy korábbi adatokra – például egy olyan hőtérképre, amely azt mutatja, hogy a felhasználók teljesen figyelmen kívül hagynak egy kulcsfontosságú cselekvésre ösztönző elemet – alapozott hipotézist, olyan tanulságot eredményez, amely általánosítható más, hasonló mintákat mutató oldalakra, míg az egy kizárólag megalapozatlan kreatív ötleten alapuló teszt – még ha véletlenül nyer is – gyakran olyan eredményt hoz, amelyet nagyon nehéz megmagyarázni vagy a termék bármely más részén alkalmazni.
A gyakorlatban a hipotézisvezérelt tesztelési programok jellemzően folyamatosan vezetett hipotézis-backlogot tartanak fenn, amelyet egyszerre több forrásból táplálnak, többek között analitikai adatokból, hőtérképekből és munkamenet-felvételekből, felhasználói interjúkból, az ügyfélszolgálat témáiból, valamint az azonos kategóriába tartozó hasonló vállalkozások versenytárs-elemzéséből. Ezt a backlogot olyan pontozási keretrendszerrel rangsorolják, mint az ICE, amely minden hipotézist a lehetséges hatás, az alapul szolgáló bizonyíték megbízhatósága és a megvalósítás könnyűsége szerint értékel. A rangsorolás után a hipotézist A/B teszttel operacionalizálják, világosan meghatározott elsődleges mutatóval, minimálisan kimutatható hatással és előre kiszámított szükséges mintamérettel, majd a tesztet addig futtatják, amíg eléri a statisztikai szignifikanciát – általában a 95 százalékos megbízhatósági szintet –, nem pedig egy vonzó, de korai közbenső eredmény alapján idő előtt leállítják.
Gyakori tévhit, hogy a hipotézis egyszerűen annak leírása, hogyan fog kinézni a variáns – például „a gombot pirosra tesszük” –, nem pedig a meglévő bizonyítékot egy várt viselkedési eredményhez kapcsoló, megindokolt előrejelzés; egy megfelelően megfogalmazott hipotézis mindig kimondja a felhasználói viselkedésről szóló mögöttes feltevést, amelyet a dizájnváltoztatás kifejezetten tesztelni és validálni hivatott. Másik jelentős buktató, hogy a vesztes tesztet a teljes folyamat kudarcaként kezelik, nem pedig önmagában érvényes és valóban értékes tanulási eredményként, mivel egy valós felhasználói adatokkal megcáfolt hipotézis is kiküszöböl egy téves feltételezést, és a jövőbeli erőfeszítést termékenyebb irányba tereli, mintha az ötletet soha nem tesztelték volna – ez fontos kulturális különbségtétel, amelyet a tapasztalt CRO-szakemberek keményen dolgoznak azon, hogy idővel az ügyfélszervezetekbe beágyazzanak.
Egy CRO-tanácsadó cégnél a hipotézisvezérelt tesztelés az az üzemi modell, amely köré az ügyfelek szinte valamennyi kísérletezési programja épül, mivel védhető, auditálható nyomvonalat biztosít a megfigyelt problémától a javasolt megoldáson át a mért eredményig. Ez a nyomvonal elengedhetetlen mind a folyamatos tesztelési program tartós befektetésének megindokolásához a szkeptikus érdekelt felek előtt, mind egy olyan intézményi tudásbázis felépítéséhez, amely értékében érdemben halmozódik, ahogy egyre több hipotézist tesztelnek, finomítanak, majd vagy igazolnak, vagy véglegesen elvetnek a termék különböző tesztelési köreiben. Idővel az igazolt és megcáfolt hipotézisek e felhalmozott nyilvántartása a tanácsadó cég egyik legértékesebb eszközévé válik, mivel lehetővé teszi, hogy az új kísérleteket mindannak előnyével tervezzék meg, amit már megtanultak, ahelyett, hogy minden alkalommal üres lapról indulnának.
