Hypotesedrevet testing er en strukturert tilnærming til eksperimentering der hver test starter med en eksplisitt, falsifiserbar påstand som forutsier at en bestemt endring vil gi en bestemt, målbar effekt på brukeratferd, vanligvis formulert etter et format som: fordi vi observerte evidens X, tror vi at endring av Y vil gi resultat Z, målt med metrikk M innenfor en definert tidsperiode. Dette skiller seg skarpt fra ad hoc-testing, der variasjoner prøves ut fra generell intuisjon eller lånt bransjepraksis uten en klart formulert begrunnelse forankret i evidens som er spesifikk for det aktuelle nettstedet eller produktet som testes. Noen team krever i tillegg at hver hypotese navngir det konkrete brukersegmentet den gjelder for, siden en endring som hjelper førstegangsbesøkende på mobil kan ha ingen effekt, eller til og med en negativ effekt, på returnerende desktopkunder som allerede vet nøyaktig hva de kom for å gjøre.
Denne disiplinen er viktig fordi den tvinger et team til å begrunne en foreslått endring med eksisterende evidens før design- og utviklingsressurser brukes på å bygge og kjøre en test, noe som over tid betydelig forbedrer vinnerandelen i et eksperimentprogram og gjør resonnementet bak både suksesser og fiaskoer gjenbrukbart i fremtidig arbeid andre steder i produktet. En test som bekrefter eller avkrefter en hypotese forankret i tidligere data, som et heatmap som viser at brukere helt overser en viktig handlingsoppfordring, gir en læring som kan generaliseres til andre sider med lignende mønstre, mens en test basert utelukkende på en uforankret kreativ idé, selv når den tilfeldigvis vinner, ofte gir et resultat som er genuint vanskelig å forklare eller anvende noe annet sted i produktet.
I praksis vedlikeholder hypotesedrevne testprogrammer vanligvis en løpende backlog med hypoteser generert fra flere kilder samtidig, blant annet analysedata, heatmaps og øktopptak, brukerintervjuer, temaer fra kundeservice og konkurrentanalyse av lignende virksomheter i samme kategori. Denne backloggen prioriteres med et poengsystem som ICE, som vurderer hver hypotese etter potensiell effekt, tillit til det underliggende evidensgrunnlaget og enkelhet i implementeringen. Når en hypotese er prioritert, operasjonaliseres den som en A/B-test med en klart definert primærmetrikk, en minste detekterbare effekt og en nødvendig utvalgsstørrelse beregnet på forhånd, og testen kjøres deretter til den når statistisk signifikans, vanligvis et konfidensnivå på 95 prosent, i stedet for å stoppes tidlig på grunn av et fristende, men for tidlig mellomresultat.
En vanlig misforståelse er at en hypotese bare er en beskrivelse av hvordan varianten vil se ut, som vi gjør knappen rød, i stedet for en begrunnet prediksjon som knytter eksisterende evidens til et forventet atferdsutfall; en riktig formulert hypotese angir alltid den underliggende antakelsen om brukeratferd som designendringen er ment å teste og validere. En annen betydelig felle er å behandle en tapende test som en svikt i hele prosessen i stedet for et gyldig og genuint verdifullt læringsutbytte i seg selv, siden en hypotese som er motbevist av reelle brukerdata likevel fjerner en feilaktig antakelse og omdirigerer fremtidig innsats mer produktivt enn om ideen aldri var testet, et viktig kulturelt skille erfarne CRO-fagfolk jobber hardt for å forankre i kundeorganisasjoner over tid.
I et rådgivningsselskap innen CRO er hypotesedrevet testing driftsmodellen nesten alle kunders eksperimentprogrammer er bygget rundt, siden den gir et forsvarlig, etterprøvbart spor som knytter et observert problem til en foreslått løsning og et målt resultat. Dette sporet er avgjørende både for å rettferdiggjøre den løpende investeringen i et kontinuerlig testprogram overfor skeptiske beslutningstakere, og for å bygge en institusjonell kunnskapsbase som vokser betydelig i verdi etter hvert som flere hypoteser testes, forfines og enten valideres eller definitivt utelukkes gjennom påfølgende testrunder på tvers av produktet. Over tid blir denne akkumulerte oversikten over validerte og motbeviste hypoteser et av et rådgivningsselskaps mest verdifulle aktiva, siden den lar nye eksperimenter utformes med fordel av alt som allerede er lært, i stedet for å starte med blanke ark hver gang.
