Hypotesedrevet testing er en struktureret tilgang til eksperimentering, hvor hver test begynder med en eksplicit, falsificerbar påstand, der forudsiger, at en specifik ændring vil give en specifik, målbar effekt på brugeradfærd, typisk formuleret i et format som: fordi vi observerede evidens X, tror vi, at en ændring af Y vil resultere i udfald Z, målt ved metrik M inden for en defineret tidsperiode. Det adskiller sig skarpt fra ad hoc-testing, hvor variationer afprøves ud fra generel intuition eller lånte branche-best practices uden en klart formuleret begrundelse forankret i evidens specifik for det faktiske site eller produkt, der testes på det givne tidspunkt. Nogle teams kræver desuden, at hver hypotese navngiver det specifikke brugersegment, den gælder for, da en ændring, der hjælper førstegangsbesøgende på mobil, kan have ingen effekt, eller endda en negativ, på tilbagevendende desktopkunder, der allerede ved præcis, hvad de kom for at gøre.
Denne disciplin er vigtig, fordi den tvinger et team til at begrunde en foreslået ændring med eksisterende evidens, før man forpligter udviklings- og designressourcer til at bygge og køre en test, hvilket meningsfuldt forbedrer et eksperimentprograms samlede gevinstrate over tid og gør ræsonnementet bag både succeser og fiaskoer genanvendeligt til fremtidigt arbejde andre steder i produktet. En test, der bekræfter eller afkræfter en hypotese funderet i tidligere data, såsom et heatmap, der viser, at brugerne helt overser en central call to action, giver en læring, der kan generaliseres til andre sider med lignende mønstre, mens en test baseret udelukkende på en løsrevet kreativ idé, selv når den tilfældigvis vinder, ofte giver et resultat, der er reelt svært at forklare eller anvende andre steder i produktet.
I praksis fører hypotesedrevne testprogrammer typisk en løbende backlog af hypoteser genereret fra flere kilder på én gang, herunder analysedata, heatmaps og sessionsoptagelser, brugerinterviews, temaer fra kundesupport og konkurrenceanalyse af lignende virksomheder i samme kategori. Backloggen prioriteres med et scoringsframework som ICE, der vurderer hver hypotese efter potentiel effekt, sikkerhed i den underliggende evidens og lethed ved implementering. Når en hypotese er prioriteret, operationaliseres den til en A/B-test med en klart defineret primær metrik, en mindste detekterbar effekt og en nødvendig stikprøvestørrelse beregnet på forhånd, og testen køres derefter, indtil den når statistisk signifikans, ofte et konfidensniveau på 95 procent, i stedet for at blive stoppet tidligt på baggrund af et fristende, men for tidligt mellemresultat.
En almindelig misforståelse er, at en hypotese blot er en beskrivelse af, hvordan varianten kommer til at se ud, f.eks. vi gør knappen rød, frem for en begrundet forudsigelse, der forbinder eksisterende evidens med et forventet adfærdsudfald; en korrekt formuleret hypotese angiver altid den underliggende antagelse om brugeradfærd, som designændringen specifikt er ment til at teste og validere. En anden væsentlig fælde er at behandle en tabende test som en fiasko for hele processen frem for et gyldigt og reelt værdifuldt læringsudbytte i sig selv, da en hypotese, der er modbevist af rigtige brugerdata, stadig eliminerer en forkert antagelse og omdirigerer fremtidig indsats mere produktivt, end hvis idéen aldrig var blevet testet, en vigtig kulturel skelnen, som erfarne CRO-praktikere arbejder hårdt på at forankre i kundeorganisationer over tid.
I en CRO-rådgivning er hypotesedrevet testing den driftsmodel, som næsten alle kunders eksperimentprogrammer er struktureret omkring, da den giver et forsvarligt, reviderbart spor, der forbinder et observeret problem med en foreslået løsning og et målt udfald. Dette spor er afgørende både for at begrunde den løbende investering i et kontinuerligt testprogram over for skeptiske interessenter og for at opbygge en institutionel vidensbase, der vokser betydeligt i værdi, efterhånden som flere hypoteser testes, forfines og enten valideres eller endegyldigt udelukkes over successive testrunder på tværs af produktet. Over tid bliver denne akkumulerede optegnelse over validerede og modbeviste hypoteser et af en rådgivnings mest værdifulde aktiver, da den gør det muligt at designe nye eksperimenter med fordel af alt, hvad der allerede er lært, frem for at starte på et blankt ark hver gang.
