En A/B-test er en kontrolleret eksperimentmetode, der bruges til at sammenligne to eller flere versioner af en webside, en app-skærm, en e-mail eller et andet digitalt aktiv for at afgøre, hvilken der klarer sig bedst i forhold til et defineret mål, f.eks. klikrate, tilmeldingsrate eller omsætning pr. besøgende. I sin enkleste form fordeles trafikken tilfældigt mellem en kontrolversion (A) og en variant (B), og der foretages en statistisk analyse af de indsamlede data for at afgøre, om den observerede forskel i performance er en reel effekt eller blot resultatet af tilfældig variation. Teknikken er hentet direkte fra den metode med randomiserede kontrollerede forsøg, der anvendes i klinisk forskning og landbrugsvidenskab, og derfor taler praktikere ofte om statistisk signifikans, konfidensintervaller og beregning af stikprøvestørrelse, når de designer tests.
A/B-test er vigtig, fordi den erstatter subjektive holdninger og interne diskussioner med empirisk evidens for, hvordan rigtige besøgende faktisk opfører sig. Design- og marketingteams er ofte uenige om, hvilken overskrift, knapfarve, layout eller prisstruktur der konverterer bedst, og intuition er notorisk upålidelig: undersøgelser på tværs af e-handels- og SaaS-sites har gentagne gange vist, at ændringer, der forventes at forbedre konverteringsraten, ikke gør det, eller endda reducerer den, i cirka 80 til 90 procent af de gennemførte tests. Ved at udsætte en hypotese for et levende publikum og måle resultatet direkte giver A/B-test organisationer mulighed for at validere eller afvise idéer, før de investerer udviklingstid, marketingbudget eller brandrisiko i en fuld udrulning.
En gyldig A/B-test kræver mere end blot at fordele trafikken og sammenligne antallet af konverteringer. Analytikere beregner på forhånd en minimumsstikprøvestørrelse baseret på den eksisterende konverteringsrate, den mindste effekt, der kan registreres og har betydning for virksomheden, samt den ønskede statistiske styrke (typisk 80 procent) og signifikansniveau (typisk 95 procent, eller en p-værdi under 0,05). Tests kører normalt i mindst en til to hele forretningscyklusser, ofte 14 til 30 dage, for at tage højde for effekter fra ugedagen og undgå at stoppe for tidligt på grund af en tilfældig udsvingning, en fejl kendt som peeking. Værktøjer som VWO, Optimizely og AB Tasty håndterer randomisering, tracking og statistiske beregninger, men det kræver stadig forståelse for begreber som sample ratio mismatch og nyhedseffekter at fortolke resultaterne.
En udbredt misforståelse er, at et statistisk signifikant resultat fra en enkelt test er en permanent, universel sandhed. I virkeligheden er resultaterne specifikke for det trafiksegment, den periode og den kontekst, testen blev kørt i, og de kan aftage eller vende, når målgrupper, sæsoner eller konkurrenceforhold ændrer sig. En anden hyppig fælde er at teste for mange variabler på én gang uden tilstrækkelig trafik, hvilket giver tests med for lav styrke, som enten rapporterer falske positiver eller slet ikke når signifikans. Multivariat testing, som undersøger kombinationer af flere elementer samtidig, kræver væsentligt mere trafik end en simpel A/B-test med to varianter og er ikke en genvej uden om kravene til stikprøvestørrelse.
I et CRO- eller UX-rådgivningsforløb er A/B-test den mekanisme, der omsætter kvalitativ research, såsom brugerinterviews, heatmaps og sessionsoptagelser, til validerede beslutninger med effekt på omsætningen. Et velkørende testprogram følger typisk en struktureret proces: identificér et friktionspunkt gennem data og research, formulér en konkret hypotese om, hvorfor det findes, og hvordan det kan løses, prioritér den i forhold til andre idéer med en scoringsmodel, kør eksperimentet til statistisk validitet, og dokumentér læringen, uanset om varianten vandt eller tabte. Over tid skaber det en evidensbaseret køreplan, der reducerer risikoen for dyre redesigns og opbygger institutionel viden om, hvad der faktisk driver kundeadfærden på et givent site.
Flere ord, der begynder med A
AARRR (Pirate Metrics)Above the FoldAcceptkriterier (acceptance criteria)Tilgængelighed (WCAG-overholdelse)Tilgængelighedsaudit (accessibility audit)Affiliate-markedsføringAffordanceAgil udvikling (agile development)Atomic designAttributionsmodelleringAttributionsvindue (Attribution Window)Gennemsnitlig ordreværdi (AOV)
