Bayesiansk A/B-testning

Bayesiansk A/B-testning er en tilgang til eksperimentanalyse, der rapporterer sandsynligheden for, at én variant er bedre end en anden, givet de observerede data og eventuelle forudgående oplysninger. Den står i kontrast til den frekventistiske tilgang, som rapporterer, hvor overraskende dataene ville være, hvis varianten ikke havde nogen effekt. Den praktiske forskel ligger i outputtet: Bayesianske metoder producerer udsagn som "der er en 93 procents sandsynlighed for, at variant B overgår kontrollen, med et forventet tab på 0.2 procent, hvis vi vælger forkert", hvilket knyttes direkte til forretningsbeslutninger.

Metoden fungerer ved at kombinere en forudgående fordeling, der repræsenterer antagelser om den sandsynlige effekt før testen, med de observerede data for at producere en posterior fordeling af plausible effekter. Denne posterior kan derefter forespørges på den måde, som beslutningen kræver: sandsynligheden for enhver forbedring overhovedet, sandsynligheden for en forbedring over en kommercielt meningsfuld tærskelværdi eller de forventede omkostninger ved at træffe den forkerte beslutning. Adskillige udbredte testplatforme har indført Bayesiansk rapportering som deres standard af netop denne grund, fordi outputtene kræver mindre oversættelse, før en interessent kan handle på dem.

Den hyppigst nævnte fordel er, at Bayesianske resultater er mere robuste over for kontinuerlig overvågning. Fordi posterior-analysen opdateres, efterhånden som data ankommer, og ikke er bygget på en antagelse om en fast stikprøve, vil gentagne undersøgelser af resultater ikke oppuste fejlraterne, som det gør med naive frekventistiske p-værdier. Dette er virkelig nyttigt i kommercielle sammenhænge, ​​hvor interessenter vil tjekke dashboards uanset hvad analyseprotokollen siger. Det er dog ikke en licens til at stoppe en test i det øjeblik, et tal ser godt ud: at stoppe på baggrund af den metrik, man ser, skæver stadig den estimerede effektstørrelse opad, og korte tests overser stadig ugentlige cyklusser og nyhedseffekter uanset den statistiske ramme.

Prioren er både metodens styrke og dens mest almindelige kilde til uenighed. En svagt informativ prior, hvilket er det, de fleste platforme bruger som standard, har ringe indflydelse på resultatet, når en rimelig mængde data er akkumuleret. En stærk prior afledt af en organisations egen historik med tidligere eksperimenter kan forbedre estimaterne betydeligt, især for tests med lav trafik, ved at trække usandsynligt store observerede effekter tilbage mod det interval, som erfaringen siger er realistisk. Men en prior, der er valgt til at understøtte en ønsket konklusion, er uforsvarlig, hvilket er grunden til, at priors bør dokumenteres og aftales, før en test starter, snarere end at blive valgt under analysen.

Ingen af ​​rammerne redder et dårligt designet eksperiment. Bayesiansk analyse af en test med en brudt randomisering, en sporingsfejl, en uoverensstemmelse i stikprøveforholdet eller en metrik, der ikke afspejler forretningsværdi, vil give et sikkert og præcist svar på det forkerte spørgsmål. Valget mellem rammerne er et rapporterings- og beslutningsteorivalg; kvaliteten af ​​det underliggende eksperimentdesign er det, der afgør, om svaret er noget værd.

Det output, der gør frameworket virkelig nyttigt i kommercielle sammenhænge, ​​er forventet tab, undertiden kaldet risiko. I stedet for at spørge, om en variant er bedre, spørger den, hvor meget der i gennemsnit ville blive givet afkald på ved at vælge varianten, hvis den viser sig at være værre. En beslutningsregel udtrykt som "shipping", når det forventede tab falder under en tærskel, som virksomheden anser for ubetydelig, afspejler direkte, hvordan kommercielle beslutninger faktisk træffes, da ingen kræver sikkerhed om en ændring, hvis ulempe er triviel. Den håndterer også den almindelige situation, hvor to varianter præsterer næsten identisk: sandsynligheden for, at den ene er bedre, kan svinge omkring halvtreds procent på ubestemt tid, mens det forventede tab er minimalt i begge retninger, hvilket korrekt indikerer, at valget ikke betyder noget, og teamet bør stoppe med at bruge trafik på det.

Inden for et engagement afgøres valg af ramme normalt tidligt og lades derefter være, fordi skift midt i programmet gør historiske resultater usammenlignelige. CRO-tjeneste Teamet vil typisk standardisere den tilgang, som klientens eksisterende platform og analysekultur understøtter, definere beslutningstærsklerne på forhånd og fokusere indsatsen på eksperimentdesign og prioritering snarere end på statistisk filosofi. Hvor en organisation bygger sin egen målestak, træffes valget normalt sammen med den bredere rapporteringsarkitektur, der håndteres af dataanalyse funktion, så eksperimentoutput og business intelligence deler et ensartet sprog for usikkerhed.