Bayesiansk A/B-testning

Bayesiansk A/B-testning är en metod för experimentanalys som rapporterar sannolikheten att en variant är bättre än en annan, givet observerade data och eventuell tidigare information. Den står i kontrast till frekventistisk metod, som rapporterar hur överraskande data skulle vara om varianten inte hade någon effekt. Den praktiska skillnaden ligger i resultatet: Bayesianska metoder producerar påståenden som "det finns en 93-procentig sannolikhet att variant B överträffar kontrollen, med en förväntad förlust på 0.2 procent om vi väljer fel", vilket direkt kopplas till affärsbeslut.

Metoden fungerar genom att kombinera en priorifördelning, som representerar uppfattningar om den sannolika effekten före testet, med observerade data för att producera en posteriorfördelning av rimliga effekter. Denna posteriorfördelning kan sedan efterfrågas på vilket sätt beslutet än kräver: sannolikheten för någon förbättring alls, sannolikheten för en förbättring över ett kommersiellt meningsfullt tröskelvärde, eller den förväntade kostnaden för att göra fel beslut. Flera allmänt använda testplattformar har antagit Bayesiansk rapportering som standard av just denna anledning, eftersom resultaten behöver översättas mindre innan en intressent kan agera utifrån dem.

Den oftast citerade fördelen är att Bayesianska resultat är mer robusta vid kontinuerlig övervakning. Eftersom posteriorvärdet uppdateras allt eftersom data anländer och inte bygger på ett antagande om fast urval, ökar inte felfrekvensen om man tittar på resultaten upprepade gånger, på samma sätt som det gör med naiva frekventistiska p-värden. Detta är verkligen användbart i kommersiella miljöer där intressenter kontrollerar dashboards oavsett vad analysprotokollet säger. Det är dock inte en licens att stoppa ett test i det ögonblick ett tal ser bra ut: att stoppa baserat på det mätvärde man tittar på snedvrider fortfarande den uppskattade effektstorleken uppåt, och korta tester missar fortfarande veckocykler och nyhetseffekter oavsett det statistiska ramverket.

Prioren är både metodens styrka och dess vanligaste källa till tvist. En svagt informativ prior, vilket är vad de flesta plattformar använder som standard, har liten inverkan på resultatet när en rimlig mängd data har ackumulerats. En stark prior härledd från en organisations egen historik av tidigare experiment kan avsevärt förbättra uppskattningarna, särskilt för tester med låg trafik, genom att dra osannolikt stora observerade effekter tillbaka mot det intervall som erfarenhetsmässigt säger är realistiskt. Men en prior som valts för att stödja en önskad slutsats är oförsvarbar, vilket är anledningen till att priors bör dokumenteras och överenskommas innan ett test startas snarare än att väljas under analysen.

Inget av ramverken räddar ett dåligt utformat experiment. Bayesiansk analys av ett test med en trasig randomisering, ett spårningsfel, en avvikande urvalskvot eller ett mått som inte återspeglar affärsvärdet kommer att ge ett säkert och precist svar på fel fråga. Valet mellan ramverk är ett rapporterings- och beslutsteorival; kvaliteten på experimentdesignen under det är det som avgör om svaret är värt något.

Utdata som gör ramverket verkligt användbart i kommersiella miljöer är förväntad förlust, ibland kallad risk. Snarare än att fråga om en variant är bättre, frågar den hur mycket som i genomsnitt skulle ge upp genom att välja varianten om den visar sig vara sämre. En beslutsregel uttryckt som "shipping" (leverans) när förväntad förlust faller under ett tröskelvärde som företaget anser vara försumbart, kartlägger direkt hur kommersiella beslut faktiskt fattas, eftersom ingen kräver säkerhet om en förändring vars nackdel är trivial. Den hanterar också den vanliga situationen där två varianter presterar nästan identiskt: sannolikheten för att en är bättre kan ligga runt femtio procent på obestämd tid, medan förväntad förlust är minimal i endera riktningen, vilket korrekt indikerar att valet inte spelar någon roll och teamet bör sluta spendera trafik på det.

Inom ett uppdrag avgörs vanligtvis valet av ramverk tidigt och lämnas sedan oförändrat, eftersom byte mitt i programmet gör historiska resultat ojämförliga. CRO-tjänst Teamet standardiserar vanligtvis den metod som klientens befintliga plattform och analyskultur stöder, definierar beslutströsklar i förväg och fokuserar på experimentdesign och prioritering snarare än på statistisk filosofi. När en organisation bygger sin egen mätstack görs valet vanligtvis tillsammans med den bredare rapporteringsarkitekturen som hanteras av uppgifter analytics funktion, så att experimentresultat och affärsinformation delar ett konsekvent språk för osäkerhet.