Statistisk signifikans

Statistisk signifikans är den standard som används för att avgöra om en skillnad som observeras mellan två grupper i ett experiment är tillräckligt stor för att det är osannolikt att den enbart beror på en slumpmässig slump. I ett konverteringsoptimeringssammanhang besvarar den en specifik fråga: om kontrollen och varianten verkligen var identiska i sin effekt på besökarnas beteende, hur ofta skulle ett experiment av denna storlek producera ett gap som är minst lika stort som det som uppmättes? När den sannolikheten faller under ett förutbestämt tröskelvärde, oftast 5 procent, beskrivs resultatet som statistiskt signifikant vid 95-procentig konfidensnivå.

Konceptet är viktigt eftersom konverteringsdata till sin natur är brusiga. Två identiska versioner av samma sida, som visas för två slumpmässigt delade halvor av samma trafik, kommer nästan aldrig att producera exakt samma konverteringsfrekvens. Dagliga fluktuationer, trafikkällornas blandning, enhetsskillnader och enkel slumpmässighet skapar alla uppenbara luckor som inte betyder någonting. Utan en signifikansgräns slutar det med att team levererar ändringar baserade på brus, och den sammanlagda effekten av ett testprogram blir noll eller negativ medan alla inblandade tror att det fungerar.

Signifikans definieras innan ett test startar, inte upptäcks efter det. Standardpraxis är att fastställa signifikansnivån, den önskade statistiska styrkan och den minsta effektstorleken som är värd att detektera, sedan beräkna den erforderliga urvalsstorleken och köra testet till den urvalsstorleken. Att kontrollera resultaten upprepade gånger och stoppa i det ögonblick ett tröskelvärde passeras blåser upp andelen falskt positiva resultat avsevärt, eftersom varje ytterligare titt är ytterligare en möjlighet för slumpmässig variation att korsa gränsen. Testplattformar som rapporterar en livesignifikanssiffra gör detta misstag lätt att begå, vilket är anledningen till att disciplinerade program behandlar den förregistrerade stoppregeln som bindande.

En ständig missuppfattning är att ett signifikant resultat bevisar att en variant är bättre, och att ett icke-signifikant resultat bevisar att de två versionerna är likvärdiga. Ingetdera är sant. Signifikans beskriver datas kompatibilitet med hypotesen om ingen skillnad; det säger ingenting om storleken eller affärsrelevansen av en effekt. Ett test med mycket stor trafik kan hitta en statistiskt signifikant förbättring på en bråkdels procentenhet som inte är värd den tekniska kostnaden för frakt. Omvänt betyder ett icke-signifikant resultat på ett test med underdimensionerad styrka helt enkelt att experimentet saknade känsligheten för att upptäcka en effekt som mycket väl kan existera. Att rapportera konfidensintervallet tillsammans med resultatet ger en mycket mer användbar bild än en binär etikett.

Inom konsultarbete är det viktigt att se hur analytisk noggrannhet möter kommersiellt omdöme. CRO-tjänst Engagemang måste balansera det statistiska idealet mot verkligheten att de flesta webbplatser inte har obegränsad trafik, och att ett företag inte kan vänta tre månader för att få säkerhet på varje idé. Den praktiska lösningen är att reservera strikta tröskelvärden för högrisk-, svåråtkomliga förändringar som prissättning, utcheckningsflöde eller navigationsarkitektur, och att acceptera snabbare, mindre säkra beslut om lågrisk-text- och layoutändringar där kostnaden för att ha fel är liten och reversibel. Den kalibreringen är ett strategiskt beslut snarare än ett statistiskt, och den sätts normalt under planeringsfasen av en omvandlingshastighetsoptimering program tillsammans med definitionen av primära mätvärden och skyddsräckesmått.

En användbar disciplin för alla team som är nya inom detta område är att köra ett A/A-test innan de litar på plattformens omdömen. Att dela upp trafiken mellan två identiska versioner borde, per definition, inte ge någon egentlig skillnad, och att observera vad verktyget rapporterar under två eller tre veckor är lärorikt. Team upptäcker rutinmässigt att deras plattform utser en betydande vinnare mellan två identiska sidor någon gång under körningen, vilket är precis vad upprepad kontroll av ett nollresultat förutsäger, och att se det hända med sin egen trafik är mer övertygande än någon förklaring av den underliggande statistiken. Övningen belyser också instrumentproblem, inklusive ojämn trafikallokering, spårning som utlöses olika mellan varianter och bottrafik som inte filtreras konsekvent, vilket annars skulle korrumpera varje efterföljande experiment samtidigt som det förblir osynligt.

Team som mognar inom detta område slutar fråga sig om ett resultat är signifikant och börjar fråga sig vilket beslut bevisen stöder. De dokumenterar effektstorlekar och intervall, de spårar hur ofta tidigare signifikanta vinster höll sig vid ommätning, och de behandlar varje experiment som en enda input till en ackumulerande kunskapsmängd om sina kunder snarare än en dom som avkunnas en gång och aldrig omprövas.