P-värde

Ett p-värde är sannolikheten att observera ett resultat som är minst lika extremt som det uppmätta, förutsatt att den testade förändringen inte hade någon verklig effekt. Det är det tal som ligger till grund för de flesta signifikansbedömningar i konverteringsexperiment: ett p-värde under 0.05 behandlas konventionellt som bevis mot antagandet om ingen effekt, och resultatet betecknas som signifikant på 95-procentsnivån.

Definitionen innehåller ett villkor som rutinmässigt utelämnas i praktiken, och att utelämna det orsakar det mesta av förvirringen kring konceptet. Ett p-värde på 0.03 betyder inte att det finns 3 procents chans att förändringen inte hade någon effekt, och det betyder inte att det finns 97 procents chans att varianten är bättre. Det beskriver hur överraskande data skulle vara i en värld där förändringen inte gjorde någonting. Att översätta det till en sannolikhet för själva hypotesen kräver ytterligare information, särskilt hur trovärdig hypotesen var före testet, vilket är just vad Bayesianska metoder gör explicita och frekventistiska p-värden utelämnar.

Detta är kommersiellt viktigt eftersom det förändrar hur resultaten ska viktas. Ett p-värde på 0.04 på en välgrundad hypotes baserad på observerat användarbeteende är ett mycket starkare bevis än samma p-värde på en godtycklig förändring som testas på impuls, även om de två siffrorna är identiska. Program som testar stora volymer av lågkvalitativa idéer kommer att ackumulera signifikanta resultat i ungefär den takt som tröskeln antyder, en på tjugo enbart genom slump, och kommer sedan att ha svårt att förstå varför deras sammanlagda affärspåverkan inte matchar summan av deras rapporterade vinster.

Tröskelvärdet på 0.05 har i sig ingen vetenskaplig grund; det är en konvention som ärvts från statistisk praxis i början av 1900-talet och som anammats i stor skala av optimeringsindustrin. Att behandla det som en tydlig linje uppmuntrar en viss typ av dåligt resonemang där ett p-värde på 0.049 är en vinst och 0.051 är ett misslyckande, när de två resultaten är praktiskt taget identiska. Bättre praxis är att rapportera p-värdet tillsammans med effektstorleken och konfidensintervallet och låta beslutet återspegla hela bilden, inklusive kostnaden för förändringen och konsekvenserna av att ha fel.

Flera vanliga metoder blåser upp p-värden på sätt som är osynliga i den slutliga rapporten. Att upprepade gånger kontrollera resultaten och stoppa när tröskeln passeras ökar den verkliga andelen falskt positiva resultat dramatiskt. Att testa många mätvärden och rapportera det som nådde signifikans gör detsamma. Att dela upp dem i segment efter att ha sett summorna ger samma fel igen, i större skala. Det finns korrigeringsmetoder för multipla jämförelser, och det finns sekventiella testdesigner för kontinuerlig övervakning, men det mest tillförlitliga skyddet är en förregistrerad analysplan som fixar det primära mätvärdet, segmenten och stoppregeln innan några data anländer.

Att undersöka fördelningen av p-värden över ett programs historik är en avslöjande diagnostik som få team utför. Om experiment kördes och analyserades korrekt, och om de flesta testade idéerna inte hade någon verklig effekt, skulle p-värdena över hela portföljen vara ungefär jämnt fördelade, med ungefär ett av tjugo som faller under det konventionella tröskelvärdet. En fördelning som är starkt klustrad strax under tröskelvärdet är en stark indikator på att regler som drivs av siffrorna snarare än av planen stoppas, eftersom tester som stoppas i det ögonblick de korsar en linje ackumuleras exakt vid den linjen. Att granska ett års tidigare experiment på detta sätt kostar några timmar och förklarar ofta en skillnad som har förbryllat ett företag mycket längre, nämligen varför en portfölj av rapporterade vinster inte har påverkat de mätvärden som ledningen faktiskt övervakar.

För ett konsultföretag handlar det användbara bidraget vanligtvis mindre om att beräkna p-värden korrekt, vilket varje testplattform gör automatiskt, och mer om att styra hur de används. CRO-tjänst Engagemang upprättar normalt ett skriftligt analysprotokoll, definierar primära och sekundära mätvärden per experiment och rapporterar resultat i ett enhetligt format som inkluderar effektstorlek och intervall snarare än en enskild bedömning. I större organisationer blir detta protokoll en del av hur uppgifter analytics Funktionen certifierar resultat innan de citeras i styrelserapporteringen, vilket förhindrar att en portfölj av statistiskt bräckliga vinster presenteras som en tillförlitlig intäktsprognos.