Testkik

Testtittning är praxisen att upprepade gånger kontrollera ett experiments resultat medan det fortfarande körs och stoppa det så snart en signifikansgräns överskrids. Det är det vanligaste sättet att giltiga statistiska metoder förvandlas till ogiltiga slutsatser, och det görs nästan alltid med goda avsikter av personer som tror att de bara övervakar framstegen. Matematiken i testet med fast horisont förutsätter en enda analys vid en förberäknad urvalsstorlek; varje ytterligare titt är ytterligare en chans för slumpmässiga fluktuationer att korsa gränsen, och den verkliga andelen falskt positiva resultat ökar med varje enskild analys.

Omfattningen av snedvridningen förvånar folk. Ett test som är avsett att fungera med en falsk positiv andel på 5 procent, kontrollerat dagligen under några veckor med en stoppregel på "betydande åtgärder vidtagna", kan sluta med en verklig falsk positiv andel som är flera gånger högre. Programmet ackumulerar sedan en portfölj av vinster, varav en betydande andel är brus, och den sammanlagda affärspåverkan matchar inte summan av de rapporterade effekterna. Eftersom varje enskilt test ser korrekt analyserat ut, identifieras orsaken till bristen sällan, och den vanliga slutsatsen är att optimering helt enkelt inte fungerar på det här företaget.

Peeking påverkar också storleken på de effekter som överlever. Ett test som stoppas när signifikans uppnås stoppas vid ett tillfälle då slumpmässig variation sker till förmån för varianten, så den observerade lyften vid den tidpunkten överdriver systematiskt den verkliga effekten även när effekten är verklig. Program som stoppas tidigt rapporterar därför större vinster än de levererar, vilket skadar trovärdigheten över tid på ett sätt som är svårt att återhämta sig från när finansavdelningen väl har upptäckt gapet.

Pressen att kika är strukturell snarare än personlig. Testplattformar visar signifikanssiffror i realtid på sina dashboards. Intressenter kontrollerar dem. En variant som visar en stor tidig ledning skapar ett verkligt kommersiellt tryck att leverera omedelbart, och en variant som visar en tidig nedgång skapar press att stoppa och minska förluster. Att säga till folk att inte titta är ineffektivt; de praktiska lösningarna är procedurella och tekniska. Fastställ urvalsstorlek och slutdatum skriftligen före lansering. Använd sekventiella eller bayesianska metoder som är utformade för kontinuerlig övervakning så att tittande är legitimt. Konfigurera dashboards för att dölja signifikans tills det planerade urvalet har uppnåtts. Reservera tidigt stopp för genuina nödsituationer som upptäcks av skyddsräckesmått, med en namngiven beslutsfattare och en dokumenterad motivering.

Det finns en viktig skillnad mellan att granska och övervaka. Att övervaka felfrekvenser, sidprestanda, samplingskvot och allvarliga skyddsräckesöverträdelser under ett test är inte bara tillåtet utan också nödvändigt, eftersom en trasig eller skadlig variant bör stoppas omedelbart. Det som korrumperar analysen är att använda det primära affärsmåttet som ett stoppkriterium utanför den förregistrerade planen. Att separera operativ övervakning från resultatanalys, med olika dashboards och olika behörigheter, är ofta tillräckligt för att lösa problemet i praktiken.

När en intressent kräver att få veta hur ett test presterar innan det avslutas, är det oftast kontraproduktivt att helt vägra, och att ange siffran undergräver protokollet. Den fungerande mellanpositionen är att rapportera om drifthälsan snarare än om resultatet: att bekräfta att testet körs korrekt, att trafiken delas upp som konfigurerat, att inget skyddsräcke har brutits och hur många dagar som återstår till den planerade analysen. Detta besvarar den legitima oron bakom begäran, som normalt handlar om risk snarare än nyfikenhet, utan att avslöja en siffra som kommer att ageras utifrån. Att komma överens om detta arrangemang i förväg, som en del av experimentprotokollet, är mycket enklare än att förhandla om det mitt i ett test som verkar vinna, när det kommersiella trycket att skicka omedelbart är som högst och argumentet för tålamod är som minst välkommet.

Att etablera denna disciplin är en av de minst tekniska och mest värdefulla åtgärderna som finns tillgängliga för ett optimeringsprogram. I en typisk CRO-tjänst Engagemang, analysprotokollet, stoppreglerna och nödstoppsbehörigheten dokumenteras innan det första testet startas, och resultaten publiceras med en fast kadens snarare än på begäran. Där en organisation behöver kontinuerlig insyn av legitima kommersiella skäl är lösningen att anta en sekventiell design som stöder det snarare än att köra tester med fast horisont och hoppas att ingen tittar.