Provstorlek

Urvalsstorleken är antalet besökare, sessioner eller användare som ingår i varje grupp i ett experiment, och det är den enskilt viktigaste avgörande faktorn för om ett test kan ge ett tillförlitligt svar. Den beräknas innan ett test startas, från fyra indata: kontrollens baslinjekonverteringsfrekvens, den minsta effektstorlek som företaget skulle anse vara meningsfull, den önskade statistiska styrkan och signifikansnivån. Om du ändrar någon av dessa indata ändras den erforderliga urvalsstorleken, ofta dramatiskt.

Sambandet mellan dessa indata är inte intuitivt, och det är här de flesta testprogram gör fel. Att upptäcka en liten effekt kräver betydligt mer trafik än att upptäcka en stor, och kravet växer ungefär med den inversa kvadraten av effektstorleken. Att halvera den effekt du vill upptäcka fyrdubblar den trafik du behöver. En webbplats som konverterar med 2 procent och som på ett tillförlitligt sätt vill upptäcka en relativ förbättring på 5 procent behöver tiotusentals besökare per variant; samma webbplats som försöker upptäcka en förbättring på 20 procent behöver en liten bråkdel av det. På liknande sätt kräver låga baslinjekonverteringsfrekvenser mer trafik än höga, vilket är anledningen till att leadgenereringssajter och e-handelskategorier med hög efterfrågan kör långsammare testprogram än högfrekvent detaljhandel.

Att köra ett test utan en beräkning av urvalsstorleken ger ett av två fellägen. Det underdimensionerade testet når aldrig en slutsats, förbrukar veckor av trafik och överges som ofullständigt, eller ännu värre, tolkas som bevis på att ändringen inte gjorde någonting. Testet stoppades tidigt, när en lyckosam serie konverteringar korsade en signifikansgräns, och rapporterar en stor effekt som oftast försvinner när ändringen rullas ut till alla. Båda misslyckandena kostar samma sak: testprogrammets trovärdighet inom organisationen.

Krav på urvalsstorlek begränsar också vad en webbplats realistiskt kan testa. En webbplats med begränsad trafik kan inte köra en portfölj av små förbättringar, eftersom var och en skulle ta månader att lösa. Den lämpliga strategin på den trafiknivån är att testa färre, djärvare förändringar med stora förväntade effekter, att testa högre upp i tratten där volymerna är större, och att luta sig mer mot kvalitativ forskning och heuristisk analys för att bestämma vad som ska levereras utan ett experiment. Att ärligt erkänna denna begränsning är mycket mer produktivt än att köra ett program av tester som matematiskt sett inte kan lyckas.

Praktisk beräkning måste också ta hänsyn till skillnaden mellan den statistiska enheten och affärsenheten. Om randomiseringsenheten är besökaren men mätvärdet mäts per session, faller aritmetiken samman och den rapporterade konfidensen överdrivs. Tester som mäter intäkter per besökare snarare än en binär konvertering behöver ännu större urval, eftersom intäkter är ett mätvärde med hög varians och en lång svans av stora beställningar. Analys på segmentnivå förvärrar problemet: ett test som är styrkt för hela målgruppen är inte styrkt för den mobila delmängden, och att läsa segmentresultat från ett experiment dimensionerat för totalen är en av de vanligaste källorna till felaktiga slutsatser inom området.

Två praktiska frågor följer av beräkningen och besvaras ofta felaktigt. Den första är om trafiken ska delas jämnt. En ojämn fördelning, såsom nittio procent kontroll och tio procent variant, föreslås ibland för att begränsa exponeringen för en riskabel förändring, men det förlänger den erforderliga körtiden avsevärt, eftersom den mindre gruppen avgör precisionen i jämförelsen. Att begränsa risken uppnås bättre genom en kort initial ramp med skyddsräckesövervakning, följt av en jämn fördelning. Den andra är vad man ska göra med att köra flera tester samtidigt. Samtidiga experiment på orelaterade delar av en webbplats är i allmänhet acceptabla och är hur de flesta program uppnår rimlig hastighet, men tester som interagerar, såsom två förändringar som påverkar samma trattsteg, måste antingen sekvenseras eller analyseras som en kombinerad design, eftersom besökare som upplever båda inte kan hänföras enbart till någon av dem.

Inom en strukturerad omvandlingshastighetsoptimering program, planering av urvalsstorlek sker under prioriteringen, inte vid lanseringen. Vetskapen om att ett föreslaget test behöver sex veckors trafik ändrar dess prioritet i förhållande till en idé som löses på tio dagar, och att avvägningen mellan förväntad effekt och tid för att svara är en av de viktigaste inputen till färdplanen. För webbplatser med lägre trafik, en UX revision ger ofta bättre avkastning än en eftersläpning i experiment, eftersom den identifierar defekter som är tillräckligt allvarliga för att åtgärda dem inte kräver statistiska bevis.