Kör en "holdout"-grupp som faktiskt kan upptäcka vad dina testvinster var värda

Ert program rapporterar en vinnare ungefär en gång i månaden. Lägg ihop tolv vinster och den årliga kortleken säger att konverteringen borde vara 18 % högre än förra året. Finans tittar på resultaträkningen och säger att den inte är det. Vanligtvis har kortleken fel.

På Microsofts experimentplattform förbättrade bara ungefär en tredjedel av de testade idéerna det mätvärde de var utformade för att förbättra, och de som lanseras väljs ut just för att de sett bra ut, vilket är där aritmetiken börjar glida iväg (Kohavi och Longbotham, 2015En holdout-grupp är det billigaste instrumentet som mäter program snarare än det individuella testet.

Den här guiden är för CRO-leads och analysansvariga som skickar minst ett experiment i månaden. I slutet kommer du att kunna dimensionera en holdout som faktiskt kan upptäcka ditt programs effekt, välja en varaktighet och ett analysfönster, och identifiera de fellägen som ogiltigförklarar resultatet innan du presenterar det.

Vad en holdout-grupp mäter som en summa vinster inte mäter

En "holdout" är en slumpmässigt utvald del av användare som behålls i pre-change-upplevelsen medan alla andra får varje lanserad vinnare. Efter några månader jämför du de två grupperna. Skillnaden är den kumulativa, fortfarande levande effekten av allt du levererade – inte tolv korttidsuppskattningar som häftats ihop.

Netflix använder samma instrument och beskriver "holdback AB-tester" som ett sätt att "förstå långsiktiga effekter, testa gamla antaganden på nyare medlemmar och mäta kumulativt värde" (Netflix teknikblogg).

Varför summerade testvinster överdriver vad som hände

Fyra mekanismer drar summan över sanningen, och de sammansätts:

• Vinnarens förbannelse. Man lanserar bara varianter som korsade signifikans, så den lanserade uppsättningen berikas med uppåtgående brus. Lee och Shen på Airbnb formaliserade denna urvalsbias och publicerade en korrigering (KDD 2018).
• Nyhet och primatförfall. Korta fönster fångar reaktioner på nyheter. I ett exempel från Microsoft News minskade en initial ökning på 28 % i klick på en ny knapp dag för dag inom experimentfönstret (Sadeghi et al., 2022).
• Interaktion och avtagande avkastning. Två oberoende testade vinster i samma trattsteg läggs ofta inte till; de konkurrerar om samma marginella användare.
• Analysslapphet. Kikare, metrisk växling och selektiv rapportering förskjuter vart och ett den lanserade uppsättningen ytterligare uppåt (EPPO).

Inget av detta betyder att dina tester var falska. Det betyder att summan är en övre gräns, inte en uppskattning.

Måttlägg hållplatsen innan du bygger den

Det här är steget som nästan alla hoppar över, och det är där de flesta som inte kan hålla sig borta dör. Ett test med två armar med en avsiktligt sned uppdelning, och precisionen styrs av den mindre armen. Obligatoriska totala urvalsskalor med 1 / (p × (1 − p))Där p är andelen som håller ut. En andel som håller ut på 1 % behöver därför ungefär 25 gånger så mycket trafik som ett balanserat test för att se samma effekt.

Totalt antal användare som behövdes under vänteperioden, vid en konverteringsfrekvens på 2 % baslinje, 80 % statistisk styrka och 5 % tvåsidig signifikans:

Läs nu det mot leverantörens standardvärden. Statsig föreslår "en låg ensiffrig utsättningsprocent, såsom 1–2 %" (Statsig); Optimizely varnar över 5% (OptimizelyGrowthBook rapporterar att Facebook- och X-team kör 5 % eller mindre (Tillväxtbok).

De siffrorna är rätt för deras författare och fel för de flesta mellanstora webbplatser. En regional e-handelssajt med 400 000 månatliga användare samlar på sig 1.2 miljoner under ett kvartal. Vid en 1%-procentig marginal skulle det behövas ungefär ett decennium. Vid 10% når den fortfarande inte upp till en avläsning på +5%. Vid 20% detekterar den +5% under ett kvartal och +10% på ungefär en månad. Välj andelen från din trafik, inte från en leverantörs standardvärde. Om det ärliga svaret är 20 %, gör den avvägningen tydligt för verksamheten: en femtedel av användarna väntar en kvartal på nya funktioner, i utbyte mot att veta om kvartalet var värt något.

Välj varaktighet och analysfönster

Statsig rekommenderar tre till sex månader innan man släpper en holdout; GrowthBook rekommenderar en aktiv period på en halv månad till ett kvartal, sedan en analysperiod på två till fyra veckor så att effekterna stabiliseras och tillbakablickningsfönstren fylls.

Vår arbetsregel: den aktiva perioden är den längre av vad din storlekstabell kräver och en hel konjunkturcykel. I den här regionen innebär det att täcka minst en kampanjtopp och en oförändrad månad, så resultatet avgörs inte enbart av 11.11. Frys sedan flaggorna och vänta ut analysfönstret innan någon öppnar instrumentpanelen.

Bygg det: sju saker att göra rätt

• Slumpa på en permanent, serversidesanvändare eller kontoidentifierareEn cookie som en samtyckesbanner blockerar eller som en användare rensar läcker människor mellan armarna.
• Tilldela spärren en gång, framtill, före de uppskjutningar du vill mäta. En holdout som skapas i efterhand är inte en holdout.
• Skicka varje lanserad vinnare genom samma flaggsystem, så "holdout = off" betyder verkligen den gamla upplevelsen. Användare med Holdout får standardvärden för grindar och lager, precis som Statsigs implementering gör.
• Håll en tydlig uteslutningslistaSäkerhetsfixar, efterlevnad av juridiska krav och tillgänglighetskrav samt prisändringar gäller alla. Dokumentera varje undantag med datum.
• Välj två till fyra hållbara mätvärden (intäkter per användare, kundlojalitet, orderfrekvens) plus din primära konverteringsfrekvens. Lägg inte till en femtedel.
• För ett daterat lanseringsregister över varje ändring som skickats inom fönstret med dess uppmätta lyft. Det är det du jämför uteblivningen mot.
• Berätta för ingenjörerna att flaggorna stannar i kodbasen tills analysfönstret stängs. Utebliven funktion dör oftare på grund av för tidig rensning av flaggor än på grund av något statistiskt.

Läs resultatet ärligt

Beräkna förhållandet mellan den lyftkraft som mätts vid uthållning och den summerade lyftkraften i ditt uppskjutningsregister. Våra arbetströsklar – bedömningar, inte publicerade riktmärken:

En regional varning om de alternativa lagen är att sikta på att få förstaplatsen. Om du planerar att hoppa över väntan och jämföra detta kvartal med förra året, observera att Turkiets årliga konsumentprisinflation var 31.51 % i augusti 2026 (TÜİK-siffror, publicerade 3 september 2026). Intäkten per användare i lira är inte jämförbar mellan perioder med den kursen, och att deflatera den lägger till sina egna antaganden. Samtidig randomisering kringgår detta: båda armarna lever i samma ekonomi samma dag.

[INTERNA DATA BEHÖVS: ett Switas-klientexempel — programlängd, trafikskala, summerad testlyft kontra holdout-mätt lyft och använd holdout-andel.]

Sex sätt en gränslöshet tyst bryter sig igenom

• Förorening. Delade enheter, utloggade sessioner och återställningar av identifierare flyttar användare mellan olika armar. Mät överkorsning; över ungefär 2 % är uppskattningen inte tillförlitlig.
• Tyst läckage. En ändring som skickas utanför flaggsystemet (en CDN-regel, en CMS-redigering, en ny mall) når också spärren och krymper gapet mot noll.
• Uteslutningskrypning. Varje beslut om att "den här måste gå till alla" tar bort en lansering från vad du mäter. Tio av dem och du mäter ingenting.
• Missmatchning i stickprovsförhållandet. Uppdelningen avviker från sin avsedda andel. Kontrollera varje vecka; en utebliven andel med SRM är lika ogiltig som alla andra tester med SRM.
• För tidig frisättning. Optimizelys inbyggda globala holdouts kan inte pausas, bara avslutas. Ta det som regel: tidigt avslutande förverkar fönstret.
• Undermålig från dag ett. Det vanligaste misslyckandet. Ett nollresultat från en 2%-ig utebliven analys säger ingenting om ditt program och allt om din storlek.

Där den här metoden bryts ner

En "holdout" anger storleken på den kombinerade effekten, inte vilken lansering som producerade den. Attribution behöver fortfarande de individuella testerna. Den kan inte mäta något som måste levereras till alla, så efterlevnadsarbetet ligger utanför den. Det passar dåligt där samma användare inte återvänder inom fönstret, och det säger ingenting om varumärkes- eller offline-spridning mellan grupper. Under ungefär 100 000 månatliga användare finns ingen andel som är både detekterbar och försvarbar; i den skalan är noggrant kontrollerade före-efter-läsningar plus kvalitativ validering den ärliga reserven, med deras svagheter tydligt angivna.

Vanliga frågor och svar

Hur stor ska en avstängningsgrupp vara?

Tillräckligt stor för att detektera den kumulativa effekt man förväntar sig, vilket är en beräkning snarare än en konvention. Vid en baslinje på 2 % och ett relativt mål på +5 % behöver en utebliven andel på 5 % cirka 3.25 miljoner användare medan en utebliven andel på 20 % behöver cirka 971 000.

Hur länge ska en väntetid pågå?

Leverantörer föreslår tre till sex månaders aktiv period plus ett analysfönster på två till fyra veckor. Lägg till begränsningen att fönstret täcker minst en kampanjtopp och en vanlig månad, så att en enda försäljningshändelse inte avgör resultatet.

Varför är min holdout-ökning mindre än summan av mina testvinster?

Det är det förväntade resultatet, inte en bugg. Vinnarens förbannelse, nyhetsförfall, interaktion mellan förändringar och analyssvacka blåser alla upp summan. Siffran som inte är i ordning är den som ligger närmast verkligheten.

Kan jag skapa en spärr efter att jag redan har lanserat saker?

Inte för de lanseringarna – alla har redan fått dem. En "holdout" mäter bara ändringar som inletts från startdatumet. Du kan fortfarande starta en lansering idag för de kommande två kvartalen.

Skadar det intäkterna att hålla tillbaka användarna?

Något, om dina lanseringar verkligen fungerar; den kostnaden begränsas av andelen som håller på att hålla ut multiplicerat med den verkliga lyften. Om de inte fungerar kostar hålla ut ingenting och du slipper upprepa dem.

Vad händer om resultatet för holdout är oförändrat?

Kontrollera effekten mot din storlekstabell först, sedan övergång och läckage. Ett genuint platt resultat med tillräckligt effekt innebär att två fjärdedelar av sjöfarten inte ändrade måttet: dyrt att lära sig, dyrare att inte lära sig.

Nästa steg

Om du kör experiment och inte kan säga vad ett år av vinster var värt, bedöm en utebliven trafik mot din egen trafik den här veckan – eller låt oss bedöma, bygga och läsa den som en del av en CRO-engagemang.

Källor

• Kohavi & Longbotham, "Onlinekontrollerade experiment och A/B-testning" (2015)
• Lee & Shen (Airbnb), "Vinnarens förbannelse", KDD 2018
• Sadeghi et al. (Microsoft), "Nyhet och primat", Technometrics, 2022
• Netflix TechBlog, "Kausal inferensapplikationer på Netflix"
• Statsig-dokument, "Holdouts"
• GrowthBook, "Upphåll i GrowthBook"
• Optimizely Support, "Globala utebliven support"
• Eppo, "Helheten är mindre än summan av dess delar"
• Direktoratet för strategi och budget — TÜİK CPI, augusti 2026