Kjør en holdout-gruppe som faktisk kan oppdage hva testseierene dine var verdt - Switas Consultancy

Programmet ditt rapporterer en vinner omtrent én gang i måneden. Legg sammen tolv seire, og den årlige kortstokken sier at konverteringen skal være 18 % høyere enn i fjor. Finansavdelingen ser på resultatregnskapet og sier at det ikke er det. Vanligvis tar kortstokken feil.

På Microsofts eksperimenteringsplattform forbedret bare omtrent en tredjedel av de testede ideene målingen de var designet for å forbedre, og de som lanseres velges nettopp fordi de har sett bra ut, og det er her regnestykket begynner å drive (Kohavi og Longbotham, 2015En holdout-gruppe er det billigste instrumentet som måler program heller enn den individuelle testen.

Denne veiledningen er for CRO-leads og analyseeiere som sender minst ett eksperiment i måneden. Til slutt vil du kunne beregne en holdout som faktisk kan oppdage programmets effekt, velge en varighet og et analysevindu, og gjenkjenne feilmodusene som ugyldiggjør resultatet før du presenterer det.

Det en holdout-gruppe måler som en sum av seire ikke måler

En holdout er en tilfeldig utvalgt gruppe brukere som beholdes i pre-change-opplevelsen mens alle andre mottar alle lanserte vinnertilbud. Etter noen måneder sammenligner du de to gruppene. Forskjellen er den kumulative, fortsatt levende effekten av alt du leverte – ikke tolv korttidsestimater stiftet sammen.

Netflix bruker det samme instrumentet, og beskriver «holdback AB-tester» som en måte å «forstå langsiktige effekter, teste gamle antagelser på nyere medlemmer på nytt og måle kumulativ verdi» (Netflix teknologiblogg).

Hvorfor summerte testseire overdriver hva som skjedde

Fire mekanismer trekker summen over sannheten, og de blir sammensatt:

Vinnerens forbannelse. Du lanserer bare varianter som krysset betydning, så det lanserte settet er beriket med oppadgående støy. Lee og Shen hos Airbnb formaliserte denne utvalgsskjevheten og publiserte en korreksjon (KDD 2018).
Nyhet og forrangsforfall. Korte vinduer fanger opp reaksjoner på nyhet. I et eksempel fra Microsoft News falt en innledende økning på 28 % i klikk på en ny knapp dag for dag innenfor eksperimentvinduet (Sadeghi et al., 2022).
Interaksjon og avtagende avkastning. To uavhengig testede seire på samme trakttrinn summerer seg ofte ikke; de konkurrerer om den samme marginale brukeren.
Analyseslapphet. Kikk, metrisk bytte og selektiv rapportering forskyver hver det lanserte settet ytterligere oppover (Eppo).

Ingenting av dette betyr at testene dine var falske. Det betyr at summen er en øvre grense, ikke et estimat.

Mål holdouten før du bygger den

Dette er trinnet nesten alle hopper over, og det er her de fleste som holder seg unna dør. En holdout er en toarms test med en bevisst skjev deling, og presisjonen styres av den mindre armen. Nødvendige totale utvalgsskalaer med 1 / (p × (1 − p)), Hvor p er holdout-andelen. En holdout på 1 % trenger derfor omtrent 25 ganger så mye trafikk som en balansert test for å se samme effekt.

Totalt antall brukere som trengs i løpet av venteperioden, ved en baseline-konverteringsrate på 2 %, 80 % styrke og 5 % tosidig signifikans:

Holdout-andel	Brukere måtte oppdage +5 % relativ	Brukere måtte oppdage +10 % relativ
1%	15,500,000	3,900,000
5%	3,250,000	814,000
10%	1,720,000	432,000
20%	971,000	245,000
50%	630,000	161,000

Les nå det mot leverandørens mislighold. Statsig foreslår «en lav ensifret holdout-prosent, for eksempel 1–2 %» (Statsig); Optimizely advarer over 5 % (OptimizelyGrowthBook rapporterer at Facebook- og X-teamene kjører 5 % eller mindre (Vekstbok).

Disse tallene er riktige for forfatterne og feil for de fleste mellomstore nettsteder. Et regionalt e-handelsnettsted med 400 000 månedlige brukere akkumulerer 1.2 millioner i løpet av et kvartal. Med en 1 %-holdout ville det trenge omtrent et tiår. Med 10 % er det fortsatt ikke nok til en +5 %-avlesning. Med 20 % oppdager det +5 % i et kvartal og +10 % på omtrent en måned. Velg andelen fra trafikken din, ikke fra en leverandørs standard. Hvis det ærlige svaret er 20 %, gjør det klart for bedriften at en femtedel av brukerne venter et kvartal på nye funksjoner, i bytte mot å vite om kvartalet var verdt noe.

Velg varighet og analysevindu

Statsig anbefaler tre til seks måneder før man opphever en holdout; GrowthBook anbefaler en aktiv periode på en halv måned til et kvartal, deretter en analyseperiode på to til fire uker slik at effektene stabiliserer seg og tilbakeblikksvinduene fylles opp.

Vår arbeidsregel: den aktive perioden er den lengste av det størrelsestabellen din krever og én full konjunktursyklus. I denne regionen betyr det å dekke minst én kampanjetopp og én flat måned, slik at resultatet ikke avgjøres av 11.11 alene. Frys deretter flaggene og vent ut analysevinduet før noen åpner dashbordet.

Bygg det: syv ting du må gjøre riktig

Tilfeldig på en vedvarende bruker- eller kontoidentifikator på serversidenEn informasjonskapsel som et samtykkebanner blokkerer eller en bruker fjerner, lekker folk mellom armene.
Tildel holdouten én gang, foran, før oppskytningene du vil måle. En holdout som opprettes i etterkant er ikke en holdout.
Send alle lanserte vinnere gjennom det samme flaggsystemet, så «holdout = off» betyr egentlig den gamle opplevelsen. Brukere med holdout får standard gate- og lagverdier, slik Statsigs implementering gjør.
Hold en eksplisitt ekskluderingslisteSikkerhetsrettelser, arbeid med samsvar med juridiske krav og tilgjengelighetskrav, samt prisendringer gjelder alle. Dokumenter hvert unntak med dato.
Velg to til fire holdbar målinger (inntekt per bruker, retensjon, bestillingsfrekvens) pluss din primære konverteringsfrekvens. Ikke legg til en femtedel.
Hold et datert lanseringsregister over alle endringer som sendes i vinduet med den målte økningen. Det er det du sammenligner holdout-perioden mot.
Fortell ingeniørene at flaggene forblir i kodebasen til analysevinduet lukkes. Holdouts dør oftere av for tidlig flaggopprydding enn av noe statistisk.

Les resultatet ærlig

Beregn forholdet mellom holdout-målt løft og summert løft i oppskytningsregisteret ditt. Våre arbeidsterskler – vurderinger, ikke publiserte referanseverdier:

Holdout-løft ÷ summert løft	Lesning	Handling
≥ 0.6, intervallet ekskluderer null	Programmet er noenlunde ærlig	Rapporter antallet utestående eksternt, hold oppdatert prognoser
0.3 - 0.6	Normal svinn fra seleksjon og interaksjon	Bruk det observerte forholdet som et avdrag på fremtidige forretningsmodeller
< 0.3, eller intervallet inkluderer null	Summen er ikke bevis	Slutt å sitere summert løft; undersøk seierskriterier og stoppregler på nytt.
Negativt punktestimat	Noe som sendes koster penger	Reverstest de største oppskytningene én om gangen

En regional advarsel om de alternative lagene er å sikte seg inn på førsteplass. Hvis du planlegger å hoppe over ventetiden og sammenligne dette kvartalet med fjoråret, bør du merke deg at Tyrkias årlige konsumprisvekst var 31.51 % i august 2026 (TÜİK-tall, publisert 3. september 2026). Inntekter per bruker i lira er ikke sammenlignbare på tvers av perioder med den kursen, og deflasjon legger til egne forutsetninger. Samtidig randomisering omgår dette: begge grenene lever i samme økonomi på samme dag.

[INTERNE DATA SOM TRENGES: et Switas-klienteksempel – programlengde, trafikkskala, summert testløft versus holdout-målt løft og holdout-andelen som brukes.]

Seks måter en holdout stille bryter

Forurensning. Delte enheter, utloggede økter og tilbakestillinger av identifikatorer flytter brukere på tvers av armer. Mål overlapping; over omtrent 2 % er estimatet ikke pålitelig.
Stille lekkasje. En endring som sendes utenfor flaggsystemet (en CDN-regel, en CMS-redigering, en ny mal) når også holdout-posisjonen og krymper gapet mot null.
Eksklusjonskryp. Enhver avgjørelse om at «denne må gå til alle» fjerner en lansering fra det du måler. Ti av dem, og du måler ingenting.
Uoverensstemmelse i utvalgsforhold. Delingen avviker fra den tiltenkte andelen. Sjekk ukentlig; en holdout med SRM er like ugyldig som enhver annen test med SRM.
For tidlig utløsning. Optimizelys innebygde globale holdouts kan ikke settes på pause, bare avsluttes. Ta det som regel: tidlig slutt forspilver vinduet.
Undermotorisert fra dag én. Den vanligste feilen. Et nullresultat fra en 2 % holdout forteller deg ingenting om programmet ditt og alt om størrelsen din.

Hvor denne metoden bryter sammen

En holdout gir størrelsen på den kombinerte effekten, ikke hvilken lansering som produserte den. Attribusjon trenger fortsatt de individuelle testene. Den kan ikke måle noe som må sendes til alle, så compliance-arbeidet ligger utenfor den. Det passer dårlig der de samme brukerne ikke kommer tilbake innenfor vinduet, og det sier ingenting om merkevare- eller offline-spillover mellom grenene. Under omtrent 100 000 månedlige brukere er det ingen andel som er både detekterbar og forsvarbar; i den skalaen er nøye kontrollerte før-etter-lesinger pluss kvalitativ validering den ærlige reserven, med svakhetene sine høyt nevnt.

Ofte stilte spørsmål

Hvor stor bør en holdout-gruppe være?

Stor nok til å oppdage den kumulative effekten du forventer, som er en beregning snarere enn en konvensjon. Ved en baseline på 2 % og et relativt mål på +5 % trenger en holdout på 5 % rundt 3.25 millioner brukere, mens en holdout på 20 % trenger rundt 971 000.

Hvor lenge bør en ventetid vare?

Leverandører foreslår tre til seks måneders aktiv periode pluss et analysevindu på to til fire uker. Legg til begrensningen om at vinduet dekker minst én kampanjetopp og én vanlig måned, slik at én enkelt salgshendelse ikke avgjør resultatet.

Hvorfor er økningen i holdout-resultatet mitt mindre enn summen av testseire?

Det er det forventede resultatet, ikke en feil. Vinnerens forbannelse, nyhetsforfall, samspillet mellom endringer og analyseslakk blåser opp summen. Holdepunktet er det som er nærmest virkeligheten.

Kan jeg opprette en holdout etter at jeg allerede har lansert ting?

Ikke for disse lanseringene – alle har allerede mottatt dem. En «holdout» måler bare endringer som er gitt fra startdatoen. Du kan fortsatt starte en i dag for de neste to kvartalene.

Skader det inntektene å holde brukere tilbake?

Litt, hvis lanseringene dine virkelig fungerer; den kostnaden er begrenset av holdout-andelen ganger den faktiske løftet. Hvis de ikke fungerer, koster holdouten ingenting og sparer deg for å gjenta dem.

Hva om resultatet for holdout er flatt?

Sjekk effekten mot dimensjoneringstabellen først, deretter overkobling og lekkasje. Et genuint flatt resultat med tilstrekkelig effekt betyr at to fjerdedeler av frakten ikke endret metrikken: dyrt å lære, dyrere å ikke.

Neste steg

Hvis du kjører eksperimenter og ikke kan si hva et år med seire var verdt, kan du vurdere en holdout mot din egen trafikk denne uken – eller få oss til å vurdere, bygge og lese den som en del av en CRO-engasjement.

Kilder

Written by

Inci Dindar

Med bakgrunn innen programvareutvikling ledet hun design-, UX- og produktteam innen fintech, media, e-handel og reiseliv. De siste tre årene har hun jobbet på heltid som konsulent innen UX og design – blant annet som ekstern UX-konsulent for et globalt ledelseskonsulentfirma som hjelper merkevarer og oppstartsbedrifter med revisjoner, konverteringsoptimalisering og designprosesser.

Linkedin Alle artikler

Kjør en holdout-gruppe som faktisk kan oppdage hva testgevinstene dine var verdt