Holdout-gruppen

En holdout-gruppe er en tilfeldig valgt del av publikummet som bevisst ekskluderes fra en endring, en kampanje eller et helt program med endringer, slik at den kumulative effekten på den gruppen kan sammenlignes med alle andre. Der et standardeksperiment sammenligner to versjoner av én ting i noen uker, måler en holdout den kombinerte effekten av mange beslutninger over måneder, og svarer på et spørsmål som individuelle tester ikke kan: beveget alt dette arbeidet faktisk virksomheten?

Behovet oppstår fra et velkjent regnskapsproblem i optimaliserings- og markedsføringsprogrammer. Individuelle eksperimenter rapporterer individuelle økninger, og disse økningene summeres til et årlig effekttall som presenteres for ledelsen. Men summen er nesten alltid større enn virkeligheten, fordi vinnende effekter overlapper, forfaller, samhandler og ofte overdrives ved tidlig stopp eller på grunn av vinnerens forbannelse. En langvarig nedgang gir en enkelt, direkte måling av hele programmets bidrag, som enten validerer de rapporterte tallene eller avslører et gap som må forklares.

Holdouts kan forekomme på flere måter. En holdout etter lansering holder en liten prosentandel av brukerne på kontrollen etter at en vinnende variant er rullet ut, slik at effekten kan spores i flere måneder og kontrolleres for forfall. En holdout på programnivå ekskluderer en prosentandel av brukerne fra hver optimaliseringsendring i et kvartal eller lenger. En holdout på markedsføring undertrykker kampanjekontakt for et tilfeldig delsett for å måle inkrementell snarere enn tilskrevet respons, noe som regelmessig viser at en betydelig andel av krediterte konverteringer ville ha skjedd uansett. Hver svarer på et annet spørsmål, og hver krever at den ekskluderte gruppen velges tilfeldig og holdes stabil over måleperioden.

Designhensynene er krevende. Gruppen må være stor nok til å oppdage den forventede kumulative effekten, noe som vanligvis er enklere enn for en enkelt test fordi effekten som måles er større. Tildelingen må vare på tvers av økter, enheter der det er mulig, og kanaler, ellers svekker kontaminering sammenligningen. Utelukkelsen må håndheves reelt, noe som er vanskeligere enn det høres ut når et dusin team sender endringer gjennom forskjellige mekanismer. Og organisasjonen må akseptere den bevisste kostnaden ved å holde tilbake forbedringer fra reelle kunder over en lengre periode, noe som er en styringsbeslutning snarere enn en analytisk.

Den kostnaden er hovedinnvendingen, og den fortjener et direkte svar. Å holde ute fem prosent av trafikken fra et program som virkelig forbedrer konverteringen, fører til tap av inntekter. Motargumentet er at uten en utestengelse vet ingen om programmet forbedrer konverteringen i det hele tatt, og beløpet som brukes på det er vanligvis langt større enn de tapte inntektene fra den ekskluderte gruppen. Organisasjoner som har kjørt sin første utestengelse på programnivå, finner ofte at den målte effekten er vesentlig mindre enn de summerte testresultatene som antydes, noe som er ubehagelig, men nettopp er informasjonen som trengs for å fordele budsjettet fornuftig.

Den interne samtalen om en utestengelse går vanligvis bedre når kostnaden kvantifiseres snarere enn å bli stående som en abstraksjon. Hvis programmets estimerte effekt er en gitt prosentvis forbedring, vil det å holde tilbake fem prosent av trafikken gi avkall på fem prosent av denne forbedringen, som vanligvis er et lite tall ved siden av selve programmets kostnader og trivielt lite ved siden av risikoen ved å fortsette å investere i noe hvis bidrag er ukjent. Det bidrar også til å ramme inn gruppen som et kontinuerlig måleinstrument snarere enn en mangel på verdi, siden den samme mekanismen støtter overvåking av forfall etter lansering og gir grunnlaget for eventuelle senere påstander om programverdi. Der det å holde tilbake forbedringer reiser bekymringer om rettferdighet, slik det kan være i tjenester med lovbestemte eller kontraktsmessige forpliktelser, er den passende responsen en mindre gruppe, en kortere periode eller et geografisk design i stedet for å forlate målingen helt.

Å etablere en holdout er vanligvis en av de mest betydningsfulle anbefalingene i en vekststyring engasjement, fordi det endrer grunnlaget som hele programmet bedømmes på fra en stabel med individuelle rapporter til et enkelt målt resultat. Implementering krever vanligvis publikumssegmentering og identitetsoppløsningskapasiteten som opprettholdes av dataanalyse funksjon, siden en holdout som lekker på tvers av kanaler eller enheter ikke måler noe pålitelig i det hele tatt.