Holdout-gruppen

En holdout-gruppe er en tilfældigt udvalgt del af målgruppen, der bevidst udelukkes fra en ændring, en kampagne eller et helt program af ændringer, så den kumulative effekt på den pågældende gruppe kan sammenlignes med alle andre. Hvor et standardeksperiment sammenligner to versioner af én ting i et par uger, måler en holdout-gruppe den samlede effekt af mange beslutninger over måneder og besvarer et spørgsmål, som individuelle tests ikke kan: Bevægede alt dette arbejde sig rent faktisk med virksomheden?

Behovet stammer fra et velkendt regnskabsproblem i optimerings- og marketingprogrammer. Individuelle eksperimenter rapporterer individuelle stigninger, og disse stigninger summeres til et årligt effekttal, der præsenteres for ledelsen. Men summen er næsten altid større end virkeligheden, fordi vindende effekter overlapper hinanden, forfalder, interagerer og ofte overvurderes ved tidlig stop eller på grund af vinderens forbandelse. En langvarig nedlukning giver en enkelt, direkte måling af hele programmets bidrag, som enten validerer de rapporterede tal eller afslører et hul, der skal forklares.

Holdouts kan forekomme på flere måder. En holdout efter lancering holder en lille procentdel af brugerne på kontrolpanelet, efter at en vindende variant er rullet ud, så effekten kan spores i måneder og kontrolleres for henfald. En holdout på programniveau ekskluderer en procentdel af brugerne fra hver optimeringsændring i et kvartal eller længere. En marketingholdout undertrykker kampagnekontakt for en tilfældig delmængde for at måle inkrementel snarere end tilskrevet respons, hvilket regelmæssigt viser, at en betydelig andel af krediterede konverteringer ville være sket alligevel. Hver besvarer et forskelligt spørgsmål, og hver kræver, at den ekskluderede gruppe vælges tilfældigt og holdes stabil over måleperioden.

Designhensynene er krævende. Gruppen skal være stor nok til at detektere den forventede kumulative effekt, hvilket normalt er lettere end for en enkelt test, fordi den effekt, der måles, er større. Tildelingen skal fortsætte på tværs af sessioner, enheder hvor det er muligt, og kanaler, ellers undergraver kontaminering sammenligningen. Udelukkelsen skal håndhæves reelt, hvilket er sværere end det lyder, når et dusin teams sender ændringer gennem forskellige mekanismer. Og organisationen skal acceptere den bevidste omkostning ved at tilbageholde forbedringer fra rigtige kunder i en længere periode, hvilket er en governance-beslutning snarere end en analytisk.

Den omkostning er den primære indvending, og den fortjener et direkte svar. At holde fem procent af trafikken fra et program, der reelt forbedrer konverteringen, tilbage, giver afkald på en vis indtægt. Modargumentet er, at uden en tilbageholdelse ved ingen, om programmet overhovedet forbedrer konverteringen, og det beløb, der bruges på det, er typisk langt større end den mistede indtægt fra den ekskluderede gruppe. Organisationer, der har kørt deres første tilbageholdelse på programniveau, oplever ofte, at den målte effekt er væsentligt mindre end de summerede testresultater, der antydes, hvilket er ubehageligt, men netop er den information, der er nødvendig for at fordele budgettet fornuftigt.

Den interne samtale om en tilbageholdelse går normalt bedre, når omkostningerne kvantificeres snarere end at blive efterladt som en abstraktion. Hvis programmets estimerede effekt er en given procentvis forbedring, så giver tilbageholdelse af fem procent af trafikken afkald på fem procent af denne forbedring, hvilket typisk er et lille tal i forhold til selve programmets omkostninger og trivielt lille i forhold til risikoen ved at fortsætte med at investere i noget, hvis bidrag er ukendt. Det hjælper også med at fremstille gruppen som et løbende måleinstrument snarere end en afsavn, da den samme mekanisme understøtter overvågning af henfald efter lancering og danner grundlaget for enhver efterfølgende påstand om programværdi. Hvor tilbageholdelse af forbedringer rejser bekymringer om retfærdighed, som det kan være i tjenester med lovbestemte eller kontraktlige forpligtelser, er den passende reaktion en mindre gruppe, en kortere periode eller et geografisk design i stedet for helt at opgive måling.

At etablere en holdout er normalt en af ​​de mere afgørende anbefalinger i en vækststyring engagement, fordi det ændrer grundlaget for, hvorpå hele programmet bedømmes, fra en stak individuelle rapporter til et enkelt målt resultat. Implementering kræver normalt den målgruppesegmentering og identitetsopløsningskapacitet, der opretholdes af dataanalyse funktion, da en holdout, der lækker på tværs af kanaler eller enheder, ikke måler noget pålideligt overhovedet.