Holdout-gruppen

En "holdout"-grupp är en slumpmässigt vald del av målgruppen som medvetet exkluderas från en förändring, en kampanj eller ett helt förändringsprogram, så att den kumulativa effekten på den gruppen kan jämföras med alla andra. Medan ett standardexperiment jämför två versioner av en sak under några veckor, mäter en "holdout"-grupp den kombinerade effekten av många beslut över månader och besvarar en fråga som enskilda tester inte kan: påverkade allt detta arbete faktiskt verksamheten?

Behovet uppstår ur ett välkänt redovisningsproblem inom optimerings- och marknadsföringsprogram. Enskilda experiment rapporterar individuella ökningar, och dessa ökningar summeras till en årlig effektsiffra som presenteras för ledningen. Men summan är nästan alltid större än verkligheten, eftersom vinnande effekter överlappar varandra, avtar, interagerar och ofta överdrivs genom tidigt stopp eller genom vinnarens förbannelse. En långvarig avstängning ger en enda, direkt mätning av hela programmets bidrag, vilket antingen validerar de rapporterade siffrorna eller avslöjar en lucka som behöver förklaras.

Holdouts kan ta flera former. En holdback efter lansering håller en liten andel användare kvar i kontrollen efter att en vinnande variant har lanserats, så att effekten kan spåras i månader och kontrolleras för avklingning. En holdout på programnivå exkluderar en andel användare från varje optimeringsändring under ett kvartal eller längre. En marketing-holdout undertrycker kampanjkontakt för en slumpmässig delmängd för att mäta inkrementell snarare än tillskriven respons, vilket regelbundet visar att en betydande andel av krediterade konverteringar skulle ha inträffat ändå. Varje besvarar en annan fråga, och varje kräver att den exkluderade gruppen väljs slumpmässigt och hålls stabil under mätperioden.

Designövervägandena är krävande. Gruppen måste vara tillräckligt stor för att detektera den förväntade kumulativa effekten, vilket vanligtvis är enklare än för ett enda test eftersom effekten som mäts är större. Tilldelningen måste bestå över sessioner, enheter där det är möjligt och kanaler, annars urholkar kontaminering jämförelsen. Undantaget måste verkligen upprätthållas, vilket är svårare än det låter när ett dussin team levererar ändringar genom olika mekanismer. Och organisationen måste acceptera den avsiktliga kostnaden av att undanhålla förbättringar från verkliga kunder under en längre period, vilket är ett styrningsbeslut snarare än ett analytiskt.

Den kostnaden är den huvudsakliga invändningen, och den förtjänar ett rakt svar. Att undanhålla fem procent av trafiken från ett program som verkligen förbättrar konverteringen innebär att man går miste om en del intäkter. Motargumentet är att utan en undanhållning vet ingen om programmet förbättrar konverteringen alls, och det belopp som spenderas på det är vanligtvis mycket större än de förlorade intäkterna från den uteslutna gruppen. Organisationer som har kört sin första undanhållning på programnivå finner ofta att den uppmätta effekten är väsentligt mindre än de summerade testresultaten som antyds, vilket är obekvämt men är precis den information som behövs för att fördela budgeten klokt.

Den interna diskussionen om att hålla ute går vanligtvis bättre när kostnaden kvantifieras snarare än att lämnas som en abstraktion. Om programmets uppskattade effekt är en given procentuell förbättring, så innebär att ett undanhållande av fem procent av trafiken avstår från fem procent av den förbättringen, vilket vanligtvis är en liten siffra i förhållande till själva programmets kostnad och trivialt liten i förhållande till risken att fortsätta investera i något vars bidrag är okänt. Det bidrar också till att utforma gruppen som ett kontinuerligt mätinstrument snarare än en förlust, eftersom samma mekanism stöder övervakning av förfall efter lansering och ger baslinjen för eventuella efterföljande påståenden om programvärde. Där undanhållande av förbättringar ger upphov till problem med rättvisa, vilket kan ske inom tjänster med lagstadgade eller avtalsenliga skyldigheter, är det lämpliga svaret en mindre grupp, en kortare period eller en geografisk design snarare än att helt överge mätningen.

Att etablera en spärr är vanligtvis en av de mer betydelsefulla rekommendationerna i en tillväxtledning engagemang, eftersom det ändrar grunden för bedömningen av hela programmet från en bunt individuella rapporter till ett enda uppmätt resultat. Implementeringen kräver normalt den kapacitet för publiksegmentering och identitetsupplösning som upprätthålls av uppgifter analytics funktion, eftersom en holdout som läcker över kanaler eller enheter inte mäter någonting tillförlitligt alls.