Holdout Groep

Een holdoutgroep is een willekeurig geselecteerd deel van het publiek dat bewust wordt uitgesloten van een verandering, een campagne of een volledig programma van veranderingen, zodat het cumulatieve effect op die groep kan worden vergeleken met dat van alle anderen. Waar een standaardexperiment twee versies van hetzelfde product of dienst gedurende een paar weken vergelijkt, meet een holdoutgroep de gecombineerde impact van vele beslissingen over meerdere maanden. Daarmee wordt een vraag beantwoord die individuele tests niet kunnen beantwoorden: heeft al dit werk het bedrijf daadwerkelijk vooruitgeholpen?

De behoefte hieraan komt voort uit een bekend probleem in de boekhouding van optimalisatie- en marketingprogramma's. Individuele experimenten rapporteren individuele verbeteringen, en die verbeteringen worden opgeteld tot een jaarlijks impactcijfer dat aan het management wordt gepresenteerd. Maar de som is bijna altijd hoger dan de werkelijkheid, omdat succesvolle effecten elkaar overlappen, afnemen, op elkaar inwerken en vaak worden overschat door vroegtijdige stopzetting of door de vloek van de winnaar. Een langdurige testfase biedt een enkele, directe meting van de bijdrage van het hele programma, die de gerapporteerde cijfers bevestigt of een hiaat aan het licht brengt dat verklaard moet worden.

Holdouts kunnen verschillende vormen aannemen. Een holdback na de lancering houdt een klein percentage gebruikers in de controlegroep nadat een succesvolle variant is uitgerold, zodat het effect maandenlang kan worden gevolgd en kan worden gecontroleerd op afname. Een holdout op programmaniveau sluit een percentage gebruikers gedurende een kwartaal of langer uit van elke optimalisatiewijziging. Een holdout op marketingniveau onderdrukt campagnecontact voor een willekeurige subset om incrementele in plaats van toegeschreven respons te meten, wat regelmatig aantoont dat een aanzienlijk deel van de toegeschreven conversies sowieso zou hebben plaatsgevonden. Elk van deze methoden beantwoordt een andere vraag en vereist dat de uitgesloten groep willekeurig wordt geselecteerd en stabiel blijft gedurende de meetperiode.

De ontwerpoverwegingen zijn veeleisend. De groep moet groot genoeg zijn om het verwachte cumulatieve effect te detecteren, wat doorgaans gemakkelijker is dan bij een enkele test omdat het te meten effect groter is. De toewijzing moet consistent blijven over sessies, apparaten waar mogelijk en kanalen heen, anders ondermijnt contaminatie de vergelijking. De uitsluiting moet daadwerkelijk worden afgedwongen, wat lastiger is dan het lijkt wanneer een dozijn teams wijzigingen doorvoeren via verschillende mechanismen. En de organisatie moet de bewuste kosten accepteren van het gedurende een langere periode achterhouden van verbeteringen voor echte klanten, wat een bestuurlijke beslissing is in plaats van een analytische.

Die kosten vormen het belangrijkste bezwaar en verdienen een eerlijk antwoord. Het uitsluiten van vijf procent van het verkeer van een programma dat de conversie daadwerkelijk verbetert, betekent inderdaad dat er inkomsten verloren gaan. Het tegenargument is dat zonder een uitsluitingstest niemand weet of het programma de conversie überhaupt verbetert, en dat de uitgaven eraan doorgaans veel hoger liggen dan de gemiste inkomsten van de uitgesloten groep. Organisaties die hun eerste uitsluitingstest op programmaniveau hebben uitgevoerd, merken vaak dat het gemeten effect aanzienlijk kleiner is dan de gecombineerde testresultaten suggereren. Dat is ongemakkelijk, maar het is precies de informatie die nodig is om het budget verstandig te besteden.

Het interne gesprek over een weigering verloopt doorgaans beter wanneer de kosten worden gekwantificeerd in plaats van abstract te blijven. Als het geschatte effect van het programma een bepaalde procentuele verbetering is, dan betekent het weigeren van vijf procent van het verkeer dat vijf procent van die verbetering verloren gaat. Dit is doorgaans een klein bedrag vergeleken met de kosten van het programma zelf en verwaarloosbaar klein vergeleken met het risico van blijven investeren in iets waarvan de bijdrage onbekend is. Het helpt ook om de groep te beschouwen als een doorlopend meetinstrument in plaats van een ontneming, aangezien hetzelfde mechanisme de monitoring van de afname na de lancering ondersteunt en de basislijn vormt voor elke latere bewering over de waarde van het programma. Wanneer het weigeren van verbeteringen aanleiding geeft tot zorgen over eerlijkheid, zoals het geval kan zijn bij diensten met wettelijke of contractuele verplichtingen, is de juiste reactie een kleinere groep, een kortere periode of een geografische opzet in plaats van de meting volledig te staken.

Het instellen van een neutrale positie is doorgaans een van de meest ingrijpende aanbevelingen in een groei management betrokkenheid, omdat het de basis verandert waarop het hele programma wordt beoordeeld: van een stapel individuele rapporten naar één enkel meetbaar resultaat. Implementatie vereist normaal gesproken dat de doelgroepsegmentatie en identiteitsbepaling door de organisatie worden onderhouden. Data analytics functie, aangezien een signaal dat via kanalen of apparaten lekt, helemaal geen betrouwbare metingen oplevert.