Voer een testgroep uit die daadwerkelijk kan vaststellen wat de waarde van je testoverwinningen was.

Uw programma rapporteert ongeveer eens per maand een winnaar. Tel twaalf winnaars bij elkaar op en volgens de jaarlijkse presentatie zou de conversie 18% hoger moeten liggen dan vorig jaar. De financiële afdeling bekijkt de winst- en verliesrekening en zegt dat dit niet het geval is. Meestal klopt de presentatie dus niet.

Op het experimenteerplatform van Microsoft verbeterde slechts ongeveer een derde van de geteste ideeën de beoogde prestatie-indicator, en de ideeën die uiteindelijk worden gelanceerd, worden juist geselecteerd omdat ze er goed uitzagen. Vanaf dat moment begint de logica te verschuiven.Kohavi en Longbotham, 2015Een holdout-groep is het goedkoopste instrument dat de programma in plaats van de individuele test.

Deze handleiding is bedoeld voor CRO-leiders en analytics-eigenaren die minstens één experiment per maand uitvoeren. Aan het einde van deze handleiding kunt u een holdout-test dimensioneren die het effect van uw programma daadwerkelijk kan aantonen, een duur en analyseperiode kiezen en de foutmodi herkennen die de resultaten ongeldig maken voordat u ze presenteert.

Wat een dwarsliggergroep meet, wat de som van de gewonnen overwinningen niet weergeeft.

Een holdout is een willekeurig geselecteerde groep gebruikers die de ervaring van vóór de wijziging behoudt, terwijl alle anderen alle gelanceerde succesvolle updates ontvangen. Na een aantal maanden vergelijk je de twee groepen. Het verschil is het cumulatieve, nog steeds geldende effect van alles wat je hebt gelanceerd – niet twaalf korte schattingen die aan elkaar zijn geplakt.

Netflix gebruikt hetzelfde instrument en beschrijft "holdback AB-tests" als een manier om "effecten op de lange termijn te begrijpen, oude aannames opnieuw te testen op nieuwe leden en cumulatieve waarde te meten" (Netflix Technologieblog).

Waarom de resultaten van de gecombineerde toets de werkelijke situatie overschatten

Vier mechanismen tillen de som boven de waarheid uit, en ze versterken elkaar:

• De vloek van de winnaar. Je lanceert alleen varianten die de significantiedrempel overschreden, waardoor de gelanceerde set verrijkt wordt met opwaartse ruis. Lee en Shen van Airbnb formaliseerden deze selectiebias en publiceerden een correctie (KDD 2018).
• Nieuwheid en primaat nemen af. Korte tijdsvensters leggen reacties op nieuwe producten vast. In een voorbeeld van Microsoft News bleek een aanvankelijke stijging van 28% in klikken op een nieuwe knop dag na dag af te nemen binnen de experimentele periode.Sadeghi et al., 2022).
• Interactie en afnemende meeropbrengst. Twee onafhankelijk geteste successen in dezelfde stap van de verkooptrechter tellen vaak niet bij elkaar op; ze concurreren om dezelfde marginale gebruiker.
• Analyseruimte. Door te gluren, van meetmethode te wisselen en selectief te rapporteren, wordt de gelanceerde set steeds verder omhoog geschoven (Eppo).

Dit alles betekent niet dat uw tests nep waren. Het betekent dat de som een ​​bovengrens is, geen schatting.

Bepaal de afmetingen van het te beschermen onderdeel voordat je het bouwt.

Dit is de stap die bijna iedereen overslaat, en het is waar de meeste holdout-tests sneuvelen. Een holdout-test is een tweearmige test met een opzettelijk scheve verdeling, waarbij de precisie wordt bepaald door de kleinere arm. De vereiste totale steekproefomvang schaalt met 1 / (p × (1 − p)), Waar p is het aandeel van de testgroep. Een testgroep van 1% heeft daarom ongeveer 25 keer zoveel verkeer nodig als een gebalanceerde test om hetzelfde effect te zien.

Totaal aantal benodigde gebruikers gedurende de testperiode, bij een basisconversiepercentage van 2%, een power van 80% en een tweezijdige significantie van 5%:

Vergelijk dat nu met de standaardinstellingen van de leverancier. Statsig suggereert "een laag percentage van één cijfer, zoals 1%–2%" (Statistisch); Optimizely waarschuwt boven de 5% (OptimizelyGrowthBook meldt dat Facebook en X teams 5% of minder halen (Groeiboek).

Die cijfers kloppen voor de auteurs ervan, maar zijn niet van toepassing op de meeste middelgrote websites. Een regionale e-commercewebsite met 400,000 maandelijkse gebruikers genereert 1.2 miljoen gebruikers in een kwartaal. Met een retentiepercentage van 1% zou dat ongeveer tien jaar duren. Zelfs met 10% blijft het achter bij een stijging van +5%. Bij 20% wordt een stijging van +5% in een kwartaal en +10% in ongeveer een maand gedetecteerd. Kies het aandeel op basis van uw eigen verkeer, niet op basis van de standaardinstelling van een leverancier. Als het eerlijke antwoord 20% is, leg die afweging dan duidelijk aan het bedrijf uit: een vijfde van de gebruikers wacht een kwartaal op nieuwe functies, in ruil voor de zekerheid of dat kwartaal de moeite waard was.

Kies de duur en het analysevenster.

Statsig adviseert een periode van drie tot zes maanden voordat een holdout-test wordt vrijgegeven; GrowthBook adviseert een actieve periode van een halve maand tot een kwartaal, gevolgd door een analyseperiode van twee tot vier weken, zodat de effecten zich kunnen stabiliseren en de terugkijkperiodes gevuld zijn.

Onze werkregel: de actieve periode is de langste van de periode die uw dimensioneringstabel vereist plus één volledige bedrijfscyclus. In deze regio betekent dit dat we minimaal één campagnepiek en één rustige maand moeten dekken, zodat het resultaat niet alleen door 11.11 wordt bepaald. Blokkeer vervolgens de vlaggen en wacht tot het analysevenster is verstreken voordat iemand het dashboard opent.

Bouw het: zeven dingen om goed te doen

• Randomiseer op een permanente, server-side gebruikers- of accountidentificatieEen cookie die door een toestemmingsbanner wordt geblokkeerd of door een gebruiker wordt verwijderd, lekt gegevens tussen verschillende partijen.
• Wijs de holdout toe. eenmalig, van voren, vóór de lanceringen die je wilt meten. Een holdout die achteraf wordt gecreëerd, is geen holdout.
• Leid elke gelanceerde winnaar door hetzelfde vlagsysteem, zodat "holdout = off" daadwerkelijk de oude ervaring betekent. Gebruikers die zijn uitgesloten, krijgen standaard poort- en laagwaarden, net zoals in de implementatie van Statsig.
• Houd een expliciete uitsluitingslijstBeveiligingsupdates, werkzaamheden met betrekking tot wettelijke en toegankelijkheidsvoorschriften en prijswijzigingen worden naar iedereen verzonden. Documenteer elke uitzondering met de bijbehorende datum.
• Kies er twee tot vier duurzaam Meetwaarden (omzet per gebruiker, retentie, bestelfrequentie) plus uw primaire conversieratio. Voeg geen vijfde toe.
• Houd een gedateerd lanceringsregister bij van elke wijziging die binnen het lanceringsvenster is doorgevoerd, inclusief de gemeten lift. Dat is het referentiepunt waarmee je de resultaten van de vorige versie vergelijkt.
• Geef de ontwikkelaars de opdracht om de vlaggen in de codebase te laten staan ​​totdat het analysevenster sluit. Tests die niet doorgaan, worden vaker afgebroken vanwege het voortijdig verwijderen van vlaggen dan vanwege statistische oorzaken.

Lees het resultaat eerlijk.

Bereken de verhouding tussen de lift gemeten in de testomgeving en de totale lift in uw lanceerregister. Onze werkdrempels zijn gebaseerd op inschattingen, niet op gepubliceerde benchmarks:

Een regionale waarschuwing met betrekking tot het alternatief waar teams als eerste naar grijpen. Als u van plan bent de staking over te slaan en dit kwartaal met vorig jaar te vergelijken, houd er dan rekening mee dat de jaarlijkse consumentenprijsinflatie in Turkije in augustus 2026 31.51% bedroeg.TÜİK-cijfers, gepubliceerd op 3 september 2026De omzet per gebruiker in lira is bij die koers niet vergelijkbaar tussen verschillende perioden, en het defleren ervan introduceert nieuwe aannames. Gelijktijdige randomisatie omzeilt dit probleem: beide groepen opereren in dezelfde economie op dezelfde dag.

[INTERNE GEGEVENS NODIG: een voorbeeld van een Switas-klant — programmaduur, verkeersomvang, de som van de testwinst versus de winst gemeten in de holdout-dataset, en het gebruikte holdout-aandeel.]

Zes manieren waarop een dwarsligger stilletjes bezwijkt

• besmetting. Gedeelde apparaten, uitgelogde sessies en het resetten van identificatiegegevens zorgen ervoor dat gebruikers tussen verschillende systemen worden verplaatst. Meet de overdracht; boven de circa 2% is de schatting niet betrouwbaar.
• Stille lekkage. Een wijziging die buiten het vlaggsysteem wordt doorgevoerd (een CDN-regel, een CMS-bewerking, een nieuwe sjabloon) bereikt ook de achterblijver en verkleint het verschil tot bijna nul.
• Uitsluitingstrends. Elke beslissing in de trant van "deze moet naar iedereen" haalt een lancering uit je metingen. Bij tien van zulke beslissingen meet je helemaal niets meer.
• Mismatch in de steekproefverhouding. De verdeling wijkt af van het beoogde aandeel. Controleer wekelijks; een test met SRM is net zo ongeldig als elke andere test met SRM.
• Voortijdige vrijlating. De native globale holdouts van Optimizely kunnen niet worden gepauzeerd, alleen beëindigd. Beschouw dat als de regel: voortijdig beëindigen betekent dat het venster vervalt.
• Vanaf dag één ondermaats qua vermogen. De meest voorkomende fout. Een nulresultaat bij een test met 2% van de deelnemers zegt niets over je programma, maar alles over de dimensionering ervan.

Waar deze methode faalt

Een holdout geeft de omvang van het gecombineerde effect weer, niet welke lancering dit heeft veroorzaakt. Attributie vereist nog steeds individuele tests. Het kan niets meten dat aan iedereen moet worden geleverd, dus compliancewerk valt daarbuiten. Het is niet geschikt wanneer dezelfde gebruikers niet binnen de aangegeven periode terugkeren, en het zegt niets over merkbekendheid of offline spillover tussen de verschillende onderdelen. Onder de circa 100,000 maandelijkse gebruikers is er geen marktaandeel dat zowel detecteerbaar als verdedigbaar is; op die schaal zijn zorgvuldig gecontroleerde voor-na-metingen plus kwalitatieve validatie het meest verstandige alternatief, waarbij de zwakke punten expliciet worden benoemd.

Veelgestelde vragen

Hoe groot moet een groep zijn die zich verzet?

Groot genoeg om het verwachte cumulatieve effect te detecteren, wat een berekening is en geen conventie. Bij een basislijn van 2% en een relatieve doelstelling van +5% heeft een test met een retentiepercentage van 5% ongeveer 3.25 miljoen gebruikers nodig, terwijl een test met een retentiepercentage van 20% er ongeveer 971,000 nodig heeft.

Hoe lang moet een protestactie duren?

Leveranciers adviseren een actieve periode van drie tot zes maanden, plus een analyseperiode van twee tot vier weken. Voeg daarbij de voorwaarde dat deze periode ten minste één campagnepiek en één normale maand omvat, zodat één enkele verkoopgebeurtenis niet doorslaggevend is voor het resultaat.

Waarom is mijn holdout lift kleiner dan de som van mijn testoverwinningen?

Dat is het verwachte resultaat, geen fout. De winnaarsvloek, het afnemen van de nieuwigheid, de interactie tussen veranderingen en de analysemarge verhogen allemaal de som. Het getal dat is verkregen door de test te negeren, ligt dichter bij de werkelijkheid.

Kan ik een testomgeving creëren nadat ik de producten al heb gelanceerd?

Niet voor die lanceringen — iedereen heeft ze al ontvangen. Een holdout meet alleen wijzigingen die vanaf de startdatum ervan worden afgeschaft. Je kunt er vandaag nog een starten voor de komende twee kwartalen.

Is het tegenhouden van gebruikers schadelijk voor de omzet?

Een klein beetje, als uw lanceringen daadwerkelijk succesvol zijn; die kosten worden begrensd door het aandeel van de testgroep vermenigvuldigd met de werkelijke winst. Als ze niet succesvol zijn, kost de testgroep niets en voorkomt het dat u ze moet herhalen.

Wat als het resultaat van de testcase vlak is?

Controleer eerst het vermogen aan de hand van uw maattabel, en vervolgens de crossover en lekstroom. Een werkelijk vlak, voldoende krachtig resultaat betekent dat twee kwartalen verzending de meetwaarde niet hebben beïnvloed: duur om te leren, nog duurder om het niet te leren.

Volgende stap

Als je experimenten uitvoert en niet kunt zeggen wat een jaar aan winsten waard was, bereken dan deze week de omvang van een test op basis van je eigen verkeer – of laat ons de omvang ervan bepalen, de test uitvoeren en de resultaten analyseren als onderdeel van een onderzoek. CRO-betrokkenheid.

Bronnen

• Kohavi & Longbotham, "Online gecontroleerde experimenten en A/B-testen" (2015)
• Lee & Shen (Airbnb), "Winner's Curse", KDD 2018
• Sadeghi et al. (Microsoft), "Nieuwheid en Primaat", Technometrics, 2022
• Netflix TechBlog, "Toepassingen van causale inferentie bij Netflix"
• Statsig Docs, "Holdouts"
• GrowthBook, "Holdouts in GrowthBook"
• Optimizely-ondersteuning, "Wereldwijde achterblijvers"
• Eppo, "Het geheel is minder dan de som der delen"
• Directie Strategie en Begroting — TÜİK CPI, augustus 2026