Voorbeeldgrootte

De steekproefomvang is het aantal bezoekers, sessies of gebruikers dat in elke groep van een experiment is opgenomen, en is de belangrijkste factor die bepaalt of een test een betrouwbaar resultaat oplevert. Deze wordt berekend voordat een test van start gaat, op basis van vier inputs: het basisconversiepercentage van de controlegroep, de minimale effectgrootte die het bedrijf relevant acht, de gewenste statistische power en het significantieniveau. Wijziging van een van deze inputs heeft gevolgen voor de benodigde steekproefomvang, vaak aanzienlijk.

De relatie tussen deze inputs is niet intuïtief, en dit is waar de meeste testprogramma's de mist in gaan. Het detecteren van een klein effect vereist veel meer verkeer dan het detecteren van een groot effect, en de benodigde hoeveelheid verkeer neemt ruwweg toe met het omgekeerde kwadraat van de effectgrootte. Het halveren van het effect dat je wilt detecteren, verviervoudigt de benodigde hoeveelheid verkeer. Een website met een conversieratio van 2 procent die een relatieve verbetering van 5 procent betrouwbaar wil detecteren, heeft tienduizenden bezoekers per variant nodig; dezelfde website die een verbetering van 20 procent wil detecteren, heeft slechts een fractie daarvan nodig. Evenzo vereisen lage basisconversieratio's meer verkeer dan hoge, en daarom lopen leadgeneratiesites en e-commercecategorieën met een hoge overwegingsfrequentie langzamere testprogramma's dan retail met een hoge frequentie.

Het uitvoeren van een test zonder een steekproefgrootteberekening leidt tot een van de volgende twee scenario's: een test met onvoldoende statistische power die nooit tot een conclusie komt, wekenlang dataverkeer verbruikt en als onduidelijk wordt afgeblazen, of erger nog, wordt geïnterpreteerd als bewijs dat de wijziging geen enkel effect heeft gehad. Of een test die vroegtijdig stopt, wanneer een gelukkige reeks conversies een significantiedrempel overschrijdt, een groot effect rapporteert dat grotendeels verdwijnt wanneer de wijziging voor iedereen wordt doorgevoerd. Beide mislukkingen kosten hetzelfde: de geloofwaardigheid van het testprogramma binnen de organisatie.

De vereisten voor de steekproefomvang beperken ook wat een website realistisch gezien kan testen. Een website met beperkt verkeer kan geen portfolio van kleine verfijningen uitvoeren, omdat het maanden zou duren om elke verbetering op te lossen. De juiste strategie bij dat verkeersniveau is om minder, maar ingrijpendere veranderingen met grote verwachte effecten te testen, om hoger in de marketingtrechter te testen waar de volumes groter zijn, en om meer te vertrouwen op kwalitatief onderzoek en heuristische analyses om te bepalen wat zonder experiment kan worden gelanceerd. Het eerlijk erkennen van deze beperking is veel productiever dan het uitvoeren van een testprogramma dat wiskundig gezien niet kan slagen.

Bij praktische berekeningen moet ook rekening worden gehouden met het verschil tussen de statistische eenheid en de bedrijfseenheid. Als de randomisatie-eenheid de bezoeker is, maar de metriek per sessie wordt gemeten, klopt de berekening niet meer en wordt het gerapporteerde betrouwbaarheidsinterval overschat. Tests die de omzet per bezoeker meten in plaats van een binaire conversie, vereisen nog grotere steekproeven, omdat omzet een zeer variabele metriek is met een lange staart van grote bestellingen. Analyse op segmentniveau verergert het probleem: een test die is opgezet voor het hele publiek is niet opgezet voor de mobiele subgroep, en het interpreteren van segmentresultaten uit een experiment dat is opgezet voor het totaal is een van de meest voorkomende bronnen van onjuiste conclusies in de praktijk.

Uit de berekening volgen twee praktische vragen die vaak verkeerd worden beantwoord. De eerste is of het verkeer gelijkmatig verdeeld moet worden. Een ongelijke verdeling, zoals negentig procent controle en tien procent variant, wordt soms voorgesteld om de blootstelling aan een risicovolle verandering te beperken, maar dit verlengt de benodigde looptijd aanzienlijk, omdat de kleinere groep de nauwkeurigheid van de vergelijking bepaalt. Risicobeperking kan beter worden bereikt door een korte initiële fase met monitoring, gevolgd door een gelijkmatige verdeling. De tweede vraag is wat te doen met het gelijktijdig uitvoeren van meerdere tests. Gelijktijdige experimenten op ongerelateerde delen van een website zijn over het algemeen acceptabel en de manier waarop de meeste programma's een redelijke snelheid bereiken, maar tests die op elkaar inwerken, zoals twee veranderingen die dezelfde stap in de funnel beïnvloeden, moeten ofwel in een bepaalde volgorde worden uitgevoerd, ofwel als één gecombineerd ontwerp worden geanalyseerd, aangezien bezoekers die beide ervaren niet eenduidig ​​aan één van beide kunnen worden toegeschreven.

Binnen een gestructureerde omgeving conversiepercentage optimalisatie Bij dit programma vindt de planning van de steekproefomvang plaats tijdens de prioritering, niet bij de lancering. De wetenschap dat een voorgestelde test zes weken aan verkeer vereist, verandert de prioriteit ervan ten opzichte van een idee dat binnen tien dagen een oplossing biedt. Deze afweging tussen verwachte impact en de tijd die nodig is om een ​​antwoord te krijgen, is een van de belangrijkste inputfactoren voor de roadmap. Voor websites met minder verkeer geldt een UX-audit Dit levert vaak een beter rendement op dan een achterstand in experimenten, omdat het defecten identificeert die ernstig genoeg zijn om te verhelpen zonder dat statistisch bewijs nodig is.