Sequentiële testen

Sequentiële testen vormen een familie van experimentele ontwerpen waarmee resultaten continu, of met geplande tussenpozen, kunnen worden geëvalueerd, terwijl de foutenmarge die anders door herhaalde evaluatie zou toenemen, onder controle wordt gehouden. Bij een conventionele test met een vaste horizon is de analyse alleen geldig bij de vooraf berekende steekproefomvang; elke extra analyse vergroot de kans op een vals positief resultaat. Sequentiële methoden passen de beslissingsgrens aan om rekening te houden met het feit dat er meerdere analyses plaatsvinden, waardoor het gerechtvaardigd is om een ​​test vroegtijdig te stoppen wanneer het bewijs sterk genoeg is.

De commerciële aantrekkingskracht is evident. Een test met een vaste horizon die vier weken aan verkeer vereist, moet ook daadwerkelijk vier weken draaien, zelfs als de variant in de eerste week de omzet ernstig schaadt, tenzij het team bereid is de statistische validiteit van het ontwerp op te geven. Sequentiële benaderingen maken het mogelijk om een ​​werkelijk rampzalige variant snel te stoppen en een werkelijk succesvolle variant vroegtijdig te lanceren. Dit verlaagt zowel de testkosten als het aantal experimenten dat een website per jaar kan uitvoeren. Voor bedrijven waar een slechte variant een reëel omzetrisico met zich meebrengt, is dit geen verfijning, maar een vereiste.

Er vallen verschillende technieken onder deze noemer. Groepssequentiële ontwerpen specificeren een klein aantal tussentijdse analyses met aangepaste drempelwaarden bij elke analyse. Alfa-spendingfuncties verdelen het totale toegestane vals-positieve percentage over deze analyses. Altijd-valide inferentie en sequentiële waarschijnlijkheidsverhoudingstesten maken continue monitoring mogelijk met grenzen die strenger worden naarmate er meer data beschikbaar komen. Bayesiaanse benaderingen omzeilen het probleem van de vaste horizon door hun constructie, hoewel ze hun eigen aandachtspunten met betrekking tot het voorkomen van bias met zich meebrengen. De meeste commerciële testplatformen implementeren tegenwoordig een van deze methoden op de achtergrond, waardoor hun gerapporteerde betrouwbaarheidscijfers zich niet langer gedragen zoals naïeve herhaalde significantietesten zouden doen.

De belangrijke kanttekening is dat sequentiële validiteit niet elk risico op vroegtijdige stopzetting uitsluit. Een test die na vijf dagen wordt stopgezet, is nog steeds een test die geen volledige weekcyclus heeft doorlopen, geen terugkerende bezoekers heeft verzameld en het nieuwigheidseffect van een zichtbare ontwerpwijziging in de eerste dagen nog niet heeft overwonnen. De statistieken kunnen weliswaar geldig zijn, maar de zakelijke conclusie kan onjuist zijn, omdat de steekproef niet representatief is voor de normale bedrijfsomstandigheden en niet omdat deze te klein is. Minimale looptijdregels, doorgaans minstens één en bij voorkeur twee volledige bedrijfscycli, gelden naast sequentiële grenzen en worden er niet door vervangen.

Vroegtijdig stoppen verstoort ook de geschatte effectgrootte. Tests die stoppen zodra een grens wordt overschreden, doen dat op momenten dat willekeurige variatie toevallig de voorkeur geeft aan de betreffende variant. Daardoor heeft de waargenomen stijging op het stoppunt de neiging het werkelijke effect te overschatten. Wanneer de beslissing simpelweg is of er wel of niet verzonden moet worden, is dit zelden van belang. Maar wanneer het cijfer wordt gebruikt in een omzetprognose, is het van groot belang en moet het gerapporteerde cijfer worden gecorrigeerd of opnieuw geschat in plaats van direct te worden geciteerd.

Omdat implementaties verschillen, is het belangrijk om vast te stellen wat een testplatform precies doet voordat je op de resultaten vertrouwt. De documentatie van de leverancier moet vermelden of de gerapporteerde betrouwbaarheid geldig is bij continue monitoring, welke methode wordt gebruikt en of de gerapporteerde effectgrootte is gecorrigeerd voor vroegtijdige stopzetting. Sommige platforms passen altijd geldige inferentie toe, andere hanteren sequentiële groepsgrenzen op vaste controlepunten, en weer andere rapporteren nog steeds naïeve statistieken met een vaste horizon op een live dashboard. Deze laatste methode levert in de praktijk de meeste valse positieven op. Het onderscheid is niet theoretisch: dezelfde data kunnen met de ene methode een betrouwbaar oordeel opleveren en met de andere geen conclusie. Teams die van platform zijn gewisseld, ontdekken soms dat een groot deel van hun eerdere successen niet zouden zijn behaald met de methodologie van de nieuwe tool.

Voor een adviesbureau dat een programma met een hoge experimentfrequentie uitvoert, maken sequentiële ontwerpen het mogelijk om een ​​agressieve experimentfrequentie te combineren met statistische discipline. In een conversiepercentage optimalisatie Bij betrokkenheid worden de regels normaal gesproken vooraf vastgelegd: welke grensmethode van toepassing is, de minimale looptijd ongeacht de grens, de grenswaarden die een noodstop kunnen activeren en wie de bevoegdheid heeft om er een te activeren. Dat beheer is met name belangrijk in e-commerce omgevingen waar een variant die het afrekenproces verstoort tijdens een drukke handelsweek in drie dagen meer kan kosten dan het hele testprogramma in een kwartaal oplevert.