Experiment Snelheid

Experimentele snelheid is het tempo waarin een organisatie valide experimenten uitvoert, meestal uitgedrukt als het aantal afgeronde tests per maand of per kwartaal. Het is een van de sterkste voorspellers van de waarde die een testprogramma genereert, om een ​​eenvoudige reden: als slechts een minderheid van de experimenten een betekenisvolle verbetering oplevert, dan is het aantal gevonden verbeteringen grotendeels afhankelijk van het aantal uitgevoerde experimenten. Het verdubbelen van de leersnelheid, alle andere factoren gelijkblijvend, verdubbelt ruwweg het cumulatieve effect op de belangrijke meetwaarden.

De snelheid wordt beperkt door drie afzonderlijke factoren, en het identificeren van de beperkende factor is de eerste stap naar verbetering. Verkeer stelt een harde statistische bovengrens: een site kan niet meer gelijktijdige, voldoende krachtige tests uitvoeren dan het volume toelaat. Productiecapaciteit omvat ideeëngeneratie, ontwerp, bouw en kwaliteitsborging, en is meestal de beperkende factor in organisaties waar elke test engineeringwerk vereist. Proces omvat goedkeuringscycli, beoordeling door belanghebbenden, juridische of merkgoedkeuring en de doorlooptijd van analyses, en is vaak de grootste verborgen kostenpost, omdat tests langer in de wachtrij blijven staan ​​dan dat ze data verzamelen.

Het verhogen van de snelheid door de normen te verlagen is contraproductief en helaas een veelvoorkomend verschijnsel. Het verkorten van de looptijd tot minder dan een volledige bedrijfscyclus, het overslaan van de steekproefomvangberekening, het loslaten van kwaliteitsborging, het testen van wat gemakkelijk is in plaats van wat belangrijk is, en het stoppen van tests bij het eerste teken van significantie, verhogen allemaal het aantal voltooide experimenten, terwijl het aantal echte bevindingen afneemt. Een programma dat veertig tests per kwartaal rapporteert met een onbetrouwbare methodologie, levert minder waarde op dan een programma dat twaalf correct uitgevoerde tests rapporteert, en het zorgt voor meer verwarring binnen de organisatie omdat de resultaten elkaar tegenspreken.

De belangrijkste factoren voor productiviteit zijn het verkorten van wachttijden in plaats van het comprimeren van de tests zelf. Het bijhouden van een geprioriteerde backlog met kant-en-klare ideeën zorgt ervoor dat de capaciteit nooit onbenut blijft. Het opzetten van een herbruikbare componentenbibliotheek en testtemplates verkort de bouwtijd. Het afspreken van permanente goedkeuring voor een gedefinieerde categorie van experimenten met een laag risico, zodat voor elk experiment geen nieuwe goedkeuring nodig is. Het gelijktijdig uitvoeren van niet-overlappende tests op verschillende delen van de website. Het automatiseren van analyses en rapportages, zodat de resultaten beschikbaar zijn op de dag dat de test is afgerond, in plaats van twee weken later. Geen van deze maatregelen doet afbreuk aan de nauwkeurigheid; ze verkorten allemaal de tijd tussen twee experimenten.

De snelheid van tests moet ook in samenhang met kwaliteitsmaatregelen worden bekeken, en niet op zichzelf staand. Nuttige aanvullende maatregelen zijn bijvoorbeeld het percentage tests dat een geldige conclusie bereikt in plaats van wordt afgebroken, het percentage tests dat aantoonbaar leermateriaal oplevert, ongeacht de uitkomst, het aandeel experimenten dat zich richt op waardevolle pagina's of workflows, en het gemeten cumulatieve effect van het programma via een holdout-test. Een dashboard dat alleen de snelheid weergeeft, zal, zoals te verwachten, geoptimaliseerd worden door het uitvoeren van meer triviale tests.

Gelijktijdigheid verdient specifieke aandacht, omdat het de meest onzorgvuldig toegepaste factor is. Het gelijktijdig uitvoeren van meerdere experimenten verhoogt de doorvoer wanneer de tests ongerelateerde onderdelen van de gebruikerservaring beïnvloeden, maar leidt tot oninterpreteerbare resultaten wanneer ze elkaar overlappen. De praktische regels zijn om elke test te koppelen aan de stappen in de funnel en de doelgroepen die ermee worden geraakt, om te voorkomen dat twee tests die dezelfde stap wijzigen tegelijkertijd worden uitgevoerd, en om te controleren op interactie-effecten wanneer tests naast elkaar liggen in plaats van onafhankelijkheid aan te nemen. Sommige organisaties lossen dit op door een gedeelde kalender bij te houden van actieve experimenten met de betrokken gebieden, wat misschien niet de meest aantrekkelijke oplossing is, maar wel de veelvoorkomende situatie voorkomt waarin twee teams onbewust tegenstrijdige wijzigingen op dezelfde pagina testen en beide teams onduidelijke resultaten rapporteren zonder te begrijpen waarom.

Voor de meeste organisaties is de snelste weg naar een hogere productiviteit niet een nieuwe tool, maar een duidelijker operationeel model: wie genereert ideeën, wie stelt prioriteiten, wie bouwt, wie keurt goed en hoeveel tijd mag elke stap in beslag nemen? Het opzetten van dat model is een normaal onderdeel van een groei management betrokkenheid, en het daaruit voortvloeiende ritme, hangt meestal af van het hebben van voldoende voorbereide, goed onderbouwde hypotheses om de pijplijn gevuld te houden, en dat is waar continue gebruikersonderzoek Het verdient zijn plaats als input voor de testroadmap in plaats van als een incidenteel, afzonderlijk project.