Rekkverksmetrisk

En guardrail-måling er et mål som spores under et eksperiment, ikke for å avgjøre om varianten vinner, men for å oppdage om den forårsaker uakseptabel skade et annet sted. Den primære målingen svarer på spørsmålet testen var designet for å stille; guardrails svarer på spørsmålet ingen stilte, men alle burde. Et kasseeksperiment som optimaliserer for fullførte bestillinger, kan ha guardrails på gjennomsnittlig ordreverdi, returrate, kundeservicekontakter, sideinnlastingstid og feilrate, som alle kan forringes på en måte som gjør en nominell gevinst kommersielt negativ.

Guardrekker eksisterer fordi optimalisering skaper sterke insentiver til å flytte ett tall, og nesten ethvert tall kan flyttes på bekostning av et annet. Å fjerne fraktkostnadsinformasjon fra en produktside kan øke andelen «legg til i handlekurven», samtidig som det øker antallet forlatte handlekurver ytterligere. Aggressiv hastemelding kan øke umiddelbar konvertering, samtidig som det skader tilliten og øker refusjonene. Å forenkle et skjema ved å fjerne kvalifiserende spørsmål kan øke volumet av leads, samtidig som det reduserer kvaliteten på leads så mye at salgsoutputtet faller. I hvert tilfelle forbedres den primære metrikken og virksomheten blir verre, og bare et guardrekk fanger det opp.

Effektive sikkerhetstiltak velges bevisst per eksperiment i stedet for å brukes som en generisk liste, selv om et stående sett er nyttig som en grunnlinje. Det stående settet dekker vanligvis teknisk helse, inkludert feilrater og sideytelse, og forretningshelse, inkludert inntekt per besøkende og ordreverdi. Testspesifikke sikkerhetstiltak dekker de plausible måtene denne endringen kan forårsake skade, et spørsmål som best besvares av personer som forstår konsekvensene nedstrøms: kundeservice, oppfyllelse, salg og økonomi, som vanligvis ikke konsulteres under testdesign.

Rekkverk analyseres annerledes enn primære målinger. Den primære målingen testes for en betydelig forbedring; rekkverk testes for fravær av betydelig skade, som er et spørsmål om ikke-underlegenhet snarere enn et spørsmål om overlegenhet. I praksis definerer team en toleranse på forhånd, for eksempel ikke mer enn én prosent relativ nedgang i gjennomsnittlig ordreverdi, og behandler et brudd som grunnlag for å avvise varianten uavhengig av primærresultatet. Fordi flere rekkverk kontrolleres samtidig, er det fornuftig å ta hensyn til flere sammenligninger, ellers vil et stort sett med rekkverk av og til flagge skade tilfeldig.

Enkelte sikkerhetstiltak kan ikke måles innenfor testvinduet i det hele tatt. Returrater, abonnementsfrafall, gjentatte kjøp og livstidsverdi forsvinner alle uker eller måneder etter at eksperimentet er avsluttet. Disse krever en ventetid etter lansering eller en forsinket oppfølgingsanalyse, og det faktum at de ikke kan vurderes umiddelbart er en grunn til å være mer forsiktig med typen endringer som sannsynlig påvirker dem, ikke en grunn til å ignorere dem.

Å sette toleransen krever en eksplisitt samtale om hvilken skadeomfang som ville være uakseptabelt, og den samtalen er enklere når den er formulert i kommersielle termer snarere enn statistiske. En nedgang på én prosent i gjennomsnittlig ordreverdi på en stor inntektsbase kan koste mer enn gevinstene ved konverteringsforbedringen, og å angi begge deler i valuta gjør avveiningen åpenbar for alle i rommet. Automatisering er det som gjør guardrails effektive i praksis: en manuell gjennomgang på slutten av en test er for sent for en variant som har skadet inntektene i tre uker, så den nyttige ordningen er kontinuerlig overvåking av et lite sett med kritiske tiltak, med varslingsterskler satt løst nok til å unngå konstante falske alarmer og en avtalt eskaleringsvei når en utløses. Varselet bør nå noen med myndighet til å stoppe testen umiddelbart.

Å definere autovern er et av de tydeligste punktene der optimaliseringsarbeid må kobles til resten av virksomheten i stedet for å drives som en isolert spesialitet. CRO-tjeneste engasjement etablerer vanligvis det stående rekkverket under oppsett og går tilbake til testspesifikke rekkverk ved hver prioriteringsøkt med innspill fra operative interessenter. e-handel I miljøer er forbindelsen til oppfyllelse og retur spesielt viktig, fordi de mest fristende konverteringsgevinstene ofte er de som presser kostnader inn i logistikken der optimaliseringsteamet aldri ser dem.