Gelændermetrisk

En guardrail-metrik er en måling, der spores under et eksperiment, ikke for at afgøre, om varianten vinder, men for at opdage, om den forårsager uacceptabel skade et andet sted. Den primære metrik besvarer det spørgsmål, testen var designet til at stille; guardrails besvarer det spørgsmål, som ingen stillede, men som alle burde. Et checkout-eksperiment, der optimerer for gennemførte ordrer, kan have guardrails på gennemsnitlig ordreværdi, returprocent, kundeservicekontakter, sideindlæsningstid og fejlprocent, som alle kan forringes på en måde, der gør en nominel gevinst kommercielt negativ.

Guardrails eksisterer, fordi optimering skaber stærke incitamenter til at flytte ét nummer, og næsten ethvert nummer kan flyttes på bekostning af et andet. Fjernelse af oplysninger om forsendelsesomkostninger fra en produktside kan øge andelen af ​​kunder, der lægger i kurven, samtidig med at det øger antallet af forladte kurve yderligere. Aggressiv urgentbeskeder kan øge den øjeblikkelige konvertering, samtidig med at det skader tilliden og øger refusioner. At forenkle en formular ved at fjerne kvalificerende spørgsmål kan øge mængden af ​​leads, samtidig med at leadkvaliteten sænkes så meget, at salgsoutputtet falder. I hvert tilfælde forbedres den primære metrik, og forretningen forværres, og kun et guardrail fanger det.

Effektive beskyttelsesrælinger vælges bevidst pr. eksperiment i stedet for at blive anvendt som en generisk liste, selvom et stående sæt er nyttigt som en basislinje. Det stående sæt dækker normalt teknisk sundhed, herunder fejlrater og sideydelse, og forretningssundhed, herunder omsætning pr. besøgende og ordreværdi. Testspecifikke beskyttelsesrælinger dækker de plausible måder, hvorpå denne specifikke ændring kan forårsage skade, hvilket er et spørgsmål, der bedst besvares af de personer, der forstår de efterfølgende konsekvenser: kundeservice, opfyldelse, salg og økonomi, hvoraf ingen typisk konsulteres under testdesign.

Autoværn analyseres forskelligt fra primære metrikker. Den primære metrik testes for en signifikant forbedring; autoværn testes for fravær af signifikant skade, hvilket er et spørgsmål om ikke-inferioritet snarere end et spørgsmål om overlegenhed. I praksis definerer teams en tolerance på forhånd, såsom et relativt fald på højst én procent i den gennemsnitlige ordreværdi, og behandler et brud som grundlag for at afvise varianten uanset det primære resultat. Da flere autoværn kontrolleres på én gang, er det fornuftigt at tillade flere sammenligninger, ellers vil et stort sæt autoværn lejlighedsvis markere skade tilfældigt.

Nogle sikkerhedsproblemer kan slet ikke måles inden for testvinduet. Returneringsrater, abonnementschurn, gentagne køb og livstidsværdi forsvinder alle uger eller måneder efter eksperimentets afslutning. Disse kræver en tilbageholdelse efter lanceringen eller en forsinket opfølgningsanalyse, og det faktum, at de ikke kan vurderes med det samme, er en grund til at være mere forsigtig med den type ændringer, der sandsynligvis påvirker dem, ikke en grund til at ignorere dem.

Fastsættelse af tolerancen kræver en eksplicit samtale om, hvilken skadeomfang der ville være uacceptabel, og den samtale er lettere, når den er formuleret i kommercielle termer snarere end statistiske. Et fald på én procent i den gennemsnitlige ordreværdi på en stor indtægtsbase kan koste mere end gevinsterne ved konverteringsforbedringen, og at angive begge dele i valuta gør afvejningen indlysende for alle i rummet. Automatisering er det, der gør guarrails effektive i praksis: en manuel gennemgang ved afslutningen af ​​en test er for sent for en variant, der har skadet omsætningen i tre uger, så den nyttige ordning er kontinuerlig overvågning af et lille sæt kritiske målinger, med alarmtærskler, der er løst nok sat til at undgå konstante falske alarmer, og en aftalt eskaleringsvej, når en af ​​dem udløses. Advarslen bør nå en person med bemyndigelse til at stoppe testen med det samme.

Definering af autoværn er et af de klareste punkter, hvor optimeringsarbejde skal forbindes med resten af ​​virksomheden i stedet for at køre som en isoleret specialitet. CRO-tjeneste Engagement etablerer typisk det stående beskyttelsesrækværk under opsætningen og genbesøger testspecifikke dem ved hver prioriteringssession med input fra operationelle interessenter. e-handel I forskellige miljøer er forbindelsen til ordreopfyldelse og returnering særligt vigtig, fordi de mest fristende konverteringsgevinster ofte er dem, der skubber omkostningerne ind i logistikken, hvor optimeringsteamet aldrig ser dem.