Skyddsräcke Metrisk

Ett guardrails-mått är ett mått som spåras under ett experiment, inte för att avgöra om varianten vinner, utan för att upptäcka om den orsakar oacceptabel skada någon annanstans. Det primära måttet besvarar frågan som testet utformades för att ställa; guardrails besvarar frågan som ingen ställde men som alla borde. Ett utcheckningsexperiment som optimerar för slutförda beställningar kan ha guardrails på genomsnittligt ordervärde, returfrekvens, kundtjänstkontakter, sidladdningstid och felfrekvens, vilka alla kan försämras på ett sätt som gör en nominell vinst kommersiellt negativ.

Skyddsräcken existerar eftersom optimering skapar starka incitament att flytta ett nummer, och nästan vilket nummer som helst kan flyttas på bekostnad av ett annat. Att ta bort information om fraktkostnader från en produktsida kan höja andelen kunder som lägger till i varukorgen samtidigt som det ökar antalet övergivna varukorgar ytterligare. Aggressiva brådskande meddelanden kan öka den omedelbara konverteringen samtidigt som de skadar förtroendet och ökar återbetalningarna. Att förenkla ett formulär genom att ta bort kvalificerande frågor kan öka leadvolymen samtidigt som leadkvaliteten sänks så mycket att försäljningsproduktionen minskar. I varje fall förbättras det primära mätvärdet och verksamheten försämras, och bara ett skyddsräcke fångar det.

Effektiva skyddsräcken väljs medvetet per experiment snarare än att tillämpas som en generisk lista, även om en stående uppsättning är användbar som baslinje. Den stående uppsättningen täcker vanligtvis teknisk hälsa, inklusive felfrekvenser och sidprestanda, och affärshälsa, inklusive intäkter per besökare och ordervärde. Testspecifika skyddsräcken täcker de rimliga sätt som denna specifika förändring kan orsaka skada, vilket är en fråga som bäst besvaras av de personer som förstår konsekvenserna efterföljande: kundservice, uppfyllande, försäljning och ekonomi, av vilka ingen vanligtvis konsulteras under testdesignen.

Skyddsräcken analyseras på ett annat sätt än primära mätvärden. Det primära mätvärdet testas för en signifikant förbättring; skyddsräcken testas för frånvaro av signifikant skada, vilket är en fråga om icke-underlägsenhet snarare än en fråga om överlägsenhet. I praktiken definierar team en tolerans i förväg, såsom högst en procents relativ minskning av genomsnittligt ordervärde, och behandlar ett intrång som skäl för att avvisa varianten oavsett det primära resultatet. Eftersom flera skyddsräcken kontrolleras samtidigt är det rimligt att ta hänsyn till flera jämförelser, annars kommer en stor uppsättning skyddsräcken ibland att flagga skada slumpmässigt.

Vissa skyddsräcken kan inte mätas inom testfönstret alls. Returfrekvenser, prenumerationsbortfall, upprepade köp och livstidsvärde försvinner alla veckor eller månader efter att experimentet avslutats. Dessa kräver en uppehållsperiod efter lanseringen eller en fördröjd uppföljningsanalys, och det faktum att de inte kan bedömas omedelbart är en anledning att vara mer försiktig med den typ av förändringar som rimligen påverkar dem, inte en anledning att ignorera dem.

Att fastställa toleransnivån kräver en tydlig diskussion om vilken omfattning av skadan som skulle vara oacceptabel, och den diskussionen är enklare när den formuleras i kommersiella termer snarare än statistiska. En minskning med en procentenhet av det genomsnittliga ordervärdet på en stor intäktsbas kan kosta mer än vinsterna med konverteringsförbättringen, och att ange båda i valuta gör avvägningen uppenbar för alla i rummet. Automatisering är det som gör skyddsräcken effektiva i praktiken: en manuell granskning i slutet av ett test är för sent för en variant som har skadat intäkterna i tre veckor, så det användbara arrangemanget är kontinuerlig övervakning av en liten uppsättning kritiska mått, med tröskelvärden för varning som är tillräckligt löst inställda för att undvika konstanta falsklarm och en överenskommen eskaleringsväg när ett larm utlöses. Varningen bör nå någon med befogenhet att stoppa testet omedelbart.

Att definiera skyddsräcken är en av de tydligaste punkterna där optimeringsarbetet måste kopplas till resten av verksamheten snarare än att drivas som en isolerad specialitet. CRO-tjänst Engagemang etablerar vanligtvis det stående skyddsräcket under installationen och återbesöker testspecifika sådana vid varje prioriteringssession med input från operativa intressenter. e-handel I olika miljöer är kopplingen till orderhantering och returer särskilt viktig, eftersom de mest frestande konverteringsvinsterna ofta är de som driver kostnader in i logistik där optimeringsteamet aldrig ser dem.