Ett konfidensintervall är ett värdeintervall, beräknat från experimentdata, som sannolikt innehåller den verkliga effekten av en förändring. Där ett signifikanstest returnerar ett binärt resultat, kommunicerar ett konfidensintervall både riktningen och den rimliga magnituden av en effekt, tillsammans med mätningens precision. Ett resultat som rapporteras som "en relativ höjning på 6 procent, ett konfidensintervall på 95 procent från 1 procent till 11 procent" innehåller mycket mer beslutsrelevant information än "signifikant vid 95 procent".
Intervallets bredd är den viktigaste signalen. Ett smalt intervall innebär att experimentet mätte effekten exakt och att verksamheten kan planera kring talet. Ett brett intervall som fortfarande exkluderar noll innebär att förändringen förmodligen var positiv men dess storlek förblir genuint osäker, vilket är viktigt när beslutet att lansera beror på att effekten är tillräckligt stor för att motivera implementeringskostnaden. Ett intervall som sträcker sig över noll innebär att data är kompatibla med att förändringen hjälper, gör ingenting eller skadar, och inget säkert påstående i någon riktning är stödjande.
Konfidensintervall korrigerar en specifik och dyr vana: att rapportera den observerade punktuppskattningen som om den vore sanningen. När ett test rapporterar en ökning på 18 procent med ett intervall från 2 procent till 36 procent, är det siffror som når sammanfattningen nästan alltid 18 procent, och det talet visas sedan i prognoser, business case och årliga prognoser. När förändringen rullas ut och levererar 4 procent, anklagas testprogrammet för att lova för mycket. Att presentera intervallet från början skapar korrekta förväntningar och skyddar trovärdigheten för praxisen.
Den formella tolkningen är mer subtil än den vardagliga. Ett 95-procentigt konfidensintervall betyder inte att det finns 95 procents sannolikhet att den verkliga effekten ligger inom just detta intervall. Det betyder att en procedur som producerar intervall på detta sätt skulle fånga det verkliga värdet i 95 procent av upprepade experiment. I praktiken resonerar de flesta team om det på ett vardagligt sätt och det leder sällan till skada, men skillnaden är viktig när någon försöker kombinera intervall över tester eller resonera om ett specifikt resultat i probabilistiska termer. Bayesianska metoder, som rapporterar trovärdiga intervall med den intuitiva tolkningen, föredras ofta av just denna anledning.
Intervaller avslöjar också kostnaden för segmentanalys i efterhand. Att dela upp ett experiment i mobil och dator, nya och återkommande, betalda och organiska, producerar intervall som vidgas kraftigt i takt med att varje delmängd krymper. Segment med dramatiskt utseende punktuppskattningar och intervall som sträcker sig från starkt negativa till starkt positiva är råmaterialet för de flesta falska lärdomar i optimeringsarbete. Att visa intervallet bredvid varje segmentsiffra gör svagheterna i dessa avläsningar omedelbart synliga för icke-specialister, vilket är mer effektivt än en skriftlig varning som ingen läser.
Att kommunicera intervall till kommersiella intressenter kräver att de översätts till beslutsvillkor snarare än att presenteras som statistisk notation. Den effektiva inramningen uttrycker intervallet i affärsenheter: istället för att rapportera ett relativt lyftintervall, ange att förändringen förväntas producera mellan en nedre och en övre siffra i ytterligare månatliga intäkter, givet nuvarande trafik. Planering kan sedan använda den konservativa änden av intervallet, vilket producerar prognoser som håller, medan den optimistiska änden sätter förväntningar om det bästa realistiska fallet. Där intervallet inkluderar noll är det ärliga påståendet att experimentet inte kunde fastställa om förändringen hjälper eller skadar, och följdfrågan är om företaget vill spendera mer trafik på att begränsa den eller fatta beslutet på andra grunder såsom varumärke, tillgänglighet eller underhållskostnad.
Rapporteringspraxis i ett moget program leder därför med intervallet snarare än med domslutet. uppgifter analytics En funktion som standardiserar intervallrapportering mellan experiment, marknadsmätningar och prognoser bygger ett gemensamt organisatoriskt vokabulär för osäkerhet, vilket i sin tur gör det lättare att ha ärliga samtal om vilka resultat som är tillräckligt solida för att bygga en strategi på. tillväxtledning arbete, att ärlighet sammanförs: prognoser baserade på intervallmedvetna uppskattningar överlever kontakt med verkligheten mycket bättre än de som bygger på noggrant utvalda punktuppskattningar från det mest smickrande testet under det senaste kvartalet.