Konfidensintervall

Et konfidensintervall er et verdiområde, beregnet fra eksperimentdata, som sannsynligvis inneholder den sanne effekten av en endring. Der en signifikanstest returnerer en binær dom, kommuniserer et konfidensintervall både retningen og den plausible størrelsen på en effekt, sammen med presisjonen til målingen. Et resultat rapportert som «en relativ økning på 6 prosent, et konfidensintervall på 95 prosent fra 1 prosent til 11 prosent» inneholder langt mer beslutningsrelevant informasjon enn «signifikant ved 95 prosent».

Bredden på intervallet er det viktigste signalet. Et smalt intervall betyr at eksperimentet målte effekten presist, og bedriften kan planlegge rundt tallet. Et bredt intervall som fortsatt ekskluderer null betyr at endringen sannsynligvis var positiv, men størrelsen forblir genuint usikker, noe som er viktig når beslutningen om å sende endringen avhenger av at effekten er stor nok til å rettferdiggjøre implementeringskostnadene. Et intervall som strekker seg over null betyr at dataene er kompatible med at endringen hjelper, ikke gjør noe eller skader, og ingen sikker påstand i noen retning kan støttes.

Konfidensintervaller korrigerer en spesifikk og kostbar vane: å rapportere det observerte punktestimatet som om det var sannheten. Når en test rapporterer en økning på 18 prosent med et intervall fra 2 prosent til 36 prosent, er overskriftstallet som når sammendraget nesten alltid 18 prosent, og dette tallet vises deretter i prognoser, forretningsmodeller og årlige prognoser. Når endringen rulles ut og leverer 4 prosent, får testprogrammet skylden for å love for mye. Å presentere intervallet fra starten av setter nøyaktige forventninger og beskytter troverdigheten til praksisen.

Den formelle tolkningen er mer subtil enn den vanlige. Et konfidensintervall på 95 prosent betyr ikke at det er 95 prosent sannsynlighet for at den sanne effekten ligger innenfor dette bestemte intervallet. Det betyr at en prosedyre som produserer intervaller på denne måten, ville fange opp den sanne verdien i 95 prosent av gjentatte eksperimenter. I praksis resonnerer de fleste team om det på en hverdagslig måte og kommer sjelden til skade, men skillet er viktig når noen prøver å kombinere intervaller på tvers av tester eller å resonnere om et spesifikt resultat i sannsynlighetsmessige termer. Bayesianske metoder, som rapporterer troverdige intervaller med den intuitive tolkningen, foretrekkes ofte av nettopp denne grunnen.

Intervaller avslører også kostnadene ved segmentanalyse i etterkant. Å dele et eksperiment opp i mobil og datamaskin, nytt og tilbakevendende, betalt og organisk, produserer intervaller som utvides kraftig etter hvert som hvert delsett krymper. Segmenter med dramatisk utseende punktestimater og intervaller som spenner fra sterkt negative til sterkt positive er råmaterialet for de fleste falske lærdommer i optimaliseringsarbeid. Å vise intervallet ved siden av hvert segmenttall gjør svakhetene ved disse målingene umiddelbart synlige for ikke-spesialister, noe som er mer effektivt enn en skriftlig advarsel som ingen leser.

Å kommunisere intervaller til kommersielle interessenter krever at de oversettes til beslutningsvilkårene i stedet for å presenteres som statistisk notasjon. Den effektive innrammingen uttrykker intervallet i forretningsenheter: i stedet for å rapportere et relativt løfteintervall, angi at endringen forventes å produsere mellom et nedre og et øvre tall i månedlig ekstra inntekt, gitt nåværende trafikk. Planlegging kan da bruke den konservative enden av intervallet, som produserer prognoser som holder mål, mens den optimistiske enden setter forventninger om det beste realistiske tilfellet. Der intervallet inkluderer null, er den ærlige påstanden at eksperimentet ikke kunne fastslå om endringen hjelper eller skader, og oppfølgingsspørsmålet er om virksomheten ønsker å bruke mer trafikk på å begrense den eller ta beslutningen på andre grunnlag som merkevare, tilgjengelighet eller vedlikeholdskostnader.

Rapporteringspraksis i et modent program fører derfor frem med intervallet snarere enn dommen. dataanalyse funksjon som standardiserer intervallrapportering på tvers av eksperimenter, markedsføringsmålinger og prognoser bygger et felles organisatorisk vokabular for usikkerhet, noe som igjen gjør det enklere å ha ærlige samtaler om hvilke resultater som er solide nok til å bygge en strategi på. vekststyring arbeid, som ærlighet forsterkes: prognoser bygget på intervallbevisste estimater overlever kontakt med virkeligheten langt bedre enn de som er bygget på nøkternt utvalgte punktestimater fra den mest flatterende testen i siste kvartal.