Minimum detekterbar effekt (MDE)

Minimum detekterbar effekt, vanligvis forkortet MDE, er den minste endringen i en måleenhet som et eksperiment er utformet for å oppdage pålitelig. Den settes før en test starter og er en direkte input i beregningen av utvalgsstørrelsen. Et eksperiment med en MDE på 10 prosent er bygget for å fange opp forbedringer på 10 prosent eller større med det spesifiserte nivået av konfidens og styrke. Mindre ekte forbedringer vil ofte gå uoppdaget hen av den testen, og fremstå som ufullstendige resultater snarere enn seire.

MDE blir ofte misforstått som en prediksjon av hvor mye en variant vil forbedre konverteringen. Det er ikke en prognose. Det er en sensitivitetsinnstilling, på samme måte som en skala har et minste målbare trinn. Å sette den gjør ikke en effekt mer eller mindre sannsynlig å inntreffe; det avgjør om eksperimentet har nok oppløsning til å se effekten hvis den er der. Å forveksle de to fører til en kjent dårlig samtale etter at en test er avsluttet, der et team argumenterer for at varianten «burde ha vunnet» fordi MDE var satt til 15 prosent, når MDE faktisk bare beskrev det testen kunne se.

Den riktige måten å sette MDE på er kommersielt, ikke statistisk. Spørsmålet er hvilken størrelse forbedring som ville rettferdiggjøre kostnadene ved å bygge, sende og vedlikeholde endringen, pluss alternativkostnaden for trafikken som brukes på å måle den. Ved en kasse med høyt volum kan en relativ økning på 2 prosent være verdt et betydelig årlig tall og derfor verdt en lang test. På et kontaktskjema med lav trafikk kan en forbedring under 20 prosent være ubrukelig, fordi det absolutte antallet ekstra leads er ubetydelig. Ved å jobbe bakover fra forretningsverdien, holder testplanen forankret i resultater snarere enn i statistisk bekvemmelighet.

Det er en uunngåelig spenning mellom en ambisiøs MDE og trafikken et nettsted faktisk har. Team som er under press for å vise resultater, løser det ofte i feil retning, og hever MDE i stillhet til beregningen av utvalgsstørrelsen gir et komfortabelt antall dager. Dette produserer eksperimenter som er teknisk gyldige, men praktisk talt ubrukelige: de er bare i stand til å oppdage effekter som er så store at de ville vært åpenbare uten testing. Det ærlige alternativet er å akseptere at noen spørsmål ikke kan besvares ved eksperimentering på dagens trafikknivå, og å rute dem til andre metoder, for eksempel brukervennlighetstesting, analyseundersøkelser eller ekspertvurderinger.

MDE former også designet til selve varianten. Hvis en test må oppdage en forbedring på 15 prosent for å være verdt å kjøre, er det usannsynlig at en subtil endring i knappeteksten vil fjerne den grensen, og teamet er bedre tjent med å teste en vesentlig annerledes tilnærming til siden: et omstrukturert verdiforslag, en annen skjemalengde, en endret prispresentasjon. Dette er grunnen til at programmer med begrenset trafikk har en tendens til å produsere mer interessant arbeid enn programmer med ubegrenset trafikk, som har råd til å teste trivia.

En tilbakevendende kilde til forvirring er hvorvidt effekten uttrykkes i relative eller absolutte termer, og forskjellen er ikke triviell. Med en baseline-konverteringsrate på to prosent betyr en relativ forbedring på ti prosent en økning til 2.2 prosent, en absolutt endring på 0.2 prosentpoeng. En absolutt forbedring på ti prosent ville bety en økning til tolv prosent, noe ingen realistisk endring gir. Utvalgskalkulatorer, testplattformer og interessenter veksler ofte mellom de to konvensjonene uten å si det, og en plan bygget på feil lesning vil enten spesifisere et eksperiment som ikke kan konkluderes, eller et som er voldsomt overdrevet. Å angi konvensjonen eksplisitt i hver testplan, sammen med baseline og det resulterende absolutte tallet, fjerner en tvetydighet som ellers dukker opp hver gang resultater diskuteres med folk utenfor analysefunksjonen.

I praksis tas MDE-beslutninger kollektivt under planleggingen av veikartet i stedet for av en analytiker som jobber alene. CRO-tjeneste engasjement dokumenterer vanligvis, for hvert planlagte eksperiment, grunnlinjeraten, MDE, den resulterende utvalgsstørrelsen og den estimerte kjøretiden, slik at interessenter kan se kostnaden for hvert spørsmål før de forplikter seg til det. For organisasjoner som kjører eksperimenter på tvers av flere eiendommer eller markeder, forhindrer denne dokumentasjonen også den vanlige feilen med å bruke en enkelt MDE-konvensjon på nettsteder med radikalt forskjellige trafikkprofiler, et mønster som ofte sees i enterprise programmer der en sentral standard presses ned til lag med trafikk som ikke støtter den.