Betrouwbaarheidsinterval

Een betrouwbaarheidsinterval is een reeks waarden, berekend op basis van experimentele gegevens, die waarschijnlijk het werkelijke effect van een verandering omvat. Waar een significantietoets een binair oordeel geeft, communiceert een betrouwbaarheidsinterval zowel de richting als de plausibele omvang van een effect, samen met de precisie van de meting. Een resultaat dat wordt gerapporteerd als "een relatieve stijging van 6 procent, 95 procent betrouwbaarheidsinterval van 1 procent tot 11 procent" bevat veel meer beslissingsrelevante informatie dan "significant op 95 procent".

De breedte van het interval is het belangrijkste signaal. Een smal interval betekent dat het experiment het effect nauwkeurig heeft gemeten en dat het bedrijf op basis van dat getal kan plannen. Een breed interval dat nul nog steeds uitsluit, betekent dat de verandering waarschijnlijk positief was, maar dat de omvang ervan echt onzeker blijft. Dit is van belang wanneer de beslissing om een ​​product te lanceren afhangt van de vraag of het effect groot genoeg is om de implementatiekosten te rechtvaardigen. Een interval dat nul omvat, betekent dat de gegevens compatibel zijn met de mogelijkheid dat de verandering positief, negatief of negatief is, en dat er geen enkele stellige bewering in welke richting dan ook te onderbouwen is.

Betrouwbaarheidsintervallen corrigeren een specifieke en kostbare gewoonte: het rapporteren van de waargenomen puntschatting alsof het de absolute waarheid is. Wanneer een test een stijging van 18 procent rapporteert met een interval van 2 tot 36 procent, is het belangrijkste cijfer dat in de samenvatting voor het management verschijnt bijna altijd 18 procent, en dat cijfer duikt vervolgens op in prognoses, businesscases en jaarprognoses. Wanneer de verandering wordt doorgevoerd en slechts 4 procent oplevert, wordt het testprogramma verweten te hoge verwachtingen te hebben gewekt. Het vanaf het begin presenteren van het interval schept accurate verwachtingen en beschermt de geloofwaardigheid van de werkwijze.

De formele interpretatie is subtieler dan de alledaagse. Een betrouwbaarheidsinterval van 95 procent betekent niet dat er een kans van 95 procent is dat het werkelijke effect binnen dit specifieke interval ligt. Het betekent dat een procedure die op deze manier intervallen produceert, de werkelijke waarde in 95 procent van de herhaalde experimenten zou vastleggen. In de praktijk redeneren de meeste teams er op de alledaagse manier over en ondervinden zelden problemen, maar het onderscheid is belangrijk wanneer iemand intervallen van verschillende tests probeert te combineren of een specifiek resultaat in probabilistische termen wil verklaren. Bayesiaanse methoden, die betrouwbaarheidsintervallen rapporteren met de intuïtieve interpretatie, hebben om precies deze reden vaak de voorkeur.

Intervallen leggen ook de kosten bloot van segmentanalyse achteraf. Het opsplitsen van een experiment in mobiel en desktop, nieuw en terugkerend, betaald en organisch, levert intervallen op die sterk verbreden naarmate elke subgroep kleiner wordt. Segmenten met dramatisch ogende puntschattingen en intervallen die variëren van sterk negatief tot sterk positief, vormen de basis voor de meeste valse conclusies in optimalisatiewerk. Door het interval naast elke segmentwaarde weer te geven, worden de zwakke punten van die metingen direct zichtbaar voor niet-specialisten, wat effectiever is dan een geschreven waarschuwing die niemand leest.

Het communiceren van tijdsintervallen aan commerciële belanghebbenden vereist dat ze worden vertaald naar de context van de beslissing, in plaats van ze te presenteren als statistische notatie. Een effectieve formulering drukt het bereik uit in bedrijfseenheden: in plaats van een relatief liftinterval te rapporteren, stelt u dat de verandering naar verwachting een lager of hoger bedrag aan extra maandelijkse inkomsten zal opleveren, gegeven het huidige verkeer. De planning kan vervolgens de conservatieve kant van het bereik gebruiken, wat prognoses oplevert die standhouden, terwijl de optimistische kant verwachtingen schept over het best realistische scenario. Wanneer het interval nul omvat, is de eerlijke constatering dat het experiment niet kon aantonen of de verandering helpt of schaadt, en de vervolgvraag is of het bedrijf meer verkeer wil investeren om het interval te verkleinen of de beslissing wil baseren op andere gronden zoals merk, bereikbaarheid of onderhoudskosten.

Bij een volwaardig programma ligt de focus in de rapportagepraktijk daarom op het tijdsinterval in plaats van op het uiteindelijke oordeel. Data analytics Een functie die de rapportage over verschillende intervallen standaardiseert voor experimenten, marketingmetingen en prognoses, creëert een gedeelde organisatietaal voor onzekerheid. Dit maakt het vervolgens gemakkelijker om openhartige gesprekken te voeren over welke resultaten betrouwbaar genoeg zijn om een ​​strategie op te baseren. groei management Het bewijs hiervoor is dat eerlijkheid zich opstapelt: prognoses gebaseerd op intervalbewuste schattingen doorstaan ​​de confrontatie met de realiteit veel beter dan prognoses gebaseerd op selectief gekozen puntschattingen uit de meest gunstige test in het laatste kwartaal.