Konfidenzintervall

Ein Konfidenzintervall ist ein aus experimentellen Daten berechneter Wertebereich, der mit hoher Wahrscheinlichkeit den tatsächlichen Effekt einer Veränderung umfasst. Während ein Signifikanztest ein binäres Ergebnis liefert, gibt ein Konfidenzintervall sowohl die Richtung als auch die plausible Stärke eines Effekts sowie die Messgenauigkeit an. Ein Ergebnis wie „6 % relative Steigerung, 95 % Konfidenzintervall von 1 % bis 11 %“ enthält deutlich mehr entscheidungsrelevante Informationen als „signifikant auf dem 95 %-Niveau“.

Die Breite des Intervalls ist das entscheidende Signal. Ein schmales Intervall bedeutet, dass das Experiment den Effekt präzise gemessen hat und das Unternehmen auf Basis dieser Werte planen kann. Ein breites Intervall, das die Null noch ausschließt, bedeutet, dass die Veränderung wahrscheinlich positiv war, ihr Ausmaß aber weiterhin ungewiss ist. Dies ist relevant, wenn die Entscheidung zur Markteinführung davon abhängt, ob der Effekt groß genug ist, um die Implementierungskosten zu rechtfertigen. Ein Intervall, das die Null einschließt, bedeutet, dass die Daten darauf schließen lassen, dass die Veränderung hilfreich, wirkungslos oder schädlich sein kann und keine sichere Aussage in irgendeine Richtung möglich ist.

Konfidenzintervalle korrigieren eine häufige und kostspielige Angewohnheit: die Angabe des beobachteten Schätzwertes als absolute Wahrheit. Meldet ein Test beispielsweise eine Steigerung von 18 Prozent mit einem Intervall von 2 bis 36 Prozent, so lautet die Kennzahl in der Managementzusammenfassung fast immer 18 Prozent und wird anschließend in Prognosen, Wirtschaftlichkeitsberechnungen und Jahresprognosen verwendet. Erzielt die Maßnahme nach der Einführung lediglich 4 Prozent, wird dem Testprogramm vorgeworfen, zu hohe Versprechungen gemacht zu haben. Die Angabe des Konfidenzintervalls von Anfang an schafft realistische Erwartungen und wahrt die Glaubwürdigkeit des Verfahrens.

Die formale Interpretation ist subtiler als die alltägliche. Ein 95-Prozent-Konfidenzintervall bedeutet nicht, dass die Wahrscheinlichkeit, dass der wahre Effekt innerhalb dieses Intervalls liegt, 95 Prozent beträgt. Es bedeutet, dass ein Verfahren, das auf diese Weise Intervalle erzeugt, den wahren Wert in 95 Prozent wiederholter Experimente korrekt erfasst. In der Praxis gehen die meisten Teams mit der alltäglichen Interpretation um und haben selten Probleme. Die Unterscheidung ist jedoch wichtig, wenn man versucht, Intervalle aus verschiedenen Tests zu kombinieren oder ein bestimmtes Ergebnis probabilistisch zu interpretieren. Bayes'sche Methoden, die glaubwürdige Intervalle mit der intuitiven Interpretation liefern, werden aus genau diesem Grund oft bevorzugt.

Intervalle verdeutlichen auch die Kosten einer nachträglichen Segmentanalyse. Die Aufteilung eines Experiments in mobile und Desktop-Nutzer, neue und wiederkehrende Nutzer sowie bezahlte und organische Reichweite führt zu Intervallen, die sich mit abnehmender Größe der einzelnen Teilmengen stark vergrößern. Segmente mit auffällig hohen Punktwerten und Intervallen, die von stark negativ bis stark positiv reichen, sind die Grundlage für die meisten Fehlinterpretationen in der Optimierung. Die Anzeige des Intervalls neben jeder Segmentabbildung macht die Schwäche dieser Messwerte auch für Nicht-Fachleute sofort sichtbar – deutlich effektiver als ein schriftlicher Warnhinweis, den ohnehin niemand liest.

Die Kommunikation von Zeitintervallen an die relevanten Geschäftspartner erfordert, dass diese in die Entscheidungskriterien übersetzt werden, anstatt sie als statistische Kennzahlen darzustellen. Eine effektive Formulierung drückt die Bandbreite in Geschäftseinheiten aus: Anstatt ein relatives Steigerungsintervall anzugeben, sollte man erklären, dass die Änderung bei gleichbleibendem Verkehrsaufkommen voraussichtlich einen bestimmten zusätzlichen monatlichen Umsatz zwischen einem unteren und einem oberen Wert generieren wird. Die Planung kann dann den konservativen Wert der Bandbreite nutzen, der verlässliche Prognosen liefert, während der optimistische Wert die Erwartungen für den bestmöglichen realistischen Fall festlegt. Liegt die Grenze bei Null, sollte man ehrlich sagen, dass das Experiment nicht klären konnte, ob die Änderung hilfreich oder schädlich ist. Die Anschlussfrage lautet dann, ob das Unternehmen mehr Aufwand in die Reduzierung des Verkehrsaufkommens investieren oder die Entscheidung auf der Grundlage anderer Kriterien wie Marke, Erreichbarkeit oder Wartungskosten treffen möchte.

Die Berichtspraxis in einem ausgereiften Programm orientiert sich daher eher am Zeitintervall als am Ergebnis. Datenanalyse Eine Funktion, die die Intervallberichterstattung über Experimente, Marketingmessungen und Prognosen hinweg standardisiert, schafft ein gemeinsames organisatorisches Vokabular für Unsicherheit, was wiederum offene Gespräche darüber erleichtert, welche Ergebnisse solide genug sind, um eine Strategie darauf aufzubauen. Wachstumsmanagement Arbeit, diese Ehrlichkeit verstärkt sich: Prognosen, die auf intervallbewussten Schätzungen basieren, überstehen den Kontakt mit der Realität weitaus besser als solche, die auf willkürlich ausgewählten Punktschätzungen aus dem schmeichelhaftesten Test des letzten Quartals basieren.