P-Wert

Der p-Wert gibt die Wahrscheinlichkeit an, ein mindestens ebenso extremes Ergebnis wie das gemessene zu beobachten, vorausgesetzt, die getestete Veränderung hat keine tatsächliche Wirkung. Er ist die Grundlage der meisten Signifikanzurteile in Konversionsexperimenten: Ein p-Wert unter 0.05 gilt üblicherweise als Beleg gegen die Annahme, dass keine Wirkung vorliegt, und das Ergebnis wird als signifikant auf dem 95-Prozent-Niveau eingestuft.

Die Definition enthält eine Bedingung, die in der Praxis häufig weggelassen wird, und genau diese Weglassung verursacht den Großteil der Verwirrung um das Konzept. Ein p-Wert von 0.03 bedeutet nicht, dass die Wahrscheinlichkeit, dass die Änderung keine Wirkung hatte, 3 Prozent beträgt, und er bedeutet auch nicht, dass die Wahrscheinlichkeit, dass die Variante besser ist, 97 Prozent beträgt. Er beschreibt, wie überraschend die Daten wären, wenn die Änderung keine Wirkung hätte. Um dies in eine Wahrscheinlichkeit für die Hypothese selbst umzurechnen, sind zusätzliche Informationen erforderlich, insbesondere wie plausibel die Hypothese vor dem Test war. Genau dies machen Bayes'sche Methoden explizit, während frequentistische p-Werte diese Information auslassen.

Dies ist wirtschaftlich relevant, da es die Gewichtung der Ergebnisse beeinflusst. Ein p-Wert von 0.04 für eine fundierte Hypothese, die auf beobachtetem Nutzerverhalten basiert, ist ein deutlich stärkerer Beleg als derselbe p-Wert für eine willkürliche, aus einer Laune heraus getestete Änderung, selbst wenn die beiden Werte identisch sind. Programme, die eine große Anzahl minderwertiger Ideen testen, erzielen signifikante Ergebnisse in etwa der durch den Schwellenwert vorgegebenen Wahrscheinlichkeit – also rein zufällig etwa eins zu zwanzig – und werden dann Schwierigkeiten haben zu verstehen, warum ihre gesamten Geschäftsauswirkungen nicht der Summe ihrer gemeldeten Erfolge entsprechen.

Der Schwellenwert von 0.05 entbehrt jeglicher wissenschaftlicher Grundlage; er ist eine Konvention aus der statistischen Praxis des frühen 20. Jahrhunderts, die von der Optimierungsbranche unreflektiert übernommen wurde. Ihn als starre Grenze zu behandeln, begünstigt eine bestimmte Art von Fehlschluss, bei dem ein p-Wert von 0.049 als Erfolg und 0.051 als Misserfolg gewertet wird, obwohl die beiden Ergebnisse praktisch identisch sind. Es ist ratsamer, den p-Wert zusammen mit der Effektstärke und dem Konfidenzintervall anzugeben und die Entscheidung das Gesamtbild, einschließlich der Kosten der Änderung und der Konsequenzen eines Fehlurteils, berücksichtigen zu lassen.

Mehrere gängige Praktiken verfälschen die p-Werte auf eine Weise, die im Abschlussbericht nicht sichtbar ist. Die wiederholte Überprüfung der Ergebnisse und das Absetzen beim Überschreiten des Schwellenwerts erhöhen die tatsächliche Rate falsch positiver Ergebnisse drastisch. Das Testen vieler Metriken und die Angabe derjenigen, die Signifikanz erreicht hat, führt zum gleichen Fehler. Die Segmentierung der Daten nach Betrachtung der Gesamtwerte ist ein weiterer Fehler, nur in größerem Umfang. Es gibt Korrekturmethoden für Mehrfachvergleiche und sequentielle Testdesigns für die kontinuierliche Überwachung, aber der zuverlässigste Schutz ist ein vorab festgelegter Analyseplan, der die primäre Metrik, die Segmente und die Abbruchregel vor dem Eintreffen der Daten festlegt.

Die Analyse der Verteilung der p-Werte im Verlauf eines Programms ist eine aufschlussreiche Diagnosemethode, die nur wenige Teams anwenden. Würden Experimente korrekt durchgeführt und analysiert und hätten die meisten getesteten Ideen keine tatsächliche Wirkung, wären die p-Werte im gesamten Portfolio annähernd gleichmäßig verteilt, wobei etwa jeder zwanzigste unter dem üblichen Schwellenwert läge. Eine Verteilung, die sich stark knapp unterhalb des Schwellenwerts konzentriert, deutet stark darauf hin, dass die Abbruchregeln eher von den Zahlen als vom Plan bestimmt werden, da sich die Tests, die beim Überschreiten einer bestimmten Grenze abgebrochen werden, genau an dieser Grenze häufen. Die Überprüfung der Experimente eines vergangenen Jahres auf diese Weise kostet nur wenige Stunden und klärt häufig eine Diskrepanz auf, die ein Unternehmen schon viel länger beschäftigt: Warum hat sich ein Portfolio gemeldeter Erfolge nicht auf die Kennzahlen ausgewirkt, die die Führungsebene tatsächlich im Blick hat?

Für eine Unternehmensberatung liegt der Nutzen in der Regel weniger in der korrekten Berechnung von p-Werten, die jede Testplattform automatisch durchführt, sondern vielmehr in der Steuerung ihrer Verwendung. CRO-Dienstleistung Die Zusammenarbeit mit Unternehmen umfasst in der Regel die Erstellung eines schriftlichen Analyseprotokolls, die Definition primärer und sekundärer Kennzahlen pro Experiment sowie die Berichterstattung der Ergebnisse in einem einheitlichen Format, das die Effektstärke und das Effektintervall anstelle eines isolierten Urteils enthält. In größeren Organisationen wird dieses Protokoll Bestandteil der Vorgehensweise bei der Zusammenarbeit mit Unternehmen. Datenanalyse Die Funktion zertifiziert die Ergebnisse, bevor sie in der Berichterstattung an den Vorstand aufgeführt werden. Dadurch wird verhindert, dass ein Portfolio statistisch fragiler Erfolge als verlässliche Umsatzprognose präsentiert wird.