Leitplanken-Metrik

Eine Leitplankennzahl ist ein Messwert, der während eines Experiments erfasst wird, nicht um festzustellen, ob die Variante gewinnt, sondern um zu erkennen, ob sie an anderer Stelle inakzeptable Schäden verursacht. Die primäre Kennzahl beantwortet die Frage, die der Test beantworten sollte; Leitplanken beantworten die Frage, die niemand gestellt hat, die aber jeder stellen sollte. Ein Checkout-Experiment, das auf abgeschlossene Bestellungen optimiert ist, könnte Leitplanken für den durchschnittlichen Bestellwert, die Retourenquote, die Kundendienstkontakte, die Seitenladezeit und die Fehlerrate enthalten, da sich jede dieser Kennzahlen so verschlechtern könnte, dass ein nomineller Erfolg wirtschaftlich nachteilig wird.

Leitplanken sind notwendig, weil Optimierung starke Anreize schafft, eine Kennzahl zu verändern, und fast jede Kennzahl kann auf Kosten einer anderen verändert werden. Das Entfernen von Versandkosteninformationen von einer Produktseite kann die Warenkorb-Hinzufügungsrate erhöhen, gleichzeitig aber die Warenkorbabbruchrate weiter senken. Aggressive Dringlichkeitsbotschaften können die Konversionsrate kurzfristig steigern, aber das Vertrauen schädigen und die Rückerstattungsrate erhöhen. Die Vereinfachung eines Formulars durch das Entfernen von Qualifizierungsfragen kann die Anzahl der Leads erhöhen, gleichzeitig aber deren Qualität so stark senken, dass der Umsatz sinkt. In jedem Fall verbessert sich die primäre Kennzahl, während sich das Geschäft verschlechtert – und nur eine Leitplanke kann dies verhindern.

Wirksame Schutzmaßnahmen werden für jedes Experiment individuell ausgewählt und nicht als generische Liste angewendet, obwohl ein Standardset als Basiswert nützlich ist. Dieses Standardset umfasst üblicherweise die technische Stabilität (Fehlerraten und Seitenladezeit) sowie die wirtschaftliche Stabilität (Umsatz pro Besucher und Bestellwert). Testspezifische Schutzmaßnahmen beschreiben die möglichen negativen Auswirkungen der jeweiligen Änderung. Diese Frage lässt sich am besten von denjenigen beantworten, die die Folgen für die Folgeprodukte kennen: Kundenservice, Auftragsabwicklung, Vertrieb und Finanzen. Diese werden üblicherweise nicht in die Testplanung einbezogen.

Schutzmaßnahmen werden anders analysiert als primäre Kennzahlen. Die primäre Kennzahl wird auf eine signifikante Verbesserung geprüft; Schutzmaßnahmen hingegen auf das Fehlen signifikanter Schäden. Dies ist eine Frage der Nichtunterlegenheit und nicht der Überlegenheit. In der Praxis definieren Teams im Voraus eine Toleranz, beispielsweise einen relativen Rückgang des durchschnittlichen Auftragswerts von maximal einem Prozent, und werten eine Überschreitung als Grund, die Variante unabhängig vom Ergebnis der primären Kennzahl abzulehnen. Da mehrere Schutzmaßnahmen gleichzeitig geprüft werden, ist eine gewisse Toleranz für Mehrfachvergleiche sinnvoll, da sonst ein umfangreicher Schutzmaßnahmensatz gelegentlich fälschlicherweise Schäden meldet.

Manche Kennzahlen lassen sich im Testzeitraum gar nicht messen. Rücklaufquoten, Abwanderungsraten, Wiederkäufe und der Kundenwert entwickeln sich erst Wochen oder Monate nach Testende. Diese Kennzahlen erfordern eine Beobachtung nach dem Start oder eine verzögerte Folgeanalyse. Die Tatsache, dass sie nicht sofort bewertet werden können, ist ein Grund, bei der Auswahl von Änderungen, die diese Kennzahlen beeinflussen könnten, vorsichtiger zu sein – nicht aber ein Grund, sie zu ignorieren.

Die Festlegung der Toleranzgrenze erfordert ein offenes Gespräch darüber, welches Schadensausmaß inakzeptabel wäre. Dieses Gespräch gestaltet sich einfacher, wenn es in wirtschaftlichen statt in statistischen Begriffen geführt wird. Ein Rückgang des durchschnittlichen Bestellwerts um ein Prozent bei einem großen Umsatzvolumen kann teurer sein als die erzielten Conversion-Steigerungen. Die Angabe beider Werte in Euro macht den Zielkonflikt für alle Beteiligten deutlich. Automatisierung ist der Schlüssel zur Wirksamkeit von Schutzmaßnahmen in der Praxis: Eine manuelle Überprüfung am Ende eines Tests kommt zu spät für eine Variante, die bereits seit drei Wochen Umsatzeinbußen verursacht. Daher ist eine kontinuierliche Überwachung einiger weniger kritischer Kennzahlen sinnvoll. Die Alarmschwellen sollten so niedrig angesetzt sein, dass Fehlalarme vermieden werden, und es muss ein vereinbarter Eskalationsprozess geben. Die Benachrichtigung muss eine Person erreichen, die befugt ist, den Test sofort zu stoppen.

Die Festlegung von Leitplanken ist einer der deutlichsten Punkte, an denen Optimierungsmaßnahmen mit dem Rest des Unternehmens verknüpft werden müssen, anstatt als isoliertes Spezialgebiet betrieben zu werden. CRO-Dienstleistung Die Einbindung der Beteiligten legt typischerweise die während der Einrichtung festgelegten grundlegenden Leitlinien fest und überprüft diese in jeder Priorisierungssitzung unter Einbeziehung der operativen Stakeholder auf testspezifische Aspekte. e-commerce In Umgebungen, in denen die Verbindung zu Auftragsabwicklung und Retouren besonders wichtig ist, liegt die größte Bedeutung darin, dass die verlockendsten Conversion-Erfolge häufig diejenigen sind, die Kosten in die Logistik verlagern, wo das Optimierungsteam sie nie zu Gesicht bekommt.