Experiment Geschwindigkeit

Die Experimentiergeschwindigkeit beschreibt, wie schnell eine Organisation valide Experimente durchführt, üblicherweise ausgedrückt in abgeschlossenen Tests pro Monat oder Quartal. Sie ist einer der stärksten Indikatoren für den Nutzen eines Testprogramms, aus einem einfachen Grund: Wenn nur ein kleiner Teil der Experimente eine signifikante Verbesserung erzielt, hängt die Anzahl der gefundenen Verbesserungen maßgeblich von der Anzahl der durchgeführten Experimente ab. Eine Verdopplung der Lernrate verdoppelt – unter sonst gleichen Bedingungen – in etwa den positiven Effekt auf die relevanten Kennzahlen.

Die Testgeschwindigkeit wird durch drei separate Einschränkungen begrenzt. Die Identifizierung der entscheidenden Einschränkung ist der erste Schritt zu ihrer Verbesserung. Der Datenverkehr setzt eine statistische Obergrenze: Eine Website kann nicht mehr gleichzeitige, ausreichend leistungsstarke Tests durchführen, als ihr Datenvolumen zulässt. Die Produktionskapazität umfasst Ideenfindung, Design, Entwicklung und Qualitätssicherung und ist in Organisationen, in denen jeder Test Entwicklungsarbeit erfordert, meist die entscheidende Einschränkung. Der Prozess umfasst Genehmigungszyklen, Stakeholder-Reviews, die Freigabe durch die Rechtsabteilung oder die Markenabteilung sowie die Bearbeitungszeiten der Analysen und stellt häufig den größten versteckten Kostenfaktor dar, da Tests länger in Warteschlangen verbleiben, als sie Daten sammeln.

Eine Beschleunigung durch Absenkung der Standards ist kontraproduktiv und leider weit verbreitet. Verkürzungen der Testlaufzeiten auf unter einen vollständigen Geschäftszyklus, das Auslassen der Stichprobenberechnung, das Vernachlässigen der Qualitätssicherung, das Testen von einfachen statt wichtigen Aspekten und das Abbrechen von Tests beim ersten Anzeichen von Signifikanz erhöhen zwar die Anzahl abgeschlossener Experimente, verringern aber die Anzahl tatsächlicher Erkenntnisse. Ein Programm, das vierzig Tests pro Quartal mit unzuverlässiger Methodik durchführt, liefert weniger Wert als ein Programm mit zwölf korrekt durchgeführten Tests und führt aufgrund widersprüchlicher Ergebnisse zu mehr organisatorischer Verwirrung.

Die wichtigsten Hebel zur Produktivitätssteigerung bestehen darin, Wartezeiten zu verkürzen, anstatt die Tests selbst zu komprimieren. Dazu gehört die Pflege eines priorisierten Backlogs mit sofort umsetzbaren Ideen, um die Kapazitäten stets auszulasten. Durch die Einrichtung einer wiederverwendbaren Komponentenbibliothek und von Testvorlagen verkürzt sich die Build-Zeit. Eine Standardgenehmigung für eine definierte Klasse von risikoarmen Experimenten sorgt dafür, dass nicht jedes einzelne Experiment erneut freigegeben werden muss. Nicht überlappende Tests werden parallel auf verschiedenen Bereichen der Website ausgeführt. Analyse und Berichterstellung werden automatisiert, sodass die Ergebnisse noch am Tag des Testabschlusses und nicht erst zwei Wochen später verfügbar sind. All diese Maßnahmen beeinträchtigen nicht die Genauigkeit der Tests; sie alle verkürzen die Zeitspanne zwischen den einzelnen Experimenten.

Die Testgeschwindigkeit sollte stets im Zusammenhang mit Qualitätskennzahlen und nicht isoliert betrachtet werden. Hilfreiche Ergänzungen sind beispielsweise der Anteil der Tests, die zu einem validen Ergebnis führen, anstatt abgebrochen zu werden, der Anteil der Tests, die unabhängig vom Ergebnis zu dokumentierten Erkenntnissen führen, der Anteil der Experimente, die sich mit wichtigen Seiten oder Abläufen befassen, und die gemessene kumulative Wirkung des Programms anhand einer Validierungsstudie. Ein Dashboard, das ausschließlich die Testgeschwindigkeit anzeigt, lässt sich erwartungsgemäß durch die Durchführung weiterer, weniger komplexer Tests optimieren.

Parallelität verdient besondere Aufmerksamkeit, da sie am häufigsten unachtsam eingesetzt wird. Die gleichzeitige Durchführung mehrerer Experimente vervielfacht den Durchsatz, wenn die Tests unabhängige Teile der Nutzererfahrung betreffen, und führt zu nicht interpretierbaren Ergebnissen, wenn sie sich überschneiden. Praktische Regeln sind: Jeden Test den entsprechenden Schritten des Funnels und den Zielgruppen zuzuordnen, die er berührt; zu vermeiden, zwei Tests gleichzeitig durchzuführen, die denselben Schritt verändern; und bei benachbarten Tests auf Interaktionseffekte zu prüfen, anstatt von Unabhängigkeit auszugehen. Manche Organisationen lösen dieses Problem, indem sie einen gemeinsamen Kalender mit aktiven Experimenten und den betroffenen Bereichen führen. Das ist zwar unspektakulär, verhindert aber die häufige Situation, dass zwei Teams unwissentlich widersprüchliche Änderungen an derselben Seite testen und beide unschlüssige Ergebnisse melden, ohne die Ursache zu verstehen.

Für die meisten Organisationen liegt der schnellste Weg zu höherer Geschwindigkeit nicht in einem neuen Werkzeug, sondern in einem klareren Betriebsmodell: Wer generiert Ideen, wer priorisiert, wer entwickelt, wer genehmigt und wie lange darf jeder Schritt dauern? Die Etablierung dieses Modells ist ein normaler Bestandteil eines Wachstumsmanagement Das Engagement und die daraus resultierende Frequenz hängen in der Regel davon ab, dass genügend vorbereitete, gut belegte Hypothesen vorhanden sind, um die Pipeline gefüllt zu halten, und genau hier setzt die kontinuierliche Nutzerforschung verdient seinen Platz als Input für den Testfahrplan und nicht als gelegentliches separates Projekt.