Neuheitseffekt

Der Neuheitseffekt beschreibt die vorübergehende Verhaltensänderung von Nutzern, die allein aufgrund der Neuheit und Andersartigkeit eines Elements auftritt, nicht weil es tatsächlich besser ist. Wenn sich ein bekanntes Element der Benutzeroberfläche bewegt, seine Farbe ändert oder eine neue Bezeichnung erhält, nehmen bestehende Nutzer dies wahr, betrachten es genauer und interagieren häufiger damit als sonst. In den ersten Tagen eines Experiments kann dies eine scheinbare Verbesserung bewirken, die jedoch mit der Gewöhnung der Nutzer abklingt und langfristig einen geringeren, fehlenden oder sogar negativen Effekt zur Folge hat.

Das Gegenstück dazu, der sogenannte Veränderungsaversionseffekt, wirkt in die entgegengesetzte Richtung. Nutzer, die an eine bestimmte Vorgehensweise gewöhnt sind, werden durch eine Neugestaltung – selbst eine verbesserte – ausgebremst und frustriert, und ihre Leistung sinkt, während sie sich an den neuen Ablauf gewöhnen. Ein Test, der lediglich die erste Woche einer bedeutenden Überarbeitung der Navigation oder des Bezahlvorgangs misst, unterschätzt systematisch deren langfristigen Nutzen. Beide Effekte haben dieselbe Ursache: Wiederkehrende Nutzer haben Erwartungen, die auf früheren Besuchen beruhen. Beide Effekte verzerren kurze Experimente auf eine Weise, die auch durch noch so strenge statistische Verfahren nicht korrigiert werden kann.

Die beiden Effekte zusammen erklären einen Großteil der Diskrepanz zwischen gemeldeten Testerfolgen und tatsächlichen Geschäftsergebnissen. Ein sechstägiger Test auf einer Website mit einem zweiwöchigen Kaufzyklus misst eine Population, die von der Reaktion auf die Veränderung dominiert wird, anstatt vom Verhalten im Normalbetrieb nach der Einführung. Sobald die Änderung implementiert ist und der Neuheitsreiz nachlässt, pendelt sich die Kennzahl wieder dem Ausgangswert ein, und der prognostizierte Jahresumsatz wird nicht erreicht. Statistisch gesehen war das Experiment nicht falsch; es beantwortete eine Frage zur ersten Woche, nicht zum Normalbetrieb.

Um diese Effekte zu erkennen, muss man die Entwicklung der Ergebnisse im Zeitverlauf betrachten und nicht nur den kumulativen Gesamtwert. Die einfachste Diagnosemethode ist die grafische Darstellung des täglichen oder kumulativen Anstiegs und die Beobachtung, ob dieser gegen null tendiert. Noch aussagekräftiger ist die Aufteilung der Ergebnisse nach neuen und wiederkehrenden Besuchern, da Neuheitsreize und Veränderungsangst hauptsächlich auf Personen wirken, die bereits Kontakt mit dem Angebot hatten: Eine Änderung, die sich bei neuen Besuchern über den gesamten Testzeitraum identisch auswirkt, bei wiederkehrenden Besuchern aber einen abnehmenden Anstieg zeigt, deutet eher auf Neuheit als auf eine echte Verbesserung hin. Wo es die Umstände rechtfertigen, ermöglicht eine Kontrollgruppe, die nach der Einführung beibehalten wird, die Messung des tatsächlichen Langzeiteffekts über Wochen oder Monate hinweg.

Die praktischen Sicherheitsvorkehrungen sind unspektakulär. Führen Sie Tests über mindestens einen, besser zwei vollständige Geschäftszyklen durch. Brechen Sie die Tests nicht nach drei Tagen ab, nur weil die Zahlen außergewöhnlich hoch erscheinen. Behandeln Sie große, frühzeitige Auswirkungen auf visuell auffällige Änderungen mit größerer Skepsis als kleine, frühzeitige Auswirkungen auf subtile Änderungen. Planen Sie bei größeren Überarbeitungen einen längeren Messzeitraum ein und kommunizieren Sie den Beteiligten im Voraus, dass die Zahlen der ersten Woche in die eine oder andere Richtung irreführend sein werden, damit niemand mitten im Test unter Druck eine unpopuläre Entscheidung verteidigen muss.

Zwei zusammenhängende Störfaktoren sollten gleichzeitig kontrolliert werden. Der erste ist der interne Traffic: Mitarbeiter, Agenturen und Partner, die eine neue Variante testen, verhalten sich nicht wie Kunden. Auf Websites mit geringem Traffic können sie einen signifikanten Anteil der ersten Sitzungen ausmachen, und zwar genau in dem Zeitraum, in dem der Neuheitseffekt am stärksten ist. Das Filtern interner Adressen und des Traffics bekannter Partner ist eine grundlegende Maßnahme, die viele Programme vernachlässigen. Der zweite Störfaktor ist die Saisonalität und der Zeitpunkt von Kampagnen. Ein Test, der während einer Werbeaktion, eines Feiertags oder einer großen Marketingkampagne durchgeführt wird, misst das Verhalten unter Bedingungen, die nicht von Dauer sein werden. Wenn ein Test über einen solchen Zeitraum laufen muss, sollte er verlängert werden, um auch den normalen Geschäftsbetrieb abzubilden. Anschließend sollte geprüft werden, ob sich der Effekt zwischen den Phasen mit und ohne Werbeaktion unterscheidet, bevor die Ergebnisse verallgemeinert werden.

Diese Dynamik ist einer der Hauptgründe, warum Umgestaltungsarbeiten und Experimente gemeinsam und nicht nacheinander geplant werden müssen. Produkt-Design Bei Projekten, bei denen eine wesentliche Änderung der Benutzeroberfläche geplant ist, umfasst der Messplan üblicherweise eine verlängerte Laufzeit, eine standardmäßige Unterscheidung zwischen neuen und wiederkehrenden Nutzern sowie, wenn möglich, eine Nachbeobachtung nach dem Start. In einem fortlaufenden Wachstumsmanagement Bei diesem Programm wird die gleiche Vorgehensweise auf das gesamte Portfolio angewendet, indem in regelmäßigen Abständen frühere Gewinner erneut überprüft werden, um festzustellen, ob die Effekte, die deren Auslieferung gerechtfertigt haben, sich im Laufe der Zeit bewährt haben.