Wählen Sie Kartensortierung, Baumtest oder Erstklicktest, bevor Sie Ihr Menü neu zeichnen.

Der eigene Datensatz von Optimal Workshop, der aus Millionen von Baumtestaufgaben stammt, zeichnet Folgendes auf: 70 % der Aufgaben werden nach einem korrekten ersten Klick erfolgreich erledigt, nach einem falschen Klick sind es 24 %.Die erste Bezeichnung, die eine Person auswählt, hat maßgeblichen Einfluss auf das Ergebnis. Was diese Zahl jedoch nicht verrät, ist, welche Studie durchgeführt werden sollte. Teams sortieren Karten, obwohl sie bereits ein Menü haben und lediglich die Formulierungen anzweifeln, führen Baumtests mit einer Struktur durch, deren Vokabular nie überprüft wurde, und diskutieren anschließend über Ergebnisse, die die Frage ohnehin nicht klären konnten. Dieser Leitfaden richtet sich an UX-Leiter, Produktmanager und CRO-Teams mit einem Navigationsproblem und einem festen Forschungsbudget. Am Ende werden Sie in der Lage sein, eine Navigationsentscheidung einer von drei Methoden zuzuordnen, die Studie zu dimensionieren, eine Bestehensgrenze festzulegen, bevor Sie Daten sammeln, und zu benennen, was das Ergebnis nicht beweisen kann.

Die drei Methoden beantworten drei verschiedene Fragen

Card Sorting ist ein generatives Verfahren. Man gibt den Teilnehmenden die Inhalte und lässt sie die Gruppen gruppieren und benennen. So erfährt man, wie die Zielgruppe den Themenbereich strukturiert und welche Wörter sie verwendet. Es kann jedoch nicht Aufschluss darüber geben, ob ein bestimmtes Menü funktioniert, da es in der Studie kein Menü gibt.

Baumtests dienen der Evaluierung. Man reduziert eine vorgeschlagene Hierarchie auf reine Textbezeichnungen, gibt Nutzern eine Aufgabe und beobachtet deren Vorgehensweise. So lässt sich feststellen, ob eine Struktur auffindbar ist und welcher Zweig die Nutzer am Ende erfasst. Wie NN/g anmerkt, werden durch die reine Textdarstellung bewusst Platzierung, Farbe und Bildmaterial entfernt, um die Qualität von Bezeichnungen und Struktur isoliert zu betrachten.

Der First-Click-Test ist enger gefasst. Ein Bildschirm, eine Aufgabe, ein protokollierter Klick. Er zeigt auf einen Blick, ob der Einstiegspunkt korrekt ist, aber nichts darüber, was zwei Ebenen tiefer passiert.

Die häufigste Fehlerquelle ist die Verwendung des falschen Ansatzes. „Niemand findet die Rückgabebestimmungen“ ist keine Frage, die sich für Card Sorting eignet. „Wir wissen nicht, ob ‚Lösungen‘ für Käufer relevant ist“ ist keine Frage, die sich für Tree-Testing eignet – ein Tree-Test würde lediglich Ihre Vermutung überprüfen.

Kriterientabelle: Wählen Sie anhand der Entscheidung, nicht anhand des Tools, für das Sie eine Lizenz besitzen.

Die Entscheidungsregeln

• Keine Struktur, oder eine, an die niemand glaubt. Zuerst die Karten sortieren – offen, wenn es um Vokabeln geht, geschlossen, wenn die oberste Ebene festgelegt ist und nur die Platzierung in Frage steht.
• Zwei Kandidatenstrukturen und eine Sitzung, die kein Ende nehmen will. Beide Methoden testen auf Baumstruktur. Nur diese Methode ist die einzige der drei, die eine strukturelle Frage mit einer Zahl beantwortet.
• Der Traffic kommt an, aber der nächste Klick ist falsch. Testen Sie diesen Bildschirm beim ersten Klick. Bauen Sie die Architektur nicht neu auf, um eine einzelne Beschriftung zu korrigieren.
• Die Analysen zeigen bereits, wo die Nutzer aussteigen. Die Erkennung wird übersprungen. Der undichte Zweig wird im Baum getestet, anschließend wird beim ersten Klick die Ersatzbezeichnung getestet.
• Neuer Markt oder neue Sprache. Kartensortierung in dieser Sprache mit den Teilnehmern dieses Marktes. Eine übersetzte Speisekarte ist eine ungetestete Speisekarte.

Stichprobengrößen und Schwellenwerte, die Sie in einer Überprüfung verteidigen können

Für das Card-Sorting testeten Tullis und Wood 168 Nutzer und analysierten zufällige Teilmengen. Die Korrelation mit dem Ergebnis der Gesamtstichprobe betrug 0.75 bei 5 Nutzern, 0.90 bei 15, 0.93 bei 20, 0.95 bei 30 und 0.98 bei 60. Nielsen interpretiert dies so: Ab 15 Nutzern ist ein Abbruch sinnvoll, ab 30 Nutzern wird ein gut finanziertes Projekt empfohlen. Die Fünf-Nutzer-Regel aus Usability-Tests lässt sich nicht übertragen – ein generatives Verfahren benötigt genügend Teilnehmer, damit sich das Muster stabilisiert.

Für Baumtests empfiehlt NN/g mindestens 50 Teilnehmer pro Baum, um einen aussagekräftigen Vergleich zu gewährleisten. Die Bestehensgrenzen basieren auf den Kategorien von Albert und Tullis aus 98 Studien: unter 40 % mangelhaft, 41–60 % ausreichend, 61–80 % gut, 80–90 % sehr gut, über 90 % exzellent. Legen Sie die Bestehensgrenze fest, bevor Sie die Daten einsehen. Geschäftskritische Vorgänge – wie Checkout, Rückerstattung oder Terminbuchung – sollten eine Bestehensgrenze von 90 % erreichen; für Werbeaktionen genügen 70 %.

Direktheit sollte man neben dem Erfolg betrachten, niemals anstelle dessen. Hoher Erfolg bei geringer Direktheit bedeutet, dass Menschen sich durch Umwege bewegen: Die Bezeichnung ist irreführend, auch wenn die Struktur erhalten bleibt. Dieses Muster ist das aussagekräftigste Signal, das ein Baumtest liefert.

Ausgearbeitetes Beispiel

Eine Online-Apotheke mit dem Hauptartikel „Gesundheit“ und einem darunter versteckten Hilfeartikel. Die Zahlen dienen nur der Veranschaulichung und stellen keine Kundendaten dar.

1. Baumtest, 60 Teilnehmer, 8 Aufgaben. „Finden Sie heraus, ob Ihr Rezept erstattungsfähig ist.“ Erfolg 58 %, Direktheit 22 % – zufriedenstellend bei den Bändern, die Lücke bei der Direktheit deutet auf das Etikett hin.
2. Lesen Sie die Tabelle „Erster Klick“. 41 % fallen in die Kategorie „Gesundheit“, 33 % in die Kategorie „Unterstützung“ und 18 % in die Kategorie „Konto“: Dass drei Kategorien plausibel sind, bedeutet, dass die Kategoriengrenze in den Köpfen der Nutzer nicht existiert.
3. Geschlossenes Kartensortierverfahren, 20 TeilnehmerAnhand der Artikeltitel und der bestehenden obersten Ebene. Wenn sich die Berichterstattungspunkte auf drei Gruppen verteilen, ist die oberste Ebene falsch, nicht der Wortlaut.
4. Neu schreiben und erneut testen. Neuer Aufgabenbaum, dieselben 8 Aufgaben, 60 neue Teilnehmer. Ziel: Erfolgsquote über 80 % und Direktheitsquote über 60 %.
5. Testen Sie das neue Label beim ersten Klick Auf der Live-Seite vor dem Versand. Der Baumtest hatte keinen sichtbaren Duft; auf der Live-Seite schon.

[INTERNE DATEN BENÖTIGT: Ersetzen Sie diese beispielhafte Sequenz durch einen anonymisierten Switas-Baumtest (vorher/nachher), einschließlich Erfolgs- und Direktheitskennzahlen sowie der Anzahl der Aufgaben.]

Etiketten in der türkischen Sprache und warum der regionale Unterschied nicht rein kosmetischer Natur ist.

Zwei Faktoren erschweren die Etikettenprüfung in türkischen und mehreren benachbarten Sprachen, und beide sind für jeden relevant, der in die Region exportiert, und nicht nur für diejenigen, die aus der Region exportieren.

Türkisch ist agglutinierend: Die Bedeutung wird als Suffix an einen Wortstamm angehängt, sodass eine Kategorie, die im Englischen aus zwei kurzen Wörtern besteht, im Türkischen oft ein langes Wort ist. Menüs, die ins Englische passen, sind zu lang, und Teams beheben dies durch Kürzen – genau die Variable, die ein Baumtest misst. Testen Sie Beschriftungen in der Länge, in der sie tatsächlich angezeigt werden.

Zweitens hat das Türkische vier I-Zeichen: gepunktet İ (U+0130) und i (U+0069), punktlos I (U+0049) und ı (U+0131). Nach türkischen Regeln wird der Buchstabe kleingeschrieben. i Karten zu İnicht IDaher schlägt die Suche ohne Berücksichtigung der Groß-/Kleinschreibung, die für Englisch geschrieben wurde, fehl – ​​eine Suche nach „iptal“ findet kein Ergebnis für den gespeicherten Eintrag „IPTAL“. Wenn die Website-Suche, Filter oder Breadcrumbs eine Suche ohne Berücksichtigung der Groß-/Kleinschreibung durchführen, erhalten Nutzer für einen existierenden Begriff ein leeres Ergebnis. Schließen Sie dies aus, bevor Sie die Bezeichnung verantwortlich machen.

Es gibt auch einen Konformitätsvorteil. WCAG 2.2 Erfolgskriterium 2.4.6, Überschriften und Beschriftungen, ist der Stufe AA zugeordnet und verlangt, dass Überschriften und Beschriftungen das Thema oder den Zweck beschreiben. Eine Beschriftung, die in einem Test nur in 40 % der Fälle korrekt erkannt wurde, ist nicht nur ein Konversionsproblem, sondern spricht auch gegen die Einhaltung der Vorschriften.

Was diese Zahlen nicht beweisen

Die am häufigsten zitierte Zahl, 87 % Erfolgsquote nach einem korrekten ersten Klick gegenüber 46 % nach einem falschen, stammt aus der Studie von Bailey und Wolfson (2006–2009). Diese Zahl ist jedoch mit Vorsicht zu genießen: Der deutlich umfangreichere Datensatz von Optimal Workshop liefert für denselben Vergleich Werte von 70 % bzw. 24 %. Die Richtung stimmt zwar, die Größenordnungen unterscheiden sich aber erheblich – und beides sind Korrelationen, die innerhalb des Testinstruments gemessen wurden, kein Beweis dafür, dass ein Klicktest das Verhalten auf einer realen Website vorhersagt.

Sauro, Schiavone, Du und Lewis führten 2023 eine Studie mit 130 Teilnehmern durch, in der sie das Klickverhalten auf statische Bilder mit dem auf Live-Websites verglichen. Das Verhalten war ähnlich, mit einer durchschnittlichen absoluten Abweichung von etwa 6 % über alle Hotspot-Bereiche hinweg. Sie gaben außerdem an, den Erfolg nachfolgender Aufgaben nicht gemessen zu haben und dass responsive Layouts und Hover-Menüs tatsächliche Abweichungen erzeugten. Die korrekte Aussage ist, dass Klicktests zwar das Klickverhalten reproduzieren, aber nicht vorhersagen, ob Nutzer die Aufgabe abschließen.

Beim Testen von Entscheidungsbäumen gibt es eine ähnliche Einschränkung. Kuric, Demcak und Krajcovic verglichen drei Varianten des Testens von Entscheidungsbäumen mit hochauflösenden Prototypen derselben Architektur. Die Tests wurden mit 180 Probanden und 1,800 Aufgaben durchgeführt, und die Ergebnisse der Varianten stimmten nicht überein. Die Variante, die den Entscheidungsbaum sichtbar machte, bildete das Verhalten des Prototyps am genauesten nach, und die Backtracking-Metriken wichen deutlich voneinander ab. Wenn Ihr Tool den Entscheidungsbaum anders darstellt als den, auf dem der Benchmark basiert, ist der Benchmark nicht übertragbar.

Hier liegt das Problem

• Suchmaschinen-dominante Websites. Wenn die meisten Sitzungen im Suchfeld beginnen, optimieren Sie einen Pfad, den nur wenige Nutzer verwenden. Prüfen Sie daher zunächst den Anteil der Sitzungen mit einem Suchereignis.
• Personalisierte Navigation. Beim Testen von Baumstrukturen wird eine feste Hierarchie vorausgesetzt. Wenn sich das Menü je nach Segment unterscheidet, testen Sie eine Fiktion.
• Sehr kleine Populationen. B2B- und Klinikpublikum können oft nicht 50 qualifizierte Teilnehmer bereitstellen. Geben Sie daher die genauen Zahlen anstatt der Prozentsätze an und teilen Sie dies mit.
• Keiner der drei Tests prüft das Textverständnis. Sie bewerten das Ergebnis, nicht das Verständnis, sobald es gefunden ist. Dafür sind Usability-Tests nötig.
• Nichts davon misst den Umsatz. Eine Navigationskorrektur ist eine Hypothese für ein Experiment, keine bewährte Lösung. Führen Sie sie erst nach einem Test durch.

Häufig gestellte Fragen

Kann ich einen Card-Sort-Test und einen Tree-Test mit denselben Teilnehmern durchführen?

Nicht in derselben Sitzung. Durch das Sortieren lernen die Teilnehmer Ihr Modell kennen und entdecken dann Dinge, die einem neuen Besucher entgangen wären. Rekrutieren Sie separate Gruppen oder lassen Sie mehrere Wochen dazwischen vergehen.

Wie viele Teilnehmer benötige ich für ein Kartensortierspiel?

Mit 15 ergibt sich eine Korrelation von 0.90 mit dem Ergebnis der vollständigen Stichprobe in den Daten von Tullis und Wood, mit 30 eine von 0.95. Unterhalb von 15 ist das Muster instabil. Werte über 30 bringen im Verhältnis zum Aufwand kaum noch Vorteile.

Sind 50 Teilnehmer für einen Baumtest wirklich notwendig?

Für einen quantitativen Vergleich zweier Bäume ist das die Empfehlung von NN/g. Bei einem einzelnen Baum, in dem man nur die offensichtlich fehlerhaften Äste finden möchte, reichen 20 bis 30 NN/g-Intervalle aus, um die problematischsten zu identifizieren. Dabei sollten jedoch absolute Zahlen und nicht Prozentwerte angegeben werden.

Was gilt als Erfolgsquote?

Entscheiden Sie sich vor dem Start. Orientieren Sie sich an den Albert- und Tullis-Kriterien: Über 80 % ist sehr gut, 61–80 % gut, unter 40 % schlecht. Erhöhen Sie die Messlatte auf 90 % für Aufgaben, die mit Geld, Medikamenten oder einem Rechtsanspruch zusammenhängen.

Der Erfolg ist hoch, aber die Direktheit gering. Was kann ich ändern?

Es geht um die Bezeichnung, nicht um die Struktur. Die Nutzer gelangen nach ihrer Erkundung zum richtigen Ziel, was bedeutet, dass die Kategorie in ihrem Modell existiert, Ihre Formulierung dies aber nicht deutlich macht. Schreiben Sie die Bezeichnung um und testen Sie die gleichen Aufgaben erneut.

Macht ein KI-Tool die Teilnahme überflüssig?

Für diese Methoden ist das nicht geeignet. Sie messen, was eine bestimmte Bevölkerungsgruppe glaubt und tut; die Annahme eines Modells über diese Bevölkerungsgruppe ist eine Hypothese, keine Daten. Nutzen Sie Modelle, um Aufgaben zu formulieren und offene Kategorien schneller zu gruppieren.

Nächster Schritt

Wenn Sie ein Navigationsargument haben, das die Analyse nicht klären kann, ist die kostengünstigste Lösung ein Baumtest beider Kandidatenstrukturen mit vorab festgelegten Schwellenwerten. Schreiben Sie die Aufgaben, legen Sie die Parameter fest und führen Sie den Test aus. Lass es uns ausführen. und Ihnen die Rangliste der abgebrochenen Äste aushändigen.

Quellen

• Jakob Nielsen, Kartensortierung: Wie viele Benutzer sollten getestet werden?, Nielsen Norman Group, 2004
• Tom Tullis und Larry Wood, Wie viele Benutzer sind für eine Card-Sorting-Studie ausreichend?, UPA 2004
• Page Laubheimer, Baumprüfung Teil 2: Interpretation der Ergebnisse, Nielsen Norman Group, 19. Januar 2024
• Samhita Tankala, Card Sorting vs. Tree Testing, Nielsen Norman Group, 23. Februar 2024
• Nielsen Norman Group, Tree Testing: Bewertung von Menübezeichnungen und Kategorien
• Optimal Workshop: Korrekte erste Klicks führen zu dreimal höherem Erfolg bei der Aufgabenbearbeitung, 13. April 2015
• Jeff Sauro, Will Schiavone, David Du und Jim Lewis, Können Klicktests Klicks auf Live-Websites vorhersagen?, MeasuringU, 21. März 2023
• Eduard Kuric, Peter Demcak und Matus Krajcovic, Validierung von Informationsarchitekturen: Methodenübergreifender Vergleich von Baumtestvarianten und Prototyp-Benutzertests, Information and Software Technology 183, Juli 2025
• W3C, Erfolgskriterium 2.4.6 verstehen: Überschriften und Beschriftungen, WCAG 2.2
• Tex Texin, Internationalisierung des Türkischen: Türkischer Buchstabe I mit und ohne Punkt