Benutzer-Tests

Usability-Tests sind eine Forschungsmethode, bei der echte oder repräsentative Nutzer versuchen, bestimmte Aufgaben mit einem Produkt, Prototyp oder einer Website zu erledigen. Ein Beobachter dokumentiert dabei, wo sie erfolgreich sind, wo sie Schwierigkeiten haben und wie sie ihre Erfahrungen beschreiben, typischerweise durch lautes Denken während der Arbeit. Im Gegensatz zu Umfragen oder Analysen, die das Verhalten der Nutzer erst im Nachhinein erfassen, beobachten Usability-Tests das Verhalten direkt und im Kontext. Dadurch ist es eine der direktesten Methoden, um festzustellen, ob eine Benutzeroberfläche tatsächlich leicht verständlich und benutzerfreundlich ist oder ob dies nur eine Annahme des Entwicklerteams war.

Die Methode ist wichtig, da Probleme mit Benutzeroberflächen, die den Entwicklern selbst verborgen bleiben, für Erstnutzer oft offensichtlich sind. Diese Diskrepanz wird häufig mit dem „Fluch des Wissens“ erklärt: Designer und Stakeholder, die mit einem Produkt bestens vertraut sind, übersehen oft Unklarheiten, die einem neuen Nutzer sofort auffallen. Weit verbreitete Usability-Studien zeigen, dass bereits Tests mit nur fünf Teilnehmern in der Regel einen Großteil – oft etwa 85 Prozent – ​​der Usability-Probleme einer Benutzeroberfläche aufdecken. Daher werden Usability-Tests üblicherweise mit kleinen, iterativen Teilnehmerrunden durchgeführt, anstatt mit groß angelegten Studien. So können Teams schnell testen, Fehler beheben und erneut testen, anstatt erst eine große Stichprobe sammeln zu müssen, bevor sie Änderungen vornehmen.

Usability-Tests werden in verschiedenen Formaten durchgeführt: Moderierte Tests, bei denen ein Testleiter die Teilnehmenden in Echtzeit – persönlich oder per Video – durch die Aufgaben führt und bei Unklarheiten Nachfragen stellen kann; unmoderierte Remote-Tests, bei denen die Teilnehmenden Aufgaben selbstständig auf einer Testplattform bearbeiten. Bildschirm und Stimme werden aufgezeichnet und später ausgewertet. Diese Methode ermöglicht eine schnellere und kostengünstigere Datenerhebung, allerdings können Reaktionen während des Tests nicht direkt erfasst werden; und Guerilla-Tests, ein informeller und kostengünstiger Ansatz, der schnelles Feedback von verfügbaren Teilnehmenden wie Kollegen oder Passanten einholt und sich für die Validierung in einer frühen Phase eignet, wenn eine umfassende Studie noch nicht erforderlich ist. Testsitzungen sind typischerweise um spezifische, realistische Aufgabenszenarien herum strukturiert und nicht um offene Erkundungen. Der Erfolg wird anhand von Kennzahlen wie Aufgabenabschlussrate, Bearbeitungszeit, Fehleranzahl und der subjektiven Bewertung der Benutzerfreundlichkeit durch die Teilnehmenden bewertet. Letztere wird häufig mithilfe eines standardisierten Instruments wie der System Usability Scale (SUS) erhoben.

Ein weit verbreiteter Irrtum ist die Annahme, Usability-Tests und A/B-Tests dienten demselben Zweck. Tatsächlich beantworten sie unterschiedliche Fragen in verschiedenen Phasen: Usability-Tests decken auf, warum Nutzer Schwierigkeiten mit einer Benutzeroberfläche haben, bevor diese entwickelt oder breitflächig eingeführt wird – typischerweise anhand eines Prototyps oder eines bereits live, aber noch nicht validierten Designs. A/B-Tests hingegen messen, welche von mehreren bereits entwickelten Varianten bei hohem Datenverkehr die beste Performance erzielt. Eine häufige Fehlerquelle bei Usability-Tests ist die Rekrutierung von Teilnehmern, die nicht repräsentativ für die eigentliche Zielgruppe sind. Beispielsweise testet man einen Workflow einer Unternehmenssoftware mit Teilnehmern, die mit dem zugrunde liegenden Geschäftsprozess nicht vertraut sind. Dies führt zu irreführenden Problemen, die bei echten Zielnutzern nicht auftreten würden. Ein weiterer häufiger Fehler, der die Aussagekraft der Ergebnisse beeinträchtigt, ist, die Teilnehmer während einer Sitzung durch Hinweise oder Vorschläge zu lenken, anstatt sie selbstständig experimentieren zu lassen und diese Schwierigkeiten unvoreingenommen zu beobachten.

Innerhalb von CRO und UX Bei Beratungsprojekten wird Usability-Testing häufig eingesetzt, sowohl zur Diagnose, um die Ursachen für die mangelnde Performance eines bestehenden Prozesses zu ermitteln, als auch zur Validierung vor der breiten Einführung einer Neugestaltung. Dabei wird ein neuer Prototyp mit einer kleinen Gruppe repräsentativer Nutzer getestet, um gravierende Usability-Probleme aufzudecken, bevor Entwicklungs- und Testressourcen für einen umfassenden A/B-Test aufgewendet werden. Die Ergebnisse des Usability-Testings werden typischerweise in einer priorisierten Liste von Problemen zusammengefasst, oft nach Schweregrad und Häufigkeit des Auftretens geordnet. Diese Liste fließt dann direkt in die Designänderungen oder Experimenthypothesen ein, die die Grundlage für die umfassendere Optimierungsstrategie des Kunden bilden.

Ein konkretes Beispiel verdeutlicht die Effizienz der Methode: Ein Team testet eine überarbeitete Seite mit Kontoeinstellungen mit fünf Teilnehmern. Dabei stellt es fest, dass vier der fünf die Option zum Ändern der Benachrichtigungseinstellungen nicht finden, da jeder unabhängig voneinander an derselben falschen Stelle in der Benutzeroberfläche sucht. Dieses einzelne, äußerst konsistente Ergebnis einer kleinen und kostengünstigen Testreihe reicht in der Regel aus, um die Einstellung vor der Veröffentlichung zu verschieben. Eine größere und zeitaufwändigere Studie ist nicht nötig, um zu bestätigen, dass die Einstellung bei nahezu allen getesteten Teilnehmern zuverlässig und wiederholt nicht gefunden wurde.