Unmoderierte Forschung

Unmoderierte Forschung ist Nutzerforschung, die ohne Moderator durchgeführt wird. Die Teilnehmenden bearbeiten Aufgaben und beantworten Fragen selbstständig anhand schriftlicher Anweisungen, die über eine Testplattform bereitgestellt werden. Die Sitzungen werden in der Regel aufgezeichnet, wobei Bildschirmaktivitäten, Klicks und oft auch Audiokommentare und Webcam-Videos erfasst werden. Die Ergebnisse werden anschließend analysiert.

Die Hauptvorteile liegen in Skalierbarkeit, Geschwindigkeit und Kosten. Während eine moderierte Studie acht Teilnehmende über zwei Wochen umfasst, lassen sich in einer unmoderierten Studie fünfzig oder mehr Sitzungen an einem Tag durchführen – zu einem Bruchteil der Kosten pro Teilnehmenden und mit Teilnehmenden aus verschiedenen Zeitzonen und Regionen. Dies verändert die Einsatzmöglichkeiten von Forschung: Routinemäßige Tests, der Vergleich verschiedener Designalternativen, die Einbeziehung mehrerer Marktsegmente und die Erhebung quantitativer Kennzahlen wie Erfolgsquote und Bearbeitungszeit mit Stichprobengrößen, die eine hohe Präzision gewährleisten, werden möglich.

Der Nachteil besteht im Verlust adaptiver Fragetechniken. Ein Moderator bemerkt Verwirrung und fragt nach dem Grund, hakt bei unerwarteten Äußerungen nach, lenkt einen Teilnehmer, der die Aufgabe missverstanden hat, und erkennt, wenn etwas Interessantes passiert ist, das nicht Teil des Plans war. Ohne Moderation ist all dies nicht möglich. Teilnehmer, die eine Anweisung falsch interpretieren, liefern unbrauchbare Daten, Teilnehmer, die auf ein technisches Problem stoßen, brechen einfach ab, und interessantes Verhalten bleibt unerklärt, weil niemand da war, um danach zu fragen.

Dies bestimmt, wofür die Methode geeignet ist. Unmoderierte Arbeit eignet sich gut für fokussierte, klar definierte Aufgaben mit eindeutigen Erfolgskriterien, für Vergleichsstudien, Benchmarking und Verlaufsbeobachtung sowie für quantitative Studien zu Erstklicks, Baumtests und Präferenzanalysen. Weniger geeignet ist sie für explorative Forschung in unbekannten Problemfeldern, für komplexe, mehrstufige Szenarien mit Einrichtungsaufwand, für sensible Themen und für alles, wo es darum geht, Motivation zu verstehen, anstatt Verhalten zu beobachten.

Die Gestaltung von Aufgaben und Anweisungen ist hier deutlich wichtiger als bei moderierten Aufgaben, da die Anweisungen das gesamte Protokoll bilden und nicht präzisiert werden können. Aufgaben müssen eindeutig sein, in der Sprache der Teilnehmenden und nicht in der Sprache der Benutzeroberfläche formuliert, realitätsnah genug, um authentisches Verhalten hervorzurufen, und kurz genug, um die Aufmerksamkeit zu fesseln. Eine Pilotrunde mit wenigen Teilnehmenden, die ausschließlich dazu dient, mehrdeutige Formulierungen zu identifizieren, verhindert einen Großteil des Zeitverlusts, der sonst entsteht, wenn in fünfzig Sitzungen eine leicht abweichende Frage beantwortet wird.

Die Aufzeichnungen selbst sind oft das wertvollste, aber gleichzeitig am meisten vernachlässigte Ergebnis. Eine quantitative Zusammenfassung, die zeigt, dass 30 Prozent der Teilnehmenden eine Aufgabe nicht bewältigt haben, ist auf abstrakter Ebene überzeugend, während ein zweiminütiger Clip, in dem eine Person sichtlich frustriert an einem bestimmten Bildschirm arbeitet, Entscheidungen beeinflussen kann. Die Zusammenstellung eines kurzen Highlight-Videos aus unmoderierten Sitzungen kostet eine Stunde und trägt nachweislich mehr zur Sicherung von Ressourcen für die Fehlerbehebung bei als jeder Bericht. Dieselben Clips sind auch nützlich, um ein gemeinsames Verständnis innerhalb eines Teams zu schaffen, da die Personen, die eine Lösung implementieren, selten die Analyse lesen, sondern zuverlässig beobachten, wie ein Kunde mit einem von ihnen entwickelten Produkt kämpft.

Die Qualität der Studienteilnehmer erfordert ebenfalls ein aktives Management. Panelteilnehmer, die viele Studien absolvieren, entwickeln Gewohnheiten, die sich von denen tatsächlicher Nutzer unterscheiden, und Screening-Fragen lassen sich leicht von Personen manipulieren, die einen Anreiz erhalten möchten. Ein Screening auf Basis nachweisbaren Verhaltens anstelle von Selbstauskünften, Aufmerksamkeitskontrollen während der Sitzung und eine manuelle Überprüfung der Aufzeichnungen vor deren Einbeziehung in die Analyse sind unerlässlich. In der Praxis zeigten die meisten ausgereiften Panelteilnehmer, dass… Nutzerforschung Die Programme nutzen beide Modi bewusst: unmoderiert für Messung, Vergleich und routinemäßige Validierung in großem Umfang und moderiert für die explorative Arbeit, bei der das Verständnis des Warum wichtiger ist als die Zählung der Häufigkeit, wobei beide Modi die gleichen Entscheidungen in einem Produkt-Design