Wählen Sie moderierte, unmoderierte oder asynchrone Usability-Tests je nach Ihrer Entscheidung zum Abschluss.

Die meisten Teams wählen eine Usability-Testmethode aus Budgetgründen oder Gewohnheit und stellen dann fest, dass die Tests die eigentliche Frage nicht beantworten können. Die Methode ist keine Geschmacksfrage, sondern richtet sich nach dem angestrebten Ergebnis. Dieser Leitfaden bietet Ihnen eine entscheidungsorientierte Methode, um zwischen moderierten, unmoderierten und asynchronen Tests zu wählen: die jeweils unterstützte Stichprobengröße, die Kosten und die Datenqualität sowie die Datenübertragungsregeln, die die Wahl in der Türkei und der EU einschränken. Er richtet sich an Produkt-, UX- und CRO-Teams, die einige Studien pro Jahr durchführen und keine davon verschwenden wollen. Ein Vergleichswert vorab: In Laura Faulkners Studie von 2003 deckten Zufallsstichproben von fünf Nutzern durchschnittlich 85.5 % der bekannten Probleme auf, während die ungünstigste Stichprobe von fünf Nutzern nur 55 % erreichte.

Die drei Methoden, präzise genug definiert, um einen Vergleich zu ermöglichen

Moderiert. Forscher und Teilnehmer befinden sich gemeinsam in der Sitzung, entweder persönlich oder per Telefonkonferenz. Der Forscher stellt Aufgaben, beobachtet und hinterfragt das Verhalten. Ergebnis: beobachtetes Verhalten mit Erklärung.

Unmoderiert, aufgezeichnet. Der Teilnehmer bearbeitet allein eine vorgegebene Aufgabe, während eine Plattform Bildschirmaufnahmen, Klicks und in der Regel auch den Ton aufzeichnet. Ein Forscher analysiert die Aufnahmen später. Ergebnis: Verhalten ohne erkennbare Erklärung.

Asynchrone Selbstauskunft. Der Teilnehmer arbeitet allein und notiert, was schiefgelaufen ist – beispielsweise in Form eines Tagebuchs, eines Feedbackbogens oder einer kommentierten Aufgabe. Es findet keine Analyse der Aufzeichnungen statt. Ergebnis: der Bericht des Teilnehmers selbst.

Die Zusammenfassung dieser drei Kategorien zu „moderiert vs. unmoderiert“ führt zu einer weit verbreiteten Fehlinterpretation einer bestimmten Zahl. Die Erkenntnis, dass Nutzer nur etwa die Hälfte der Probleme melden, die ein geschulter Forscher beobachtet, stammt aus folgender Quelle: SelbstberichtstudienTeilnehmer dokumentierten Probleme selbst. Dies ist ein Merkmal asynchroner Selbstberichte, nicht aber von aufgezeichneten, unmoderierten Sitzungen, die von einem Forscher analysiert werden. Wenn jemand behauptet, unmoderierte Sitzungen würden nur die Hälfte der Probleme aufdecken, sollte man nachfragen, welche der beiden Methoden gemeint ist.

Gehen Sie von der Entscheidung aus, nicht von der Methode.

Schreibe den Satz auf, den du nach Abschluss der Studie sagen können möchtest, und suche dann die entsprechende Zeile.

Die letzte Zeile ist wichtiger, als es zunächst scheint. Usability-Tests zeigen, ob eine Benutzeroberfläche nutzbar ist und wo sie Schwächen aufweist, nicht aber, wie sich eine Änderung auf den Umsatz auswirkt. Eine Studie mit fünf Personen, die eine betriebswirtschaftliche Frage klären soll, ist das falsche Instrument, und ihre Ergebnisse werden im praktischen Einsatz nicht aussagekräftig sein.

Der Bildschirm mit vier Fragen

Falls Ihre Frage nicht in der Tabelle enthalten ist, führen Sie die Abfragen der Reihe nach durch. Die erste Antwort mit „Ja“ entscheidet.

1. Muss man fragen "warum", während es passiert? Moderiert. Eine Sonde kann nicht nachträglich an eine Aufzeichnung angeschlossen werden.
2. Benötigt der Teilnehmer Zugangsdaten, eine Testumgebung, Hilfstechnologie oder ein von Ihnen bereitgestelltes Gerät? Moderiert. Unmoderierte Plattformen eignen sich gut für öffentliche Prototypen, aber schlecht für geschlossene Umgebungen.
3. Benötigen Sie eine Zahl mit einem zugehörigen Konfidenzintervall? Unmoderiert. Acht moderierte Sitzungen ergeben eine Abschlussquote mit einer so großen Spanne, dass 50 % nicht von 90 % getrennt werden können.
4. Erstreckt sich das Verhalten über mehr als eine Sitzung? Asynchron. Ein Onboarding-Prozess, der sich über eine Woche erstreckt, oder eine abgebrochene und wiederaufgenommene Buchung passt nicht in eine 60-minütige Sitzung.

Stichprobengröße: Was jede Methode leisten kann

Die Regel „fünf Benutzer reichen aus“ stammt von Jakob Nielsens Artikel aus dem Jahr 2000 Und das gilt nur im Durchschnitt für die Problemerkennung in einem einzelnen Ablauf. Faulkner ließ 60 Teilnehmer eine Zeiterfassungsanwendung testen, katalogisierte 45 Probleme und zog dann für jede Gruppengröße 100 Zufallsstichproben. Die Streuung wird dabei oft vergessen.

Lesen Sie es als Risikobewertung, nicht als Zielvorgabe. Fünf Sitzungen decken in der Regel die meisten Probleme auf, und etwa jede zwanzigste Sitzung führt zu der Annahme, ein fehlerhafter Ablauf sei akzeptabel – für einen Prototyp akzeptabel, aber schlecht für den Checkout, den Sie bald veröffentlichen werden. Unsere Vorgehensweise: 5 bis 8 moderierte Sitzungen zur Analyse eines einzelnen Ablaufs, 10 bis 12, wenn dieser nach Segment oder Gerät verzweigt ist, und 30 oder mehr unmoderierte Sitzungen, wenn das Ergebnis eine Bewertung und keine Problemliste ist.

Kosten und Zeitplan: Wohin fließt das Geld tatsächlich?

Die moderierten Kosten entstehen hauptsächlich durch den Zeitplan des Forschers – Terminplanung, Nichterscheinen, die Sitzung selbst und die anschließende Auswertung. Die unmoderierten Kosten entstehen hauptsächlich durch zu viele Teilnehmer, da man auch für Teilnehmer bezahlt, die man ausschließt, und diese Ausschlussrate höher ist als in den meisten Budgets angenommen.

Kurz und PLOS ONE-Vergleich von fünf Forschungsplattformen, 2023 (N = 2,729), der Anteil der Befragten, die die kombinierten Qualitätsstandards erfüllten, betrug 75.4 % bei Prolific, 75.1 % bei CloudResearch, 62.7 % bei SONA, 59.1 % bei Qualtrics und 54.2 % bei MTurk, wobei die Kosten pro qualitativ hochwertigem Befragten zwischen 1.90 $ und 8.17 $ lagen. Studie zu Qualität und Quantität aus dem Jahr 2026 ist härter: Von 4,453 einwilligenden Teilnehmern wurden nach dem Screening nur 15.97 % beibehalten, wobei Aufmerksamkeitskontrollen 27.13 % ausschlossen, während explizite Fragen zur Bot-Erkennung nur 3.48 % erfassten.

Planen Sie unmoderierte Studien so, dass die Anzahl der zu analysierenden Fälle durch die erwartete Teilnahmequote geteilt wird. Integrieren Sie in jedes Skript mindestens eine offene Frage und eine Aufmerksamkeitsprüfung, da einfache Bot-Screenings nicht funktionieren. Eine moderierte Sitzung dient der Selbstprüfung: Jemand, der an einem Gespräch teilnimmt und 45 Minuten lang mit Ihnen spricht, ist – unabhängig von allen anderen Faktoren – eine Person.

[INTERNE DATEN BENÖTIGT: Die mediane Anzahl der Tage von der Rekrutierungsbesprechung bis zur ersten abgeschlossenen Sitzung bei Switas sowie unsere beobachtete Ausschlussrate bei türkischsprachigen, unmoderierten Studien ersetzen die oben genannten generischen Plattformzahlen.]

Die Türkei- und EU-Ebene, die Ihre Auswahl überschreiben kann

Eine unmoderierte Plattform zeichnet den Bildschirm, oft auch Stimme und Gesicht der Teilnehmer auf und speichert diese Daten auf der Infrastruktur eines Anbieters, in der Regel außerhalb der Türkei und häufig außerhalb des EWR. Dies stellt eine Übermittlung personenbezogener Daten ins Ausland dar, und seit dem 1. Juni 2024 regelt das türkische Recht die Verarbeitung solcher Daten durch festgelegte Mechanismen.

Gesetz 7499 (Amtsblatt 32487, 12. März 2024) änderte Artikel 9 des Gesetzes 6698. Für Auslandstransfers ist nun ein Angemessenheitsbeschluss oder eine der aufgeführten Schutzmaßnahmen erforderlich: verbindliche, im Voraus genehmigte Unternehmensregeln, ein von der Behörde veröffentlichter und ihr mitgeteilter Standardvertrag oder eine von ihr genehmigte individuelle Verpflichtungserklärung. Die Ausnahmegründe, einschließlich der ausdrücklichen Einwilligung, sind für gelegentliche, einmalige Transfers vorgesehen – was bei einem laufenden Forschungsprogramm nicht der Fall ist. Eigene Seite der Behörde Bislang wurde noch kein Land als geeignet für Tests erklärt, daher basiert eine ausländische Testplattform in der Praxis auf einem Standardvertrag, den jemand unterzeichnen und melden muss.

Unsere Regel: Wenn die Studie das Konto eines Teilnehmers, echte Kundendaten oder sensible Daten erfasst – was im Gesundheitswesen und im öffentlichen Sektor üblich ist –, sind moderierte Sitzungen auf einer von Ihnen kontrollierten Infrastruktur der kürzeste Weg zur Einhaltung der Datenschutzbestimmungen, selbst wenn unmoderierte Sitzungen kostengünstiger wären. Für einen öffentlichen Prototyp und eine synthetische Aufgabe ist die Plattformnutzung ausreichend. Leser außerhalb der Türkei werden die Struktur aus Kapitel V der DSGVO wiedererkennen, mit einem entscheidenden Unterschied: Es gibt keinen Angemessenheitsbeschluss, sodass kein EU-US-Rahmenwerk als Orientierung dienen kann.

Bevor Sie etwas buchen

• Der Entscheidungssatz ist schriftlich festgehalten, und Sie können die Feststellung nennen, die ihn ändern würde.
• Die Methode stammt aus der Tabelle oder dem Bildschirm oben, nicht aus dem, was Sie beim letzten Mal ausgeführt haben.
• Die Stichprobengröße wird anhand des zu erbringenden Ergebnisses gerechtfertigt: einer Problemliste oder einer Rate.
• Nur unmoderiert: Zielwert n geteilt durch erwartete Behaltensleistung; das Skript enthält eine offene Frage und eine Aufmerksamkeitsprüfung.
• Nur moderiert: Aufgaben so formuliert, dass der Teilnehmer keiner Erklärung bedarf; Nachfragen vorbereitet, aber nicht suggestiv.
• Aufzeichnung, Speicherort, Aufbewahrungsfrist und Übertragungsmechanismus wurden vor der Einstellung festgelegt.
• Jemandem gehört der Analysekalender; unanalysierte Aufzeichnungen sind der Grund, warum unmoderierte Studien nichts produzieren.

Hier liegt das Problem

Faulkners Tabelle stammt aus einer Zeiterfassungsanwendung mit 45 katalogisierten Problemen. Entdeckungskurven hängen davon ab, wie wahrscheinlich es ist, dass ein durchschnittlicher Teilnehmer auf ein durchschnittliches Problem stößt, und diese Wahrscheinlichkeit sinkt bei einem Produkt mit vielen verzweigten Abläufen. Betrachten Sie die Tabelle als Untergrenze für einen einfachen Ablauf.

Dieser Leitfaden behandelt weder Rekrutierungsmechanismen, Moderationstechniken, die Umwandlung von Ergebnissen in Hypothesen noch Konformitätstests zur Zugänglichkeit, bei denen es sich um eine Überprüfung anhand von Kriterien und nicht um eine Usability-Studie handelt.

KI-moderierte Interviews positionieren sich derzeit zwischen moderierten und unmoderierten Interviews und werden als Kombination beider beworben. Uns liegen keine veröffentlichten Methodenvergleichsstudien vor, die dem Standard der hier zitierten Studien entsprechen. Bis dahin sollten KI-moderierte Sitzungen als unmoderierte Tests mit einem optimierten Leitfaden betrachtet werden. Entscheidungen, die auf geschickten Fragetechniken beruhen, sollten nicht allein auf KI-gestützten Analysen basieren.

FAQ

Sind fünf Teilnehmer wirklich ausreichend? Fünf Personen finden im Durchschnitt etwa 85 % der Probleme in einem einzelnen Arbeitsablauf, aber die schlechteste der 100 von Faulkner untersuchten Fünf-Personen-Studien fand nur 55 %. Für einen Prototyp akzeptabel, aber unzureichend für ein Produkt, das kurz vor der Auslieferung steht.

Kann ich eine moderierte Studie aus der Ferne durchführen? Ja, und für die meisten Produktprojekte ist das auch ratsam. Moderation bedeutet, dass ein Forscher anwesend ist, nicht, dass ein Raum vorhanden ist. Man verliert den Kontext und gewinnt an Reichweite.

Wie viele Teilnehmer benötige ich für eine Abschlussquote? Mehr als eine moderierte Studie leisten kann. Legen Sie zunächst fest, welchen Unterschied Sie erkennen müssen – die Unterscheidung von 70 % und 85 % erfordert eine ganz andere Stichprobe als die von 30 % und 80 % –, dimensionieren Sie die Studie entsprechend und rechnen Sie damit, ein Viertel der Rekruten auszuschließen.

Werden bei unmoderierten Tests weniger Probleme gefunden als bei moderierten? Die Analyse aufgezeichneter, unmoderierter Sitzungen durch einen Forscher ergab ein vergleichbares Spektrum an Verhaltensproblemen, jedoch ohne Erklärungen. Die Aussage, dass „nur die Hälfte der Probleme“ auftritt, bezieht sich auf Selbstberichtsformate, bei denen niemand die Sitzung beobachtet.

Ist eine ausdrückliche Einwilligung zur Aufzeichnung einer Sitzung erforderlich? Sie benötigen eine rechtliche Grundlage und eine klare Mitteilung, egal für welche Methode Sie sich entscheiden, und in der Türkei ist die Frage der Überweisung ins Ausland von der Frage der Aufzeichnung getrennt.

Wie lang sollte ein unmoderierter Aufgabensatz sein? Üblicherweise 15 bis 20 Minuten. Längere Skripte erhöhen die Abbruchrate und belohnen genau die Teilnehmer, die man aussortieren möchte.

Bei uns arbeiten

Wenn eine Entscheidung noch von Beweisen abhängt und Sie sich nicht sicher sind, welcher dieser drei Faktoren ausschlaggebend ist, können wir die Studie mit Ihnen abgrenzen – Methode, Stichprobengröße, Rekrutierung und die Unterlagen für den Datentransfer. Siehe Switas Nutzerforschungsdienste.

Quellen

• Faulkner, L. (2003). Über die Fünf-Nutzer-Annahme hinausMethoden der Verhaltensforschung, 35(3), 379–383.
• Nielsen, J. (19. März 2000). Warum Sie nur mit 5 Benutzern testen müssenNielsen Norman Group.
• MessenU. Können Benutzer Usability-Probleme selbst melden? – Zusammenfassung von Castillo (1998), Bruun et al. (2007), Andreasen et al. (2009).
• Douglas, Ewell & Brauer (14. März 2023). Datenqualität in der Online-Forschung mit menschlichen ProbandenPLOS ONE.
• Kampf gegen Bots und fehlerhafte Daten (11. April 2026). Qualität & Quantität, 60(4).
• Kişisel Verileri Koruma Kurumu, Yurt Dışına Aktarım — Gesetz 6698 Art. 9 in der Fassung des Gesetzes 7499 (OG 32487, 12. März 2024; in Kraft getreten am 1. Juni 2024).