Onderzoek zonder moderatie

Ongecontroleerd onderzoek is gebruikersonderzoek dat wordt uitgevoerd zonder een begeleider, waarbij deelnemers zelfstandig taken uitvoeren en vragen beantwoorden, geleid door schriftelijke instructies die via een testplatform worden aangeboden. Sessies worden doorgaans opgenomen, waarbij schermactiviteit, muisklikken en vaak ook gesproken commentaar en webcambeelden worden vastgelegd. De resultaten worden achteraf geanalyseerd.

De belangrijkste voordelen zijn schaalbaarheid, snelheid en kosten. Waar een gemodereerd onderzoek acht deelnemers over twee weken zou omvatten, kan een ongemodereerd onderzoek vijftig of meer sessies binnen één dag verzamelen, tegen een fractie van de kosten per deelnemer en met deelnemers verspreid over verschillende tijdzones en geografische gebieden. Dit verandert de toepassingsmogelijkheden van onderzoek: het wordt mogelijk om routinematig te testen, verschillende ontwerpvarianten te vergelijken, meerdere marktsegmenten te betrekken en kwantitatieve metingen te verkrijgen, zoals slagingspercentage en tijd besteed aan de taak, met steekproefgroottes die een werkelijke nauwkeurigheid garanderen.

De keerzijde is het verlies van adaptieve vraagstelling. Een moderator merkt verwarring op en vraagt ​​waarom, gaat dieper in op een onverwachte opmerking, stuurt een deelnemer die de opdracht verkeerd heeft begrepen bij en herkent wanneer er iets interessants is gebeurd dat niet in het plan zat. Zonder moderatie is dit allemaal niet mogelijk. Deelnemers die een instructie verkeerd interpreteren, produceren onbruikbare gegevens, deelnemers die een technisch probleem ondervinden, haken af ​​en interessant gedrag blijft onverklaard omdat er niemand was om ernaar te vragen.

Dit bepaalt waarvoor de methode geschikt is. Ongecontroleerd onderzoek presteert goed bij gerichte, goed gedefinieerde taken met duidelijke succescriteria, bij vergelijkende studies, bij benchmarking en het volgen van resultaten over tijd, en bij kwantitatieve first-click-, tree-testing- en voorkeursstudies. Het presteert slecht bij verkennend onderzoek naar onbekende probleemgebieden, bij complexe scenario's met meerdere stappen die voorbereiding vereisen, bij gevoelige onderwerpen en bij alles waarbij het doel is om motivatie te begrijpen in plaats van gedrag te observeren.

Het ontwerpen van taken en instructies weegt veel zwaarder dan bij begeleid werk, omdat de instructies het volledige protocol vormen en niet kunnen worden verduidelijkt. Taken moeten ondubbelzinnig zijn, geformuleerd in de woordenschat van de deelnemer in plaats van die van de interface, realistisch genoeg om authentiek gedrag uit te lokken en kort genoeg om de aandacht vast te houden. Een pilotronde met een handvol deelnemers, puur om onduidelijke formuleringen te vinden, voorkomt veel verspilling die anders zou ontstaan ​​wanneer er vijftig sessies binnenkomen die een subtiel andere vraag beantwoorden dan bedoeld.

De opnames zelf zijn vaak de meest waardevolle output, maar tegelijkertijd ook de meest verwaarloosde. Een kwantitatieve samenvatting die aantoont dat dertig procent van de deelnemers een taak niet heeft gehaald, is op abstract niveau overtuigend, terwijl een filmpje van twee minuten waarin een persoon zichtbaar gefrustreerd raakt door een specifiek scherm, beslissingen kan beïnvloeden. Het samenstellen van een korte compilatie van onbegeleide sessies kost een uur en draagt ​​steevast meer bij aan het verkrijgen van middelen voor verbetering dan welk rapport dan ook. Dezelfde filmpjes zijn ook nuttig voor het creëren van gedeeld begrip binnen een team, omdat degenen die een oplossing implementeren zelden de analyse lezen, maar wel betrouwbaar zien hoe een klant worstelt met iets dat ze zelf hebben ontwikkeld.

Ook de kwaliteit van de deelnemers vereist actief beheer. Paneldeelnemers die aan veel studies meedoen, ontwikkelen gewoonten die afwijken van die van echte gebruikers, en screeningsvragen kunnen gemakkelijk worden gemanipuleerd door mensen die de beloning willen. Screening op basis van verifieerbaar gedrag in plaats van zelfrapportage, aandachtstoetsen tijdens de sessie en handmatige controle van opnames voordat ze in de analyse worden opgenomen, zijn allemaal noodzakelijk. In de praktijk zijn de meeste volwassen deelnemers... gebruikersonderzoek Programma's gebruiken beide modi bewust: ongemodereerd voor meting, vergelijking en routinematige validatie op grote schaal, en gemodereerd voor verkennend onderzoek waarbij het begrijpen van het waarom belangrijker is dan het tellen van hoe vaak, waarbij beide methoden dezelfde beslissingen beïnvloeden. productontwerp proces.