Moderoimaton tutkimus

Moderoimaton tutkimus on käyttäjätutkimusta, joka tehdään ilman fasilitaattorin läsnäoloa. Osallistujat suorittavat tehtäviä ja vastaavat kysymyksiin itsenäisesti testausalustan kautta toimitettujen kirjallisten ohjeiden ohjaamina. Istunnot tallennetaan tyypillisesti, jolloin tallennetaan näytön toimintaa, klikkauksia ja usein äänikerrontaa ja web-kameravideota, ja tulokset analysoidaan jälkikäteen.

Sen tärkeimmät edut ovat mittakaava, nopeus ja kustannukset. Kun moderoitu tutkimus saattaa sisältää kahdeksan osallistujaa kahden viikon aikataulun aikana, moderoimaton tutkimus voi kerätä viisikymmentä tai enemmän istuntoja päivässä murto-osalla osallistujaa kohden maksetuista kustannuksista ja osallistujien jakautuessa eri aikavyöhykkeille ja maantieteellisille alueille. Tämä muuttaa tutkimuksen käyttötarkoituksia: rutiininomaiset testit, useiden suunnitteluvaihtoehtojen vertailu, useiden markkinasegmenttien sisällyttäminen ja kvantitatiivisten mittareiden, kuten onnistumisprosentin ja tehtävään käytetyn ajan, saaminen otoskoilla, jotka tukevat todellista tarkkuutta.

Kompromissina on mukautuvan kyselyn menetys. Moderaattori huomaa hämmennyksen ja kysyy miksi, tutkii odottamatonta kommenttia, ohjaa väärinymmärtäneen osallistujan takaisin ja tunnistaa, milloin on tapahtunut jotain mielenkiintoista, joka ei kuulunut suunnitelmaan. Mikään tästä ei ole saatavilla ilman moderointia. Ohjeen väärin tulkitsevat osallistujat tuottavat käyttökelvotonta dataa, tekniseen vikaan kohtaavat osallistujat yksinkertaisesti keskeyttävät, ja mielenkiintoinen käytös jää selittämättömäksi, koska kukaan ei ollut paikalla kysymässä siitä.

Tämä muovaa menetelmän soveltuvuutta. Moderoimaton työ toimii hyvin kohdennetuissa, hyvin määritellyissä tehtävissä, joilla on selkeät onnistumiskriteerit, vertailevissa tutkimuksissa, vertailuanalyyseissä ja ajan kuluessa tapahtuvassa seurannassa sekä kvantitatiivisissa ensimmäisen klikkauksen, puutestauksen ja mieltymystutkimuksissa. Se toimii huonosti tutkivassa tutkimuksessa, joka koskee tuntemattomia ongelma-alueita, monimutkaisissa, monivaiheisissa skenaarioissa, jotka vaativat valmisteluja, arkaluontoisissa aiheissa ja kaikessa, missä tavoitteena on ymmärtää motivaatiota eikä tarkkailla käyttäytymistä.

Tehtävien ja ohjeiden suunnittelulla on paljon enemmän painoarvoa kuin moderoidussa työssä, koska ohjeet muodostavat koko protokollan eikä niitä voida selventää. Tehtävien on oltava yksiselitteisiä, muotoiltu osallistujan omalla sanastolla eikä käyttöliittymän sanastolla, riittävän realistisia herättämään aitoa käyttäytymistä ja riittävän lyhyitä pitämään huomion. Muutaman osallistujan pilottikierros, jossa etsitään pelkästään epäselviä sanamuotoja, estää suurimman osan hukasta, jota muuten tapahtuu, kun viisikymmentä sessiota saapuu vastaamaan hieman eri kysymykseen kuin on tarkoitettu.

Itse tallenteet ovat usein arvokkainta tuotosta ja samalla eniten laiminlyötyä. Määrällinen yhteenveto, joka osoittaa, että 30 prosenttia osallistujista epäonnistui tehtävässä, on vakuuttava abstraktilla tasolla, kun taas kahden minuutin klipsi oikeasta ihmisestä, joka turhautuu näkyvästi tiettyyn näyttöön, muuttaa päätöksiä. Lyhyen kohokohtakoosteen kokoaminen moderoimattomista istunnoista maksaa tunnin ja varmistaa jatkuvasti enemmän resursseja korjaaviin toimenpiteisiin kuin mikään raportti. Samat klipit ovat hyödyllisiä myös yhteisen ymmärryksen rakentamisessa tiimin sisällä, koska korjauksen toteuttavat ihmiset harvoin lukevat analyysia, mutta katsovat luotettavasti asiakkaan kamppailevan heidän rakentamansa asian kanssa.

Osallistujien laatu edellyttää myös aktiivista hallintaa. Useita tutkimuksia suorittavat paneelin osallistujat kehittävät tapoja, jotka poikkeavat oikeista käyttäjistä, ja kannustimia haluavat ihmiset voivat helposti manipuloida seulontakysymyksiä. Seulonta, joka perustuu todennettavissa olevaan käyttäytymiseen itsearvioinnin sijaan, istunnon aikana tehtävät huomion tarkistukset ja tallenteiden manuaalinen tarkastelu ennen niiden sisällyttämistä analyysiin, ovat kaikki välttämättömiä. Käytännössä useimmat kypsät käyttäjän tutkimus ohjelmat käyttävät molempia tiloja tarkoituksella: moderoimattomia mittaamista, vertailua ja rutiininomaista validointia varten laajassa mittakaavassa ja moderoituja tutkivaa työtä varten, jossa miksi-ymmärrys on tärkeämpää kuin kuinka usein, ja molemmat ruokkivat samoja päätöksiä samassa tuotesuunnittelu prosessiin.