Tehtävän onnistumisprosentti

Tehtävän onnistumisprosentti on niiden osallistujien osuus, jotka suorittavat määritellyn tehtävän oikein. Se on perustavanlaatuisin käytettävyysmittari, koska se mittaa, tekeekö käyttöliittymä todella sen, mitä ihmiset tarvitsevat, ja se on mittari, jota vasten kaikki muu, mukaan lukien tyytyväisyys, nopeus ja esteettiset mieltymykset, on toissijaista. Tuote, josta ihmiset nauttivat, mutta jota he eivät voi käyttää, ei ole menestyvä tuote.

Sen mittaaminen edellyttää etukäteen päättämistä, mikä lasketaan onnistumiseksi, ja tämä määritelmä määrittää kaiken seuraavan arvon. Binäärinen pisteytys tallentaa suorituksen tai epäonnistumisen, mikä sopii tehtäville, joilla on yksiselitteinen lopputila, kuten ostoksen suorittaminen. Onnistumisen tasot mahdollistavat osittaisen suorittamisen, jolloin tallennetaan, suoritettiinko henkilö tehtävän ilman apua, vaikeuksin, avustetusti vai epäonnistuiko. Tärkeää on, että kriteeri vahvistetaan ennen istuntoja, koska jälkikäteen päättäminen siitä, lasketaanko tulos, aiheuttaa juuri sen tulkinnallisen ajautumisen, jota mittarin on tarkoitus estää.

Mittari on epätavallisen vakuuttava sidosryhmien keskuudessa, koska se on konkreettinen. Raportointi, jonka mukaan neljä kymmenestä osallistujasta ei löytänyt palautuskäytäntöä tai että puolet ei suorittanut rekisteröitymistä puhelimitse, viestii tavalla, johon laadullinen kuvaus ei pysty. Se on myös helposti käännettävissä kaupalliseen muotoon, koska tuottokriittisen tehtävän epäonnistumisprosentti voidaan yhdistää suoraan menetettyihin tapahtumiin, ja tämä yhteys yleensä varmistaa resurssit korjaaviin toimenpiteisiin.

Tulkinta vaatii huolellisuutta otoskoon suhteen. Käytettävyystutkimuksissa on tyypillisesti mukana viidestä tusinaan osallistujaa, mikä sopii ongelmien tunnistamiseen, mutta tuottaa hyvin epätarkkoja prosenttiosuuksia: kaksi epäonnistumista kahdeksasta on yhteensopivaa todellisten arvojen laajan vaihteluvälin kanssa. Tällaisesta otoksesta saadun prosenttiosuuden esittäminen ikään kuin se olisi populaatioarvio, liioittelee sitä, mitä tutkimus voi tukea, ja rehellinen esitys antaa raakalukuja minkä tahansa prosenttiosuuden rinnalla. Kun tarkalla osuudella on todella merkitystä, sopivat välineet ovat moderoimaton testaus laajemmassa mittakaavassa tai instrumentoitu analytiikka live-tuotteella.

Mittari on myös vain niin hyvä kuin valitut tehtävät. Tehtävät, jotka heijastavat sitä, mitä ihmiset todella yrittävät tehdä, muotoiltuina heidän omalla sanastollaan ja sijoitettuina realistiseen skenaarioon, tuottavat merkityksellisiä tuloksia. Käyttöliittymän omalla terminologialla kirjoitetut tehtävät mittaavat sanojen yhteensopivuutta. Keinotekoisesti rajoitetut tehtävät tai tehtävät, joita kukaan oikea käyttäjä ei yrittäisi, tuottavat lukuja, jotka näyttävät tiukoilta eivätkä tarkoita mitään. Oikeiden tehtävien valitseminen edellyttää yleensä ennakkotietoa todellisista käyttäjien tavoitteista, jotka on saatu analytiikasta, tukidatasta tai aiemmasta laadullisesta tutkimuksesta.

Onnistumisasteiden vertaaminen vertailuarvoon vaatii huolellisuutta sen suhteen, mitä vertailuarvo edustaa. Julkaistut luvut keskimääräisestä tehtävien suorittamisesta eri tutkimuksissa perustuvat hyvin erilaisiin tuotteisiin, tehtäviin ja osallistujapopulaatioihin, ja tietyn suoritusasteen vertaaminen niihin tukee hyvin vähän. Hyödyllisempiä vertailuja ovat sisäiset vertailut: sama tehtävä mitattuna ennen muutosta ja sen jälkeen, sama tehtävä mitattuna eri segmenteissä tai laitteissa tai sama tehtävä verrattuna kilpailijaan testattuna identtisissä olosuhteissa. Kilpailijavertailu on erityisen vakuuttava sidosryhmien keskuudessa, koska osoitettavissa oleva ero asiakkaiden rutiininomaisesti suorittamassa tehtävässä on vaikeampi sivuuttaa kuin abstrakti käytettävyysongelma.

Onnistumisprosentti on hyödyllisimmillään yhdistettynä epäonnistumisten syihin, koska onnistumisprosentti kuvaa vakavuutta ja havainto syyn. Tämä yhdistäminen on vakiokäytäntö. käyttäjän tutkimus ohjelma, ja tuloksena oleva priorisoitu luettelo korkean virheasteen tehtävistä on yleensä puolusteltavin syöte ohjelman laatimaan korjaussuunnitelmaan. UX-tarkastus, koska se luokittelee ongelmat todellisiin tavoitteisiin kohdistuvien mitattujen vaikutusten perusteella eikä asiantuntijoiden arvion perusteella niiden vakavuudesta.