Oppgavesuksessrate

Suksessraten for oppgaver er andelen deltakere som fullfører en definert oppgave riktig. Det er den mest grunnleggende brukervennlighetsmålingen, fordi den måler om et grensesnitt faktisk gjør det folk trenger at det skal gjøre, og det er målet som alt annet, inkludert tilfredshet, hastighet og estetiske preferanser, er sekundært mot. Et produkt folk liker, men ikke kan bruke, er ikke et vellykket produkt.

Å måle det krever at man bestemmer på forhånd hva som teller som suksess, og denne definisjonen bestemmer verdien av alt som følger. Binær poengsum registrerer fullføring eller fiasko, noe som er passende for oppgaver med en entydig slutttilstand, som å fullføre et kjøp. Suksessnivåer omfatter delvis fullføring, og registrerer om personen fullførte uten hjelp, med vanskeligheter, med assistanse eller mislyktes. Det som er viktig er at kriteriet er fastsatt før øktene, siden det å avgjøre i etterkant om et utfall som teller inviterer til nøyaktig den fortolkningsavviket som metrikken er ment å forhindre.

Målingen er uvanlig overbevisende hos interessenter fordi den er konkret. Rapportering om at fire av ti deltakere ikke fant returpolicyen, eller at halvparten ikke klarte å fullføre registreringen på en telefon, kommuniserer på en måte som en kvalitativ beskrivelse ikke gjør. Den overlever også lett oversettelse til kommersielle termer, siden en feilrate på en inntektskritisk oppgave kan kobles direkte til tapte transaksjoner, og den forbindelsen er vanligvis det som sikrer ressurser for utbedring.

Tolkning krever nøye vurdering av utvalgsstørrelsen. Brukbarhetsstudier involverer vanligvis fem til et dusin deltakere, noe som er passende for å identifisere problemer, men gir svært upresise rater: to feil av åtte er forenlig med et bredt spekter av sanne verdier. Å rapportere en prosentandel fra et slikt utvalg som om det var et populasjonsestimat overdriver hva studien kan støtte, og den ærlige presentasjonen gir rådall ved siden av enhver prosentandel. Der en presis rate virkelig betyr noe, er umoderert testing i større skala eller instrumentert analyse av det faktiske produktet de passende instrumentene.

Målestokken er bare så god som de valgte oppgavene. Oppgaver som gjenspeiler hva folk faktisk prøver å gjøre, formulert i deres eget vokabular og plassert i et realistisk scenario, gir meningsfulle resultater. Oppgaver skrevet i grensesnittets egen terminologi måler ordmatching. Oppgaver som er kunstig begrenset, eller som ingen reell bruker ville forsøke, produserer tall som ser strenge ut og ikke betyr noe. Å velge riktige oppgaver krever vanligvis forkunnskaper om reelle brukermål, hentet fra analyser, støttedata eller tidligere kvalitativ forskning.

Å sammenligne suksessrater mot en referanseindeks krever at man er nøye med hva referanseindeksen representerer. Publiserte tall for gjennomsnittlig oppgavefullføring på tvers av studier er hentet fra vidt forskjellige produkter, oppgaver og deltakerpopulasjoner, og det å sammenligne en spesifikk rate mot dem støtter svært lite. Mer nyttige sammenligninger er interne: den samme oppgaven målt før og etter en endring, den samme oppgaven målt på tvers av segmenter eller enheter, eller den samme oppgaven sammenlignet med en konkurrent testet under identiske forhold. En konkurrentsammenligning er spesielt overbevisende hos interessenter, siden et påviselig gap i en oppgave kunder utfører rutinemessig er vanskeligere å avfeie enn en abstrakt bekymring for brukervennlighet.

Suksessraten er mest nyttig når den kombineres med årsakene bak feilene, siden raten identifiserer alvorlighetsgraden og observasjonen identifiserer årsaken. Denne sammenkoblingen er standard praksis innenfor en brukerforskning program, og den resulterende prioriterte listen over oppgaver med høy feilprosent er vanligvis det mest forsvarlige innspillet til en utbedringsplan produsert av en UX revisjon, fordi den rangerer problemer etter målt innvirkning på reelle mål snarere enn etter ekspertvurderinger av hvor alvorlige de er.