Wskaźnik sukcesu zadania

Wskaźnik sukcesu zadania to odsetek uczestników, którzy poprawnie wykonali zdefiniowane zadanie. Jest to najbardziej fundamentalny wskaźnik użyteczności, ponieważ mierzy, czy interfejs rzeczywiście spełnia oczekiwania użytkowników, i jest miarą, w stosunku do której wszystko inne, w tym satysfakcja, szybkość i preferencje estetyczne, ma znaczenie drugorzędne. Produkt, który ludzie lubią, ale nie mogą używać, nie jest produktem udanym.

Pomiar wymaga wcześniejszego ustalenia, co uznaje się za sukces, a ta definicja określa wartość wszystkiego, co następuje. Punktacja binarna rejestruje ukończenie lub niepowodzenie, co jest właściwe w przypadku zadań o jednoznacznym stanie końcowym, takich jak finalizacja zakupu. Poziomy sukcesu uwzględniają częściowe ukończenie, rejestrując, czy dana osoba ukończyła zadanie bez pomocy, z trudem, z pomocą, czy poniosła porażkę. Ważne jest, aby kryterium zostało ustalone przed sesjami, ponieważ późniejsze ustalenie, czy wynik został zaliczony, prowadzi dokładnie do takiego dryfu interpretacyjnego, któremu metryka ma zapobiegać.

Wskaźnik ten jest niezwykle przekonujący dla interesariuszy, ponieważ jest konkretny. Informacja, że ​​czterech na dziesięciu uczestników nie mogło znaleźć zasad zwrotów lub że połowa nie dokończyła rejestracji telefonicznej, komunikuje się w sposób, w jaki nie potrafi tego zrobić opis jakościowy. Wskaźnik ten jest również łatwy do przetłumaczenia na język komercyjny, ponieważ wskaźnik awaryjności zadania krytycznego dla przychodów można bezpośrednio powiązać z utraconymi transakcjami, a to powiązanie zazwyczaj zabezpiecza zasoby na potrzeby działań naprawczych.

Interpretacja wymaga rozważenia liczebności próby. Badania użyteczności zazwyczaj obejmują od pięciu do kilkunastu uczestników, co jest odpowiednie do identyfikacji problemów, ale prowadzi do bardzo nieprecyzyjnych wskaźników: dwa błędy na osiem są zgodne z szerokim zakresem wartości rzeczywistych. Podawanie odsetka z takiej próby, jak gdyby był to szacunek populacji, zawyża to, co badanie może potwierdzić, a rzetelna prezentacja przedstawia surowe wyniki obok wszelkich wartości procentowych. Tam, gdzie precyzyjny wskaźnik ma rzeczywiście znaczenie, odpowiednimi narzędziami są niemoderowane testy na większą skalę lub analiza instrumentalna na żywym produkcie.

Metryka jest tak dobra, jak wybrane zadania. Zadania, które odzwierciedlają to, co ludzie faktycznie próbują zrobić, sformułowane we własnym słownictwie i umiejscowione w realistycznym scenariuszu, przynoszą znaczące rezultaty. Zadania napisane w terminologii interfejsu mierzą dopasowanie słów. Zadania, które są sztucznie ograniczone lub których żaden rzeczywisty użytkownik by się nie podjął, generują liczby, które wyglądają na rygorystyczne i nic nie znaczą. Wybór odpowiednich zadań zazwyczaj wymaga wcześniejszej znajomości rzeczywistych celów użytkownika, zaczerpniętej z analiz, danych pomocniczych lub wcześniejszych badań jakościowych.

Porównywanie wskaźników sukcesu z benchmarkiem wymaga uwagi na to, co benchmark reprezentuje. Publikowane dane dotyczące średniego ukończenia zadań w różnych badaniach pochodzą z bardzo różnych produktów, zadań i populacji uczestników, a porównanie konkretnego wskaźnika z nimi niewiele wnosi. Bardziej przydatne są porównania wewnętrzne: to samo zadanie mierzone przed i po zmianie, to samo zadanie mierzone w różnych segmentach lub urządzeniach lub to samo zadanie w porównaniu z konkurencją testowaną w identycznych warunkach. Porównanie z konkurencją jest szczególnie przekonujące dla interesariuszy, ponieważ wyraźna luka w zadaniu, które klienci wykonują rutynowo, jest trudniejsza do zignorowania niż abstrakcyjny problem z użytecznością.

Wskaźnik sukcesu jest najbardziej użyteczny w połączeniu z przyczynami niepowodzeń, ponieważ wskaźnik identyfikuje powagę, a obserwacja identyfikuje przyczynę. Takie łączenie jest standardową praktyką w badania użytkowników program, a wynikająca z niego lista zadań o wysokim stopniu awarii, uporządkowana według priorytetów, jest zwykle najbardziej obronnym wkładem do planu naprawczego opracowanego przez Audyt UXponieważ klasyfikuje problemy według mierzonego wpływu na rzeczywiste cele, a nie według opinii ekspertów na temat ich powagi.