Ocena heurystyczna

Ocena heurystyczna to metoda eksperckiej analizy, w której specjaliści analizują interfejs pod kątem zestawu ustalonych zasad użyteczności i odnotowują przypadki ich naruszenia. Opracowana przez Jakoba Nielsena i Rolfa Molicha w 1990 roku, została zaprojektowana jako szybka i tania alternatywa dla testów z użytkownikami, umożliwiająca wykrycie znacznej części problemów z użytecznością bez konieczności angażowania uczestników.

Procedura metody ma większe znaczenie niż konkretny zestaw heurystyk. Każdy ewaluator dokonuje niezależnej analizy interfejsu, zazwyczaj wykonując dwa podejścia: jedno w celu zapoznania się z przepływem, a drugie w celu jego systematycznej inspekcji. Wyniki są rejestrowane wraz z naruszoną zasadą, lokalizacją oraz oszacowaniem istotności na podstawie częstotliwości, wpływu i trwałości. Dopiero po zakończeniu niezależnej analizy przez wszystkich ewaluatorów wyniki są łączone, ponieważ dyskusje w trakcie ewaluacji powodują zbieżność i zmniejszają zasięg. Badania Nielsena sugerują, że trzech do pięciu ewaluatorów identyfikuje znaczną większość problemów, które zidentyfikowałaby większa grupa, a po przekroczeniu tego progu zwroty z inwestycji gwałtownie maleją.

Jego głównymi zaletami są szybkość i niskie koszty. Dokładną ocenę istotnego przepływu można przeprowadzić w ciągu kilku dni bez konieczności rekrutacji, planowania czy budżetów motywacyjnych, a narzędzie to można zastosować do projektów, które nie zostały jeszcze zrealizowane, w tym do modeli szkieletowych i prototypów. Pozwala ono również na uzyskanie wyników wyrażonych w oparciu o ustalone zasady, co daje im uzasadnienie wykraczające poza indywidualną opinię i ułatwia ich obronę w dyskusjach z interesariuszami.

Jej ograniczenia są równie dobrze udokumentowane. Eksperci-recenzenci nie są użytkownikami: znają dogłębnie konwencje interfejsu, nie podzielają dezorientacji w dziedzinie ani kontekstu emocjonalnego prawdziwych klientów i nie potrafią wiarygodnie identyfikować problemów wynikających z nieznajomości tematu. Metoda ta generuje również fałszywe alarmy, sygnalizując naruszenia, które nie mają istotnego wpływu na rzeczywistych użytkowników, i ma tendencję do nadmiernej identyfikacji problemów powierzchownych, a niedoceniania głębszych rozbieżności koncepcyjnych między produktem a modelem mentalnym użytkownika. Jakość ewaluatorów ma decydujący wpływ na wyniki: metoda jest tak dobra, jak osoby ją stosujące.

Z tych powodów ocenę heurystyczną najlepiej rozumieć jako uzupełnienie testów z użytkownikami, a nie ich zamiennik. Praktyczna sekwencja, która sprawdza się najlepiej, polega najpierw na przeprowadzeniu przeglądu eksperckiego, poprawieniu oczywistych uchybień, a następnie zaprezentowaniu ulepszonej wersji rzeczywistym użytkownikom, tak aby sesje testowe nie były pochłaniane przez problemy, które mógłby zidentyfikować każdy specjalista. Przeprowadzanie ich w odwrotnej kolejności marnuje czas uczestników na defekty, których wykrycie nie wymagało badań.

Ocena ważności zasługuje na większą uwagę niż zazwyczaj, ponieważ określa, czy wynik jest użyteczny. Lista czterdziestu ustaleń bez priorytetyzacji jest trudna do wdrożenia i zazwyczaj jest rozpatrywana w kolejności, która jest najłatwiejsza. Oznacza to, że problemy kosmetyczne zostają naprawione, podczas gdy poważne problemy pozostają. Ocenianie każdego ustalenia pod kątem liczby użytkowników, których dotyczy, stopnia utrudnienia dla nich i możliwości jego rozwiązania po zapoznaniu się z sytuacją, tworzy ranking odzwierciedlający wpływ na działalność firmy. Dodanie szacunkowego nakładu pracy naprawczej do poziomu ważności przekształca listę w plan, oddzielając elementy o wysokiej ważności i niewielkim nakładzie pracy, które powinny zostać naprawione natychmiast, od elementów o wysokiej ważności i dużym nakładzie pracy, które muszą zostać uwzględnione w planie działania.

Ponieważ wynik jest uporządkowanym według priorytetów spisem usterek z ocenami ich ważności, jest on bezpośrednio odwzorowywany na zaległości w zakresie napraw, dlatego stanowi podstawę większości Audyt UX praca. Wyniki zazwyczaj dzielą się na elementy, które można naprawić natychmiast bez walidacji, ponieważ obecne zachowanie jest po prostu wadliwe, oraz na elementy, które reprezentują wybór projektowy wart przetestowania, które następnie trafiają do listy zadań eksperymentalnych. Usługa CRO programu, a nie opierać się wyłącznie na ocenie eksperckiej.