Testy użyteczności to metoda badawcza, w której prawdziwi lub reprezentatywni użytkownicy próbują wykonać określone zadania za pomocą produktu, prototypu lub witryny, podczas gdy obserwator rejestruje, gdzie im się udaje, gdzie napotykają trudności i jak opisują swoje doświadczenie, zazwyczaj myśląc na głos podczas pracy. W przeciwieństwie do ankiet lub analityki, które informują o tym, co użytkownicy zrobili lub powiedzieli post factum, testy użyteczności obserwują zachowanie bezpośrednio i w kontekście, co czyni je jednym z najbardziej bezpośrednich sposobów sprawdzenia, czy interfejs jest rzeczywiście łatwy do zrozumienia i obsługi, a nie jedynie zakłada się to w zespole, który go zbudował.
Metoda ta ma znaczenie, ponieważ problemy interfejsu niewidoczne dla osób, które go zaprojektowały, są często oczywiste dla użytkowników korzystających z niego po raz pierwszy – tę lukę zwykle tłumaczy się klątwą wiedzy, w której projektanci i interesariusze głęboko zaznajomieni z produktem mają trudność z dostrzeżeniem niejednoznaczności, na którą nowy użytkownik natrafia natychmiast. Szeroko cytowane badania nad użytecznością wykazały, że testowanie z zaledwie pięcioma uczestnikami zazwyczaj ujawnia dużą większość – często podawane jest około 85 procent – problemów z użytecznością obecnych w danym interfejsie, dlatego testy użyteczności prowadzi się zazwyczaj w małych, iteracyjnych rundach uczestników, a nie w badaniach na dużą skalę, co pozwala zespołom szybko testować, naprawiać i testować ponownie, zamiast czekać na zebranie dużej próby przed wprowadzeniem jakichkolwiek zmian.
Testy użyteczności prowadzi się w kilku formatach: testy moderowane, w których prowadzący na bieżąco kieruje uczestnika przez zadania, osobiście lub przez wideo, i może zadawać pytania uzupełniające, by wyjaśnić momenty dezorientacji; niemoderowane testy zdalne, w których uczestnicy samodzielnie wykonują zadania za pomocą platformy testowej, a ich ekran i głos są nagrywane do późniejszego przeglądu, co zapewnia szybsze i tańsze zbieranie danych kosztem braku możliwości dopytania o reakcje w danej chwili; oraz testy guerrilla, nieformalne, tanie podejście zbierające szybką opinię od dostępnych uczestników, takich jak współpracownicy lub przechodnie, przydatne do walidacji na wczesnym etapie, gdy pełne badanie nie jest jeszcze uzasadnione. Sesje testowe strukturyzuje się zazwyczaj wokół konkretnych, realistycznych scenariuszy zadań, a nie otwartej eksploracji, a sukces ocenia się za pomocą miar takich jak odsetek ukończonych zadań, czas wykonania zadania, liczba błędów i subiektywna ocena łatwości użycia przez uczestnika, często zbierana za pomocą standaryzowanego narzędzia, takiego jak System Usability Scale.
Częstym błędnym przekonaniem jest, że testy użyteczności i testy A/B służą temu samemu celowi, podczas gdy w rzeczywistości odpowiadają na różne pytania na różnych etapach: testy użyteczności wskazują, dlaczego użytkownicy mają trudności z interfejsem, zanim zostanie on zbudowany lub szeroko wdrożony, zazwyczaj na prototypie lub już działającym, lecz niezweryfikowanym projekcie, podczas gdy testy A/B mierzą, który z kilku już zbudowanych wariantów działa lepiej na dużą skalę, gdy dostępny jest ruch. Częstą pułapką w samych testach użyteczności jest rekrutowanie uczestników niereprezentatywnych dla rzeczywistej grupy docelowej, np. testowanie przepływu pracy w oprogramowaniu dla przedsiębiorstw z uczestnikami nieznającymi leżącego u jego podstaw procesu biznesowego, co daje mylące punkty tarcia, które nie pojawiłyby się u prawdziwych użytkowników docelowych. Kolejnym częstym błędem podważającym trafność wyników jest naprowadzanie uczestników podpowiedziami lub sugestiami podczas sesji, zamiast pozwolić im się potykać i uczciwie obserwować te trudności.
W projektach doradczych z zakresu CRO i UX testy użyteczności stosuje się często zarówno diagnostycznie, aby zrozumieć, dlaczego istniejący proces osiąga słabe wyniki, jak i w celu walidacji przed szerokim wdrożeniem redesignu – testując nowy prototyp z niewielką grupą reprezentatywnych użytkowników, by wychwycić poważne problemy z użytecznością, zanim zasoby deweloperskie i testowe zostaną zaangażowane w pełny test A/B. Wyniki testów użyteczności są zazwyczaj syntetyzowane w priorytetyzowaną listę problemów, często uszeregowanych według powagi i liczby uczestników, którzy je napotkali, która następnie bezpośrednio zasila zmiany projektowe lub hipotezy eksperymentów składające się na szerszy plan optymalizacji klienta.
Konkretny przykład pokazuje efektywność tej metody: zespół testujący przeprojektowaną stronę ustawień konta z pięcioma uczestnikami może zaobserwować, że czterech z pięciu nie potrafi znaleźć opcji zmiany preferencji powiadomień, a każdy z nich niezależnie szuka jej w tym samym błędnym miejscu interfejsu. To pojedyncze, wysoce spójne ustalenie, uzyskane w niewielkiej i taniej rundzie testów, zazwyczaj wystarcza jako uzasadnienie przeniesienia tego ustawienia przed wdrożeniem, bez potrzeby przeprowadzania większego i bardziej czasochłonnego badania w celu potwierdzenia czegoś, co już wielokrotnie i niezawodnie zawodziło u niemal każdego przetestowanego uczestnika.
