Tingkat Keberhasilan Tugas

Tingkat keberhasilan tugas adalah proporsi peserta yang menyelesaikan tugas yang ditentukan dengan benar. Ini adalah metrik kegunaan yang paling mendasar, karena mengukur apakah antarmuka benar-benar melakukan apa yang dibutuhkan orang, dan merupakan ukuran yang menjadi acuan bagi semua hal lain, termasuk kepuasan, kecepatan, dan preferensi estetika. Produk yang disukai orang tetapi tidak dapat digunakan bukanlah produk yang sukses.

Mengukurnya membutuhkan penentuan terlebih dahulu apa yang dianggap sebagai keberhasilan, dan definisi ini menentukan nilai dari semua hal yang mengikutinya. Penilaian biner mencatat penyelesaian atau kegagalan, yang sesuai untuk tugas-tugas dengan hasil akhir yang jelas seperti menyelesaikan pembelian. Tingkat keberhasilan mengakomodasi penyelesaian sebagian, mencatat apakah orang tersebut menyelesaikan tanpa bantuan, menyelesaikan dengan kesulitan, menyelesaikan dengan bantuan, atau gagal. Yang penting adalah kriteria tersebut ditetapkan sebelum sesi, karena memutuskan setelahnya apakah suatu hasil dianggap berhasil atau tidak akan menimbulkan penyimpangan interpretatif yang justru ingin dicegah oleh metrik tersebut.

Metrik ini sangat persuasif bagi para pemangku kepentingan karena sifatnya yang konkret. Pelaporan bahwa empat dari sepuluh peserta tidak dapat menemukan kebijakan pengembalian, atau bahwa setengahnya gagal menyelesaikan pendaftaran melalui telepon, berkomunikasi dengan cara yang tidak dapat dilakukan oleh deskripsi kualitatif. Hal ini juga mudah diterjemahkan ke dalam istilah komersial, karena tingkat kegagalan pada tugas yang sangat penting bagi pendapatan dapat dihubungkan langsung dengan transaksi yang hilang, dan hubungan itulah yang biasanya mengamankan sumber daya untuk perbaikan.

Interpretasi memerlukan kehati-hatian terhadap ukuran sampel. Studi kegunaan biasanya melibatkan lima hingga dua belas peserta, yang sesuai untuk mengidentifikasi masalah tetapi menghasilkan tingkat yang sangat tidak tepat: dua kegagalan dari delapan sesuai dengan berbagai nilai sebenarnya. Melaporkan persentase dari sampel tersebut seolah-olah itu adalah perkiraan populasi melebih-lebihkan apa yang dapat didukung oleh studi tersebut, dan presentasi yang jujur ​​memberikan jumlah mentah di samping persentase apa pun. Di mana tingkat yang tepat benar-benar penting, pengujian tanpa moderator dalam skala yang lebih besar atau analitik terinstrumentasi pada produk yang sedang berjalan adalah instrumen yang tepat.

Metrik ini juga hanya sebaik tugas-tugas yang dipilih. Tugas-tugas yang mencerminkan apa yang sebenarnya coba dilakukan orang, dirumuskan dalam kosakata mereka sendiri dan ditempatkan dalam skenario yang realistis, menghasilkan hasil yang bermakna. Tugas-tugas yang ditulis dalam terminologi antarmuka itu sendiri mengukur pencocokan kata. Tugas-tugas yang dibatasi secara artifisial, atau yang tidak akan dicoba oleh pengguna sebenarnya, menghasilkan angka yang tampak ketat tetapi tidak berarti apa-apa. Memilih tugas yang tepat umumnya membutuhkan pengetahuan sebelumnya tentang tujuan pengguna sebenarnya, yang diambil dari analitik, data pendukung, atau penelitian kualitatif sebelumnya.

Membandingkan tingkat keberhasilan dengan tolok ukur membutuhkan kehati-hatian dalam memahami apa yang diwakili oleh tolok ukur tersebut. Angka yang dipublikasikan untuk rata-rata penyelesaian tugas di berbagai studi diambil dari produk, tugas, dan populasi peserta yang sangat berbeda, dan membandingkan tingkat tertentu dengan angka tersebut tidak memberikan banyak manfaat. Perbandingan yang lebih bermanfaat adalah perbandingan internal: tugas yang sama diukur sebelum dan sesudah perubahan, tugas yang sama diukur di berbagai segmen atau perangkat, atau tugas yang sama dibandingkan dengan pesaing yang diuji dalam kondisi yang identik. Perbandingan dengan pesaing sangat persuasif bagi para pemangku kepentingan, karena kesenjangan yang nyata pada tugas yang dilakukan pelanggan secara rutin lebih sulit untuk diabaikan daripada masalah kegunaan yang abstrak.

Tingkat keberhasilan paling bermanfaat jika dikaitkan dengan alasan di balik kegagalan, karena tingkat tersebut mengidentifikasi tingkat keparahan dan pengamatan mengidentifikasi penyebabnya. Pengaitan tersebut merupakan praktik standar dalam suatu riset pengguna program tersebut, dan daftar tugas berisiko tinggi yang diprioritaskan sebagai hasilnya biasanya merupakan masukan yang paling dapat dipertanggungjawabkan untuk rencana perbaikan yang dibuat oleh sebuah program. Audit UX, karena sistem ini mengurutkan masalah berdasarkan dampak terukur pada tujuan nyata, bukan berdasarkan opini ahli tentang tingkat keseriusannya.