Desain Survei

Desain survei adalah praktik menyusun kuesioner yang mengukur apa yang ingin diukur, tanpa menimbulkan bias melalui pemilihan kata, urutan, skala, atau pengambilan sampel. Ini adalah disiplin metodologis yang sesungguhnya, dan kemudahan dalam membuat dan mendistribusikan survei dengan alat modern menyembunyikan betapa mudahnya menghasilkan hasil yang pasti salah.

Perumusan pertanyaan adalah sumber kesalahan yang paling umum. Pertanyaan yang mengarahkan mengandung asumsi atau jawaban yang diinginkan dan secara pasti menghasilkan respons yang disarankan. Pertanyaan ganda menanyakan dua hal sekaligus dan tidak dapat diinterpretasikan. Istilah-istilah yang bermuatan, kuantifikasi absolut, dan jargon yang tidak dikenal semuanya mendistorsi respons. Bahkan frasa yang tampaknya netral pun secara substansial mengubah hasil: menanyakan seberapa puas seseorang menghasilkan jawaban yang berbeda daripada menanyakan seberapa tidak puas, karena kerangka pertanyaan memicu arah respons.

Skala memerlukan perhatian yang sama. Jumlah poin, apakah titik tengah netral ditawarkan, apakah titik ujungnya diberi label, dan apakah arahnya dari positif ke negatif semuanya mengubah distribusi jawaban. Skala yang tidak seimbang dengan lebih banyak pilihan positif daripada negatif akan meningkatkan hasil. Skala persetujuan rentan terhadap bias persetujuan, yaitu kecenderungan untuk setuju tanpa memperhatikan isi, terutama di antara responden yang bergerak cepat. Konsistensi sama pentingnya dengan pilihan spesifik, karena mengubah skala antar gelombang akan membatalkan tren yang ingin dihasilkan oleh survei tersebut.

Pengaruh urutan pertanyaan sering diremehkan. Pertanyaan-pertanyaan awal membentuk interpretasi pertanyaan-pertanyaan selanjutnya, sebuah fenomena yang menjadi semakin penting ketika survei menanyakan tentang atribut positif tertentu sebelum meminta penilaian keseluruhan. Survei yang panjang menghasilkan penurunan kualitas jawaban karena responden cenderung memilih jawaban yang memuaskan, yaitu memilih apa pun yang menyelesaikan tugas, sehingga pertanyaan-pertanyaan selanjutnya secara sistematis menerima data yang lebih buruk daripada pertanyaan-pertanyaan sebelumnya. Pertanyaan-pertanyaan sensitif atau demografis biasanya ditempatkan di akhir karena alasan ini, dan survei apa pun yang membutuhkan waktu lebih dari beberapa menit harus memperkirakan penurunan kualitas yang terukur.

Pengambilan sampel adalah titik di mana sebagian besar survei bisnis gagal total, dan tidak ada jumlah kata-kata yang cermat pun dapat mengimbanginya. Survei yang didistribusikan ke daftar email, dipromosikan di situs web, atau dijawab oleh siapa pun yang memilih untuk merespons, mengukur orang-orang yang memilih untuk merespons, yang secara sistematis berbeda dari mereka yang tidak merespons. Tingkat respons dalam angka satu digit rendah adalah hal biasa, dan hasil dari sampel tersebut menggambarkan populasi yang tidak representatif dan biasanya lebih terlibat. Menyajikan hasil ini seolah-olah menggambarkan basis pelanggan adalah kesalahan paling penting dalam praktik survei komersial.

Pengujian awal (piloting) adalah langkah yang paling sering dilewati dan yang paling sering mengungkap kesalahan yang merugikan. Menjalankan draf survei dengan sejumlah kecil responden, idealnya dengan percakapan singkat setelahnya tentang bagaimana mereka menafsirkan setiap pertanyaan, akan mengungkap ambiguitas yang tidak terlihat oleh orang yang menulisnya. Pertanyaan yang tampak jelas ternyata dibaca dengan dua cara, skala dipahami berbeda dari yang dimaksudkan, dan instruksi sama sekali terlewatkan. Karena biaya pengujian awal hanya sebagian kecil dari biaya melakukan survei lengkap dan menganalisis hasil yang ternyata tidak dapat ditafsirkan, melewatkannya adalah penghematan yang keliru yang menghasilkan kesimpulan yang meyakinkan dari data yang tidak dapat dipertahankan oleh siapa pun.

Pedoman praktis berikut ini adalah untuk bersikap rendah hati tentang apa yang dapat dilakukan oleh survei. Survei bagus untuk mengukur sikap dan keadaan yang dilaporkan sendiri di seluruh sampel, untuk melacak ukuran yang sama secara konsisten dari waktu ke waktu, dan untuk mengkuantifikasi tema yang telah diidentifikasi melalui pekerjaan kualitatif. Survei kurang baik dalam menjelaskan mengapa, memprediksi perilaku, dan menemukan hal-hal yang tidak terpikirkan oleh perancang untuk ditanyakan. Dalam sebuah riset pengguna Program ini paling berharga jika digunakan setelah wawancara daripada sebelumnya, untuk mengukur pola yang sudah dipahami, dan pertimbangan analisis dan pengambilan sampel biasanya ditangani dengan cara tersebut. analisis data fungsi tersebut bertujuan agar hasilnya diberi bobot dan catatan tambahan, bukan dilaporkan sebagai fakta langsung.