Pengujian Berbasis Hipotesis

Pengujian berbasis hipotesis adalah pendekatan terstruktur untuk eksperimen di mana setiap pengujian dimulai dengan pernyataan eksplisit dan dapat dibuktikan salah yang memprediksi bahwa perubahan spesifik akan menghasilkan efek spesifik dan terukur pada perilaku pengguna, biasanya dirumuskan dalam format seperti: karena kami mengamati bukti X, kami percaya bahwa mengubah Y akan menghasilkan hasil Z, diukur dengan metrik M dalam periode waktu yang ditentukan. Ini sangat berbeda dari pengujian ad hoc, di mana variasi dicoba berdasarkan intuisi umum atau praktik terbaik industri yang dipinjam tanpa alasan yang diartikulasikan dengan jelas yang didasarkan pada bukti spesifik untuk situs atau produk aktual yang sedang diuji pada saat itu. Beberapa tim lebih lanjut mensyaratkan setiap hipotesis untuk menyebutkan segmen pengguna spesifik yang berlaku, karena perubahan yang membantu pengunjung seluler pertama kali mungkin tidak berpengaruh, atau bahkan berdampak negatif, pada pelanggan desktop yang kembali yang sudah tahu persis apa yang ingin mereka lakukan.

Disiplin ini penting karena memaksa tim untuk membenarkan perubahan yang diusulkan dengan bukti yang ada sebelum mengalokasikan sumber daya teknik dan desain untuk membangun dan menjalankan pengujian, yang secara signifikan meningkatkan tingkat keberhasilan keseluruhan program eksperimen dari waktu ke waktu dan membuat alasan di balik keberhasilan dan kegagalan dapat digunakan kembali untuk pekerjaan di masa mendatang di tempat lain dalam produk. Pengujian yang mengkonfirmasi atau menyangkal hipotesis yang didasarkan pada data sebelumnya, seperti peta panas yang menunjukkan pengguna mengabaikan ajakan bertindak utama sepenuhnya, menghasilkan pembelajaran yang dapat digeneralisasikan ke halaman lain yang menunjukkan pola serupa, sedangkan pengujian yang murni didasarkan pada ide kreatif yang tidak terikat, bahkan ketika kebetulan menang, sering menghasilkan hasil yang benar-benar sulit untuk dijelaskan atau diterapkan di tempat lain dalam produk.

Dalam praktiknya, program pengujian berbasis hipotesis biasanya mempertahankan daftar hipotesis yang dihasilkan dari berbagai sumber sekaligus, termasuk data analitik, peta panas dan rekaman sesi, wawancara pengguna, tema dukungan pelanggan, dan analisis kompetitif bisnis serupa dalam kategori yang sama. Daftar hipotesis tersebut diprioritaskan menggunakan kerangka penilaian seperti ICE, yang menilai setiap hipotesis berdasarkan potensi dampak, keyakinan pada bukti yang mendasarinya, dan kemudahan implementasi. Setelah diprioritaskan, sebuah hipotesis dioperasionalkan menjadi uji A/B dengan metrik utama yang didefinisikan dengan jelas, efek minimum yang dapat dideteksi, dan ukuran sampel yang dibutuhkan yang dihitung sebelumnya, dan uji tersebut kemudian dijalankan hingga mencapai signifikansi statistik, umumnya tingkat kepercayaan 95 persen, daripada dihentikan lebih awal berdasarkan hasil sementara yang menarik tetapi prematur.

Kesalahpahaman umum adalah bahwa hipotesis hanyalah deskripsi tentang seperti apa varian tersebut nantinya, misalnya kita akan membuat tombolnya berwarna merah, bukan prediksi yang beralasan yang menghubungkan bukti yang ada dengan hasil perilaku yang diharapkan; hipotesis yang dirumuskan dengan benar selalu menyatakan keyakinan mendasar tentang perilaku pengguna yang secara khusus dimaksudkan untuk diuji dan divalidasi oleh perubahan desain tersebut. Jebakan signifikan lainnya adalah memperlakukan pengujian yang gagal sebagai kegagalan dari keseluruhan proses daripada sebagai hasil pembelajaran yang valid dan benar-benar berharga, karena hipotesis yang dibuktikan salah oleh data pengguna nyata tetap menghilangkan asumsi yang salah dan mengarahkan upaya di masa depan secara lebih produktif daripada tidak pernah menguji ide tersebut sama sekali, sebuah perbedaan budaya penting yang diupayakan oleh praktisi CRO berpengalaman untuk ditanamkan dalam organisasi klien dari waktu ke waktu.

dalam CRO Dalam konsultasi, pengujian berbasis hipotesis adalah model operasional yang menjadi dasar hampir semua program eksperimen klien, karena model ini menyediakan jejak yang dapat dipertanggungjawabkan dan diaudit yang menghubungkan masalah yang diamati dengan solusi yang diusulkan dan hasil yang terukur. Jejak ini sangat penting baik untuk membenarkan investasi berkelanjutan dari program pengujian terus-menerus kepada pemangku kepentingan yang skeptis maupun untuk membangun basis pengetahuan institusional yang nilainya meningkat secara signifikan seiring dengan semakin banyaknya hipotesis yang diuji, disempurnakan, dan divalidasi atau secara definitif ditolak selama putaran pengujian berturut-turut di seluruh produk. Seiring waktu, catatan akumulasi hipotesis yang divalidasi dan dibuktikan salah ini menjadi salah satu aset paling berharga bagi sebuah perusahaan konsultan, karena memungkinkan eksperimen baru dirancang dengan memanfaatkan semua yang telah dipelajari daripada memulai dari halaman kosong setiap kali.