Pengujian berbasis hipotesis adalah pendekatan eksperimen terstruktur di mana setiap pengujian dimulai dengan pernyataan eksplisit yang dapat disangkal (falsifiable) yang memprediksi bahwa perubahan tertentu akan menghasilkan efek terukur tertentu pada perilaku pengguna, yang biasanya dibingkai dalam format seperti: karena kami mengamati bukti X, kami yakin bahwa mengubah Y akan menghasilkan hasil Z, yang diukur dengan metrik M dalam periode waktu tertentu. Hal ini sangat berbeda dengan pengujian ad hoc, di mana variasi dicoba berdasarkan intuisi umum atau praktik terbaik industri yang dipinjam tanpa alasan yang diartikulasikan dengan jelas dan berlandaskan bukti yang spesifik untuk situs atau produk yang sedang diuji pada saat itu. Beberapa tim bahkan mewajibkan setiap hipotesis menyebutkan segmen pengguna spesifik yang menjadi sasarannya, karena perubahan yang membantu pengunjung seluler pertama kali mungkin tidak berpengaruh, atau bahkan berdampak negatif, pada pelanggan desktop yang kembali dan sudah tahu persis apa yang ingin mereka lakukan.
Disiplin ini penting karena memaksa tim membenarkan perubahan yang diusulkan dengan bukti yang ada sebelum mengalokasikan sumber daya rekayasa dan desain untuk membangun dan menjalankan pengujian, yang secara berarti meningkatkan tingkat kemenangan keseluruhan program eksperimen dari waktu ke waktu dan membuat penalaran di balik keberhasilan maupun kegagalan dapat digunakan ulang untuk pekerjaan lain di dalam produk. Pengujian yang mengonfirmasi atau membantah hipotesis yang berlandaskan data sebelumnya, seperti heatmap yang menunjukkan pengguna sama sekali mengabaikan ajakan bertindak kunci, menghasilkan pembelajaran yang dapat digeneralisasi ke halaman lain yang menunjukkan pola serupa, sedangkan pengujian yang murni didasarkan pada ide kreatif tanpa pijakan, bahkan ketika kebetulan menang, sering menghasilkan hasil yang benar-benar sulit dijelaskan atau diterapkan di tempat lain dalam produk.
Dalam praktiknya, program pengujian berbasis hipotesis biasanya memelihara backlog hipotesis yang terus berjalan, yang dihasilkan dari beberapa sumber sekaligus, termasuk data analitik, heatmap dan rekaman sesi, wawancara pengguna, tema dukungan pelanggan, dan analisis kompetitif terhadap bisnis serupa dalam kategori yang sama. Backlog tersebut diprioritaskan menggunakan kerangka penilaian seperti ICE, yang menilai setiap hipotesis berdasarkan potensi dampak, tingkat keyakinan terhadap bukti yang mendasari, dan kemudahan implementasi. Setelah diprioritaskan, hipotesis dioperasionalkan menjadi pengujian A/B dengan metrik utama yang didefinisikan dengan jelas, efek minimum yang dapat terdeteksi, dan ukuran sampel yang diperlukan yang dihitung sebelumnya, lalu pengujian dijalankan hingga mencapai signifikansi statistik, umumnya tingkat kepercayaan 95 persen, alih-alih dihentikan lebih awal berdasarkan hasil sementara yang menarik tetapi prematur.
Kesalahpahaman yang umum adalah bahwa hipotesis hanyalah deskripsi tentang tampilan varian, seperti kami akan membuat tombolnya merah, bukan prediksi yang beralasan yang menghubungkan bukti yang ada dengan hasil perilaku yang diharapkan; hipotesis yang dibingkai dengan benar selalu menyatakan keyakinan mendasar tentang perilaku pengguna yang secara khusus hendak diuji dan divalidasi oleh perubahan desain tersebut. Jebakan signifikan lainnya adalah memperlakukan pengujian yang kalah sebagai kegagalan proses secara keseluruhan, bukan sebagai hasil pembelajaran yang valid dan benar-benar berharga dengan sendirinya, karena hipotesis yang terbantahkan oleh data pengguna nyata tetap menyingkirkan asumsi yang keliru dan mengarahkan ulang upaya ke depan dengan lebih produktif daripada tidak pernah menguji gagasan itu sama sekali, sebuah perbedaan budaya penting yang diupayakan keras oleh praktisi CRO berpengalaman untuk ditanamkan dalam organisasi klien dari waktu ke waktu.
Dalam konsultasi CRO, pengujian berbasis hipotesis adalah model operasi yang menjadi dasar struktur hampir semua program eksperimen klien, karena menyediakan jejak yang dapat dipertanggungjawabkan dan diaudit yang menghubungkan masalah yang teramati dengan solusi yang diusulkan dan hasil yang terukur. Jejak ini penting baik untuk membenarkan investasi berkelanjutan dari program pengujian yang terus-menerus kepada pemangku kepentingan yang skeptis maupun untuk membangun basis pengetahuan institusional yang nilainya berlipat ganda secara berarti seiring makin banyaknya hipotesis yang diuji, disempurnakan, dan divalidasi atau disingkirkan secara definitif dalam putaran pengujian berturut-turut di seluruh produk. Seiring waktu, catatan akumulatif dari hipotesis yang tervalidasi dan yang terbantahkan ini menjadi salah satu aset paling berharga sebuah konsultan, karena memungkinkan eksperimen baru dirancang dengan memanfaatkan semua yang sudah dipelajari, bukan memulai dari halaman kosong setiap kali.
