Pengujian A / B

Pengujian A/B adalah metode eksperimen terkontrol yang digunakan untuk membandingkan dua atau lebih versi halaman web, layar aplikasi, email, atau aset digital lainnya untuk menentukan mana yang berkinerja lebih baik terhadap tujuan yang telah ditentukan, seperti rasio klik-tayang, rasio pendaftaran, atau pendapatan per pengunjung. Dalam bentuk paling sederhananya, lalu lintas dibagi secara acak antara versi kontrol (A) dan varian (B), dan analisis statistik diterapkan pada data yang dihasilkan untuk memutuskan apakah perbedaan kinerja yang diamati merupakan efek yang nyata atau hanya hasil dari variasi acak. Teknik ini meminjam langsung dari metodologi uji coba terkontrol acak yang digunakan dalam penelitian klinis dan ilmu pertanian, itulah sebabnya para praktisi sering merujuk pada signifikansi statistik, interval kepercayaan, dan perhitungan ukuran sampel ketika membahas desain pengujian.

Pengujian A/B penting karena menggantikan opini subjektif dan perdebatan internal dengan bukti empiris tentang bagaimana pengunjung sebenarnya berperilaku. Tim desain dan pemasaran seringkali tidak sepakat tentang judul, warna tombol, tata letak, atau struktur harga mana yang akan menghasilkan konversi lebih baik, dan intuisi adalah panduan yang terkenal tidak dapat diandalkan: studi di berbagai situs e-commerce dan SaaS telah berulang kali menunjukkan bahwa perubahan yang diharapkan dapat meningkatkan rasio konversi gagal melakukannya, atau bahkan menurunkannya, dalam sekitar 80 hingga 90 persen pengujian yang dilakukan. Dengan memaparkan hipotesis kepada audiens langsung dan mengukur hasilnya secara langsung, pengujian A/B memungkinkan organisasi untuk memvalidasi atau menolak ide sebelum mengalokasikan waktu rekayasa, anggaran pemasaran, atau risiko merek untuk peluncuran penuh.

Menjalankan uji A/B yang valid membutuhkan lebih dari sekadar membagi lalu lintas dan membandingkan jumlah konversi. Analis menghitung ukuran sampel minimum terlebih dahulu, berdasarkan tingkat konversi dasar, efek minimum yang dapat dideteksi yang penting bagi bisnis, dan kekuatan statistik yang diinginkan (umumnya 80 persen) dan tingkat signifikansi (umumnya 95 persen, atau nilai p di bawah 0.05). Uji coba biasanya dijalankan setidaknya selama satu hingga dua siklus bisnis penuh, seringkali 14 hingga 30 hari, untuk memperhitungkan efek hari dalam seminggu dan untuk menghindari penghentian dini pada fluktuasi acak, kesalahan yang dikenal sebagai "peeking". Alat seperti VWO, Optimizely, dan AB Tasty menangani pengacakan, pelacakan, dan perhitungan statistik, tetapi menafsirkan hasilnya tetap membutuhkan pemahaman konsep seperti ketidaksesuaian rasio sampel dan efek kebaruan.

Kesalahpahaman umum adalah bahwa hasil yang signifikan secara statistik dari satu pengujian merupakan kebenaran permanen dan universal. Pada kenyataannya, hasil bersifat spesifik untuk segmen lalu lintas, periode waktu, dan konteks di mana pengujian dijalankan, dan hasilnya dapat menurun atau berbalik seiring perubahan audiens, musim, atau kondisi persaingan. Jebakan lain yang sering terjadi adalah menguji terlalu banyak variabel sekaligus tanpa lalu lintas yang memadai, yang menghasilkan pengujian yang kurang bertenaga yang melaporkan positif palsu atau gagal mencapai signifikansi sama sekali. Pengujian multivariat, yang memeriksa kombinasi beberapa elemen secara bersamaan, membutuhkan lalu lintas yang jauh lebih banyak daripada pengujian A/B dua varian sederhana dan bukanlah jalan pintas untuk menghindari persyaratan ukuran sampel.

dalam CRO Dalam konteks konsultasi UX, pengujian A/B adalah mekanisme yang mengubah riset kualitatif, seperti wawancara pengguna, peta panas, dan rekaman sesi, menjadi keputusan yang tervalidasi dan berdampak pada pendapatan. Program pengujian yang berjalan dengan baik biasanya mengikuti proses terstruktur: mengidentifikasi titik gesekan melalui data dan riset, membentuk hipotesis spesifik tentang mengapa hal itu ada dan bagaimana memperbaikinya, memprioritaskannya dibandingkan ide lain menggunakan kerangka penilaian, menjalankan eksperimen hingga validitas statistik, dan mendokumentasikan pembelajaran terlepas dari apakah varian tersebut menang atau kalah. Seiring waktu, ini menciptakan peta jalan berbasis bukti yang mengurangi risiko desain ulang yang mahal dan membangun pengetahuan institusional tentang apa yang sebenarnya mendorong perilaku pelanggan di situs tertentu.