Sebagian besar uji A/B gagal bahkan sebelum satu pengunjung pun melihatnya. Bukan karena hipotesisnya lemah atau desainnya buruk, tetapi karena tidak ada yang menghitung apakah uji tersebut dapat menghasilkan jawaban sama sekali.
Polanya sudah familiar. Sebuah tim meluncurkan varian, memantau dasbor, dan setelah sepuluh hari melihat pesaingnya naik 6% dengan nilai p 0.14. Seseorang berkata, "Trennya positif, mari kita coba satu minggu lagi." Satu minggu lagi berlalu. Sekarang naik 4%, p = 0.09. Uji coba tersebut disebut sebagai "kemenangan arah" dan diluncurkan, atau dihentikan karena tidak meyakinkan. Bagaimanapun, tiga minggu lalu lintas tidak menghasilkan pengetahuan apa pun — dan hasil tersebut sepenuhnya ditentukan sebelum peluncuran oleh empat angka yang tidak diperiksa siapa pun.
Artikel ini membahas tentang keempat angka tersebut.
Keempat masukan tersebut
Ukuran sampel bukanlah keputusan yang sembarangan. Ukuran sampel bergantung pada empat parameter, dan setiap program eksperimen yang serius menetapkan parameter-parameter tersebut sebelum peluncuran, bukan setelahnya.
| Memasukkan | Apa artinya | Nilai khas |
|---|---|---|
| Tingkat konversi dasar | Tingkat saat ini dari metrik yang Anda uji, diukur pada halaman dan audiens yang tepat tempat pengujian akan dijalankan. | Apa pun yang dikatakan data Anda |
| Efek minimum yang dapat dideteksi (MDE) | Perubahan terkecil yang Anda inginkan agar dapat ditemukan oleh pengujian tersebut. | 5–20% relatif, tergantung pada lalu lintas |
| Tingkat signifikansi (α) | Toleransi Anda terhadap penetapan pemenang yang sebenarnya tidak nyata | 0.05 |
| Kekuatan statistik (1−β) | Probabilitas Anda untuk mendeteksi efek yang is nyata | 0.80 |
Berikan keempat angka itu ke kalkulator dan kalkulator akan menampilkan jumlah pengunjung yang dibutuhkan. per varian. Kami kalkulator uji A/B gratis Hal ini memang terjadi, dan hanya membutuhkan waktu sekitar tiga puluh detik — dan itulah intinya. Alasan tim melewatkan langkah ini bukanlah karena sulit. Melainkan karena jawabannya seringkali tidak menyenangkan.
MDE adalah input yang sering salah dipahami oleh semua orang.
Efek minimum yang dapat dideteksi adalah parameter yang menyebabkan kerusakan paling besar, karena namanya menyiratkan sesuatu yang bukan sebenarnya.
MDE adalah tidak Peningkatan yang Anda harapkan. Ini bukan prediksi, target, atau perkiraan. Ini adalah batas deteksi minimum: efek sebenarnya terkecil yang memiliki peluang 80% untuk ditangkap oleh pengujian Anda. Tetapkan MDE ke 5% dan Anda mengatakan "jika peningkatan sebenarnya lebih kecil dari 5%, saya menerima bahwa pengujian ini mungkin akan melewatkannya."
Ada dua konsekuensi yang muncul, dan keduanya penting.
Suatu tes hanya dapat menjawab pertanyaan yang menjadi acuan ukurannya. Jika Anda melakukan pengukuran untuk MDE (Minimum Difference Efficiency) sebesar 20% dan efek sebenarnya adalah 7%, kemungkinan besar tes akan menghasilkan "tidak ada perbedaan signifikan." Itu bukan bukti bahwa varian tersebut tidak berpengaruh sama sekali. Itu adalah bukti bahwa tes Anda tidak dapat melihat efek sebesar itu — pernyataan yang sama sekali berbeda, dan yang secara rutin disalahartikan oleh tim menjadi "kami telah mengujinya, dan itu tidak berhasil."
MDE relatif dan absolut tidak dapat dipertukarkan. Angka dasar 2.5% dengan 10% relatif MDE berarti mendeteksi pergerakan ke 2.75% — sebuah mutlak Perbedaan 0.25 poin persentase. Masukkan 10 ke dalam kolom kalkulator yang mengharapkan poin persentase absolut dan Anda baru saja meminta untuk mendeteksi pergeseran dari 2.5% menjadi 12.5%, dan alat tersebut akan dengan senang hati memberi tahu Anda bahwa 400 pengunjung sudah cukup. Periksa konvensi apa yang digunakan kalkulator Anda. Kebingungan tunggal ini membatalkan lebih banyak rencana pengujian daripada kesalahan lain yang kami lihat.
Contoh soal yang sudah dikerjakan
Seorang klien e-commerce ingin menguji tata letak halaman detail produk yang baru. Konversi dasar pada halaman tersebut adalah 2.5%. Mereka ingin mendeteksi peningkatan relatif sebesar 10% — yaitu peningkatan menjadi 2.75%.
Pada α = 0.05 dan daya 80%, persyaratannya kira-kira 64,000 pengunjung per varianatau sekitar 128,000 secara total.
Halaman itu dikunjungi 40,000 orang per bulan. Jadi, pengujian tersebut membutuhkan waktu sedikit lebih dari tiga bulan untuk mencapai ukuran sampel yang dirancang.
Inilah angka yang mengubah arah pembicaraan. Bukan karena tiga bulan itu mustahil, tetapi karena sekarang ini adalah keputusan yang dibuat secara terbuka — sebelum peluncuran, dengan konsekuensi yang terlihat — daripada kekecewaan perlahan yang baru ditemukan pada hari ke-21.
Sekarang ubah satu input. Pertahankan baseline yang sama, tetapi ubah ukurannya untuk peningkatan relatif 20% alih-alih 10%:
| MDE (relatif) | Perbedaan absolut | Pengunjung per varian | Waktu dengan penghasilan 40 ribu/bulan |
|---|---|---|---|
| 5% | 0.125 hal | ~ 256,000 | ~13 bulan |
| 10% | 0.25 hal | ~ 64,000 | ~3.2 bulan |
| 20% | 0.5 hal | ~ 16,800 | ~ 25 hari |
| 30% | 0.75 hal | ~ 7,700 | ~ 12 hari |
Mengurangi separuh MDE (Minimum Effect Defects) akan melipatgandakan ukuran sampel hingga empat kali lipat. Hubungan ini bukanlah kebetulan semata—ukuran sampel berbanding terbalik dengan kuadrat ukuran efek. Ini adalah hal terpenting yang perlu dipahami tentang desain eksperimen, karena hal itu menunjukkan di mana letak pengaruhnya: Membuat perubahan yang lebih besar jauh lebih murah daripada mengumpulkan lebih banyak trafik.
Varian sederhana yang menggeser tombol dua piksel membutuhkan ukuran sampel yang tidak dapat disediakan oleh situs web berukuran sedang. Varian yang menata ulang halaman memiliki peluang. Inilah mengapa program pengujian yang hati-hati terhenti — bukan karena idenya salah, tetapi karena ukurannya terlalu kecil untuk diukur.
Di mana lalu lintas sebenarnya berada
Faktor lain yang tersembunyi dalam perhitungan ini adalah tingkat dasar. Persyaratan ukuran sampel menurun tajam seiring dengan meningkatnya tingkat dasar.
Gunakan MDE relatif 10% yang sama, tetapi jalankan pada langkah pengiriman di proses checkout, di mana 40% dari kedatangan berlanjut ke pembayaran:
- Garis dasar 2.5% → ~64,000 per varian
- Garis dasar 40% → ~2,400 per varian
MDE yang sama, kepercayaan diri yang sama, kekuatan yang sama. Lalu lintas 26 kali lebih sedikit.
Halaman tersebut tentu saja dikunjungi jauh lebih sedikit daripada halaman detail produk (PDP). Namun, kebutuhan akan pengujian menurun lebih cepat daripada lalu lintas, itulah sebabnya pengujian di tahap akhir funnel seringkali menjadi satu-satunya pengujian yang benar-benar dapat dilakukan oleh situs dengan lalu lintas menengah. Jika konversi di seluruh situs Anda adalah 2%, pengujian halaman beranda adalah komitmen selama setahun dan pengujian halaman pembayaran hanya dua minggu.
Panduan praktis: ketika kalkulator menghasilkan angka yang mustahil, sebelum Anda memperluas MDE (Minimum Data Equation), periksa apakah ada langkah lebih lanjut di dalam corong di mana hipotesis yang sama dapat diuji terhadap garis dasar yang lebih tinggi.
Apa sebenarnya yang salah jika Anda melewatkannya?
Ada dua mode kegagalan di sini, dan mode kedua jauh kurang dikenal daripada mode pertama.
Anda melewatkan perbaikan yang nyata. Pengujian yang kurang memadai menghasilkan "tidak ada perbedaan signifikan" untuk perubahan yang sebenarnya berhasil. Tim menyimpulkan bahwa ide tersebut buruk dan meninggalkan arah yang seharusnya menguntungkan. Inilah kegagalan yang diketahui semua orang, dan ini adalah kegagalan yang lebih murah dari keduanya.
Jumlah pemenang Anda dilebih-lebihkan. Inilah yang secara diam-diam merusak angka-angka dalam sebuah program. Dalam pengujian yang kurang bertenaga, satu-satunya cara agar suatu hasil dapat melewati ambang batas signifikansi adalah jika gangguan acak mendorongnya cukup jauh — yang berarti efek yang Anda do Angka yang dinyatakan signifikan secara sistematis lebih besar daripada kebenaran. Semakin rendah pangkatnya, semakin buruk pula pembesarannya.
Jadi, program yang kurang bertenaga tidak hanya melewatkan hal-hal penting. Program tersebut menghasilkan catatan pengujian yang penuh dengan hasil yang memuaskan tetapi dilebih-lebihkan, yang kemudian dikalikan dengan lalu lintas untuk memproyeksikan pendapatan yang tidak pernah terwujud. Enam bulan kemudian seseorang bertanya mengapa jumlah kemenangan tersebut tidak muncul dalam angka pendapatan kotor. Biasanya inilah jawabannya.
Anda tidak dapat memperbaiki ini dalam tahap analisis. Hal ini harus dicegah pada tahap perancangan.
Per varian, bukan total.
Output kalkulator adalah persyaratannya. untuk setiap lengan dari tes tersebut. Dua varian berarti dua kali lipat jumlahnya. Ini terdengar jelas dan sering disalahartikan, biasanya ke arah yang optimis.
Banyaknya varian memperparah masalah dua kali lipat. Tes A/B/C/D membutuhkan empat kali lipat sampel dibandingkan dengan tes satu lengan. ke Tiga perbandingan simultan terhadap kontrol meningkatkan kemungkinan setidaknya satu positif palsu jauh melebihi angka nominal 5% Anda. Koreksi untuk itu mendorong persyaratan menjadi lebih tinggi lagi.
Untuk sebagian besar situs, aturan praktisnya adalah: kecuali Anda memiliki lalu lintas berlebih, jalankan dua lengan. Pengujian empat arah pada halaman yang hampir tidak mampu menjalankan pengujian dua arah bukanlah empat kali lipat pembelajaran. Itu adalah nol kali lipat pembelajaran, yang disampaikan lebih lambat.
Durasi adalah batasan yang terpisah.
Mencapai ukuran sampel yang diinginkan adalah hal yang penting. Namun, itu saja tidak cukup.
Uji coba yang mencapai target dalam empat hari telah mengambil sampel perilaku selama empat hari. Konversi lalu lintas hari kerja dan akhir pekan berbeda. Siklus pembayaran sangat penting dalam e-commerce. Kampanye berbayar yang diluncurkan di tengah uji coba mengubah komposisi audiens di bawah Anda. Desain baru juga menghasilkan efek kebaruan yang akan memudar — keterlibatan awal dengan tata letak yang tidak familiar bukanlah perkiraan yang stabil untuk kinerja kondisi stabil.
Jalankan setidaknya selama satu minggu penuh, dan sebaiknya dua minggu, terlepas dari apa yang diizinkan oleh perhitungan ukuran sampel. Batasan mana pun yang lebih lama — ukuran sampel atau siklus bisnis — adalah yang menentukan. Dan tetapkan tanggal akhir terlebih dahulu daripada memeriksa setiap pagi dan berhenti ketika angka-angka terlihat bagus, yang merupakan cara terpisah dan sangat efektif untuk menciptakan pemenang palsu.
Ketika angkanya tidak mungkin
Terkadang jawaban jujurnya adalah bahwa pengujian tidak dapat dilakukan. Itu adalah informasi yang berguna, dan ada lima respons yang masuk akal.
Uji perubahan yang lebih besar. Hubungan kuadratik menjadikan ini pilihan dengan daya ungkit tertinggi dengan selisih yang cukup besar. Rancang ulang alurnya, bukan tombolnya.
Beralihlah ke metrik dasar yang lebih tinggi. Lakukan pengujian terhadap penambahan ke keranjang belanja atau entri pembayaran, bukan pembelian langsung. Ukuran efek diukur terhadap basis yang lebih besar dan persyaratan sampel menjadi lebih kecil. Terimalah bahwa Anda mengukur proksi dan validasi keterkaitannya dengan pendapatan secara terpisah.
Lakukan pengujian lebih lanjut di dalam corong., seperti di atas.
Kelompokkan halaman-halaman yang serupa. Menjalankan satu pengujian di semua halaman kategori, alih-alih hanya satu kategori, akan melipatgandakan lalu lintas yang tersedia, asalkan halaman-halaman tersebut memiliki perilaku yang cukup serupa sehingga penggabungan lalu lintas dapat dibenarkan.
Berhentilah melakukan pengujian dan mulailah melakukan riset. Jika sebuah situs tidak mampu mendukung sebuah eksperimen, pengujian A/B bukanlah instrumen yang tepat. Pengujian kegunaan, perekaman sesi, dan tinjauan heuristik akan menemukan masalah lebih cepat dan lebih murah. Validasi kuantitatif dilakukan kemudian, setelah perubahan cukup besar untuk dapat diukur. Tidak ada yang perlu malu akan hal ini — menjalankan pengujian yang kurang memadai hanya untuk terlihat teliti lebih buruk daripada tidak menjalankannya sama sekali.
Daftar periksa sebelum penerbangan
Sebelum uji coba diluncurkan:
- [ ] Garis dasar diukur pada halaman dan audiens sebenarnya tempat pengujian akan dijalankan, bukan di seluruh situs.
- [ ] MDE dinyatakan secara eksplisit, secara tertulis, dengan spesifikasi relatif atau absolut
- [ ] Ukuran sampel dihitung per varian dan dikalikan dengan jumlah lengan
- [ ] Durasi yang dibutuhkan dibandingkan dengan lalu lintas yang tersedia — dan jawabannya diterima sebelum peluncuran
- [ ] Tanggal akhir ditetapkan sebelumnya
- [ ] Minimal satu siklus bisnis penuh, apa pun yang dikatakan perhitungan contohnya
- [ ] Unit pengacakan cocok dengan unit analisis (penugasan tingkat pengunjung, metrik tingkat pengunjung)
- [ ] Pembagian lalu lintas terverifikasi dalam beberapa jam pertama — pengujian 50/50 yang menghasilkan 53/47 berarti ada masalah pada instrumen, dan hasilnya tidak dapat digunakan sampai masalahnya ditemukan.
Hitung angkanya sebelum Anda membuat varian tersebut.
Seluruh perhitungan hanya memakan waktu setengah menit dan akan mengubah apa yang Anda bangun. Tim yang menentukan ukuran pengujian terlebih dahulu akan merancang varian yang lebih berani, karena mereka dapat melihat berapa biaya yang akan ditimbulkan oleh varian yang terlalu hati-hati.
Masukkan tingkat konversi dasar Anda, efek yang ingin Anda deteksi, dan pengaturan kepercayaan serta daya Anda. Jika angka yang muncul lebih besar daripada trafik Anda, itu bukan alasan untuk tetap meluncurkan kampanye — itu adalah hasil uji yang memberi tahu Anda untuk mengubah rencana.
Pertanyaan yang sering diajukan
Berapa banyak pengunjung yang saya butuhkan untuk uji A/B? Tidak ada angka universal. Itu bergantung pada tingkat konversi dasar Anda, efek terkecil yang ingin Anda deteksi, dan tingkat signifikansi serta kekuatan yang Anda pilih. Halaman dengan tingkat konversi 2.5% membutuhkan sekitar 64,000 pengunjung per varian untuk mendeteksi peningkatan relatif 10%; langkah pembayaran dengan tingkat konversi 40% membutuhkan sekitar 2,400 pengunjung untuk efek relatif yang sama.
Apa yang dimaksud dengan efek minimum yang dapat dideteksi dengan baik? Nilai terendah yang dapat didukung oleh trafik Anda dalam jangka waktu yang wajar. Mulailah dari trafik yang tersedia dan durasi target dua hingga empat minggu, lalu selesaikan secara mundur untuk menemukan MDE (Minimum Data Error) yang sesuai. Jika MDE tersebut lebih besar daripada perubahan yang mungkin dihasilkan oleh pengujian Anda, rancang ulang pengujian tersebut.
Bisakah saya menghentikan pengujian lebih awal jika jelas-jelas pengujian tersebut sedang unggul? Tidak dengan pengujian horizon tetap standar. Pengecekan berulang dan penghentian pada hasil signifikan pertama akan meningkatkan tingkat positif palsu Anda jauh di atas 5%. Jika Anda membutuhkan kemampuan untuk berhenti lebih awal, gunakan metode yang dirancang untuk itu — pengujian sekuensial atau kerangka kerja Bayesian — dan putuskan hal itu sebelum peluncuran, bukan selama peluncuran.
Bagaimana jika pengujian saya mencapai signifikansi sebelum ukuran sampel terpenuhi? Hadapi dengan curiga dan teruslah berjalan menuju tujuan yang direncanakan. Signifikansi awal dalam jendela yang kurang bertenaga adalah pola yang menghasilkan pemenang yang berlebihan dan tidak dapat direproduksi.
Apakah daya 80% sudah cukup? Ini adalah standar konvensional dan merupakan titik awal yang wajar, tetapi itu berarti menerima peluang 20% untuk melewatkan efek nyata. Untuk keputusan yang berisiko tinggi — desain ulang kasir, perubahan harga — kekuatan 90% sepadan dengan sampel tambahan. Untuk perubahan berbiaya rendah dan dapat dibatalkan, 80% sudah cukup.
Tidak yakin apakah program pengujian Anda menghasilkan jawaban yang sebenarnya?
Jika catatan pengujian Anda penuh dengan keberhasilan kecil yang tidak pernah muncul dalam angka keseluruhan, masalahnya biasanya berada di hulu analisis. Kami meninjau program eksperimen dan memberi tahu Anda secara gamblang di mana desain tersebut gagal.
