Jalankan Grup Uji Coba yang Benar-Benar Dapat Mendeteksi Nilai Keberhasilan Pengujian Anda

Program Anda melaporkan pemenang sekitar sekali sebulan. Jika dijumlahkan dua belas kemenangan, laporan tahunan menyatakan bahwa tingkat konversi seharusnya 18% lebih tinggi dari tahun lalu. Bagian keuangan melihat laporan laba rugi dan mengatakan tidak demikian. Biasanya laporan tahunan itu salah.

Pada platform eksperimen Microsoft, hanya sekitar sepertiga dari ide yang diuji berhasil meningkatkan metrik yang dirancang untuk ditingkatkan, dan ide-ide yang diluncurkan dipilih justru karena terlihat bagus, di situlah perhitungan mulai melenceng.Kohavi dan Longbotham, 2015). Kelompok uji (holdout group) adalah instrumen termurah yang mengukur program alih-alih tes individual.

Panduan ini ditujukan untuk pimpinan CRO dan pemilik analitik yang menjalankan setidaknya satu eksperimen per bulan. Pada akhirnya, Anda akan dapat menentukan ukuran sampel uji yang benar-benar dapat mendeteksi efek program Anda, memilih durasi dan jendela analisis, serta mengenali mode kegagalan yang membatalkan hasil sebelum Anda menampilkannya.

Apa yang diukur oleh kelompok yang menolak, yang tidak diukur oleh jumlah kemenangan.

Kelompok "holdout" adalah sebagian kecil pengguna yang dipilih secara acak dan tetap menggunakan pengalaman sebelum perubahan, sementara pengguna lainnya menerima semua fitur unggulan yang diluncurkan. Setelah beberapa bulan, Anda membandingkan kedua kelompok tersebut. Perbedaannya adalah efek kumulatif yang masih terasa dari semua fitur yang telah Anda luncurkan — bukan dua belas perkiraan jangka pendek yang digabungkan.

Netflix menggunakan instrumen yang sama, mendeskripsikan "uji AB penahanan" sebagai cara untuk "memahami efek jangka panjang, menguji ulang asumsi lama pada anggota baru, dan mengukur nilai kumulatif" (Blog Teknologi Netflix).

Mengapa hasil tes gabungan melebih-lebihkan apa yang terjadi?

Empat mekanisme membuat jumlah total melebihi nilai sebenarnya, dan efeknya semakin bertambah:

• Kutukan pemenang. Anda hanya meluncurkan varian yang melewati ambang signifikansi, sehingga himpunan yang diluncurkan diperkaya dengan noise ke atas. Lee dan Shen di Airbnb memformalkan bias seleksi ini dan menerbitkan koreksi (KD 2018).
• Kebaruan dan keunggulan akan memudar. Jendela waktu yang singkat menangkap reaksi terhadap hal baru. Dalam contoh Microsoft News, peningkatan awal sebesar 28% dalam klik pada tombol baru menurun dari hari ke hari dalam jendela eksperimen (Sadeghi dkk., 2022).
• Interaksi dan hasil yang semakin berkurang. Dua keberhasilan yang diuji secara independen pada langkah funnel yang sama seringkali tidak saling melengkapi; keduanya bersaing untuk mendapatkan pengguna marginal yang sama.
• Kelonggaran analisis. Mengintip, pergantian metrik, dan pelaporan selektif setiap pergeseran mendorong set yang diluncurkan lebih jauh ke atas (eppo).

Semua ini tidak berarti bahwa tes Anda palsu. Ini berarti jumlah tersebut adalah batas atas, bukan perkiraan.

Ukur area yang akan ditinggalkan sebelum Anda membangunnya.

Ini adalah langkah yang hampir semua orang lewati, dan di sinilah sebagian besar uji coba "holdout" gagal. Uji coba "holdout" adalah uji dua lengan dengan pembagian yang sengaja tidak seimbang, dan presisi ditentukan oleh lengan yang lebih kecil. Total sampel yang dibutuhkan berbanding lurus dengan... 1 / (p × (1 − p)), Di mana p adalah persentase pengujian yang tidak seimbang. Oleh karena itu, pengujian yang tidak seimbang sebesar 1% membutuhkan sekitar 25 kali lipat lalu lintas dibandingkan pengujian yang seimbang untuk melihat efek yang sama.

Jumlah total pengguna yang dibutuhkan selama periode pengujian, dengan tingkat konversi dasar 2%, kekuatan uji 80%, dan signifikansi dua sisi 5%:

Sekarang bandingkan dengan pengaturan default vendor. Statsig menyarankan "persentase penolakan yang rendah, sekitar 1%–2%" (Statistik); Optimizely memberikan peringatan di atas 5% (Optimizely); GrowthBook melaporkan tim Facebook dan X beroperasi dengan rasio 5% atau kurang (GrowthBook).

Angka-angka tersebut tepat untuk penulisnya dan salah untuk sebagian besar situs pasar menengah. Situs e-commerce regional dengan 400,000 pengguna bulanan mengumpulkan 1.2 juta konversi selama satu kuartal. Dengan tingkat konversi 1%, dibutuhkan sekitar satu dekade. Pada tingkat konversi 10%, angka tersebut masih kurang dari peningkatan 5%. Pada tingkat konversi 20%, angka tersebut mendeteksi peningkatan 5% dalam satu kuartal dan peningkatan 10% dalam waktu sekitar satu bulan. Pilih bagian yang sesuai dengan trafik Anda, bukan dari pengaturan default vendor. Jika jawaban jujurnya adalah 20%, sampaikan kompromi itu kepada bisnis dengan jelas: seperlima pengguna menunggu seperempat tahun untuk fitur baru, sebagai imbalan untuk mengetahui apakah seperempat tahun itu bermanfaat atau tidak.

Pilih durasi dan jendela analisis.

Statsig merekomendasikan tiga hingga enam bulan sebelum merilis saham yang belum dipublikasikan; GrowthBook merekomendasikan periode aktif setengah bulan hingga seperempat tahun, kemudian periode analisis dua hingga empat minggu agar efeknya stabil dan jendela pengamatan ke belakang terisi.

Aturan kerja kami: periode aktif adalah periode yang lebih panjang antara yang dipersyaratkan oleh tabel ukuran Anda dan satu siklus bisnis penuh. Di wilayah ini, itu berarti mencakup setidaknya satu puncak kampanye dan satu bulan datar, sehingga hasilnya tidak ditentukan hanya oleh 11.11 saja. Kemudian bekukan flag dan tunggu hingga jendela analisis selesai sebelum siapa pun membuka dasbor.

Bangunlah: tujuh hal yang harus dilakukan dengan benar

• Lakukan pengacakan pada pengidentifikasi pengguna atau akun sisi server yang tetapCookie yang diblokir oleh banner persetujuan atau yang dihapus oleh pengguna membocorkan informasi kepada orang-orang di antara mereka.
• Tetapkan orang yang menolak sekali, di depan, sebelum peluncuran yang ingin Anda ukur. Data yang ditahan yang dibuat setelah kejadian bukanlah data yang ditahan.
• Setiap pemenang yang diluncurkan akan diarahkan melalui sistem bendera yang sama, jadi "holdout = off" benar-benar berarti pengalaman lama. Pengguna yang ditahan akan mendapatkan nilai gerbang dan lapisan default, seperti yang diterapkan oleh Statsig.
• Pertahankan penjelasan yang eksplisit. Daftar pengecualianPerbaikan keamanan, pekerjaan kepatuhan hukum dan aksesibilitas, serta perubahan harga dikirimkan kepada semua orang. Dokumentasikan setiap pengecualian beserta tanggalnya.
• Pilih dua hingga empat tahan lama metrik (pendapatan per pengguna, retensi, frekuensi pesanan) ditambah tingkat konversi utama Anda. Jangan menambahkan yang kelima.
• Simpan catatan peluncuran yang bertanggal untuk setiap perubahan yang diluncurkan dalam jangka waktu tersebut beserta peningkatan yang terukur. Itulah yang Anda gunakan untuk membandingkan dengan yang masih bertahan.
• Beritahu tim teknik bahwa flag tersebut tetap ada di codebase hingga jendela analisis ditutup. Flag yang ditolak lebih sering hilang karena penghapusan flag yang terlalu dini daripada karena faktor statistik.

Bacalah hasilnya dengan jujur.

Hitung rasio daya angkat yang diukur di tempat penyimpanan terhadap total daya angkat dalam register peluncuran Anda. Ambang batas kerja kami — pertimbangan subjektif, bukan tolok ukur yang dipublikasikan:

Satu peringatan regional tentang alternatif yang akan diupayakan tim terlebih dahulu. Jika Anda berencana untuk melewatkan penundaan dan membandingkan kuartal ini dengan tahun lalu, perhatikan bahwa inflasi harga konsumen tahunan Turki adalah 31.51% pada Agustus 2026 (Angka TÜİK, diterbitkan 3 September 2026Pendapatan per pengguna dalam lira tidak dapat dibandingkan antar periode pada kurs tersebut, dan deflasi menambahkan asumsi tersendiri. Pengacakan serentak menghindari hal ini: kedua kelompok tinggal di ekonomi yang sama pada hari yang sama.

[DATA INTERNAL YANG DIBUTUHKAN: contoh klien Switas — durasi program, skala lalu lintas, total peningkatan pengujian dibandingkan peningkatan yang diukur dengan data uji, dan pangsa data uji yang digunakan.]

Enam cara seorang yang bertahan diam-diam menyerah

• Kontaminasi. Penggunaan perangkat bersama, sesi yang keluar, dan pengaturan ulang identitas memindahkan pengguna antar kelompok. Ukur perpindahan antar kelompok; di atas sekitar 2%, perkiraan tersebut tidak dapat dipercaya.
• Kebocoran senyap. Perubahan yang dikirim di luar sistem flag (aturan CDN, pengeditan CMS, templat baru) juga mencapai pihak yang menolak dan memperkecil kesenjangan hingga mendekati nol.
• Eksklusi yang meluas. Setiap keputusan "yang ini harus diberikan kepada semua orang" menghilangkan satu peluncuran dari apa yang Anda ukur. Sepuluh keputusan seperti itu dan Anda tidak mengukur apa pun.
• Ketidaksesuaian rasio sampel. Pembagiannya menyimpang dari yang seharusnya. Periksa setiap minggu; penolakan terhadap SRM sama sekali tidak berlaku, seperti halnya pengujian lain dengan SRM.
• Pelepasan prematur. Pengaturan jendela global bawaan Optimizely tidak dapat dijeda, hanya dapat diakhiri. Anggap itu sebagai aturan: mengakhiri lebih awal akan membatalkan pengaturan jendela tersebut.
• Tenaganya kurang sejak hari pertama. Kegagalan yang paling umum. Hasil nol dari pengujian 2% tidak memberi tahu Anda apa pun tentang program Anda, tetapi memberi tahu Anda segalanya tentang ukuran program Anda.

Di mana metode ini gagal

Analisis data awal menunjukkan besarnya efek gabungan, bukan peluncuran mana yang menghasilkannya. Atribusi masih membutuhkan pengujian individual. Analisis ini tidak dapat mengukur apa pun yang harus dikirimkan kepada semua orang, sehingga pekerjaan kepatuhan berada di luar cakupannya. Analisis ini kurang tepat jika pengguna yang sama tidak kembali dalam jangka waktu tertentu, dan tidak menjelaskan apa pun tentang merek atau limpahan offline antar cabang. Di bawah sekitar 100,000 pengguna bulanan, tidak ada pangsa pasar yang dapat dideteksi dan dipertahankan; pada skala tersebut, pembacaan sebelum-sesudah yang dikontrol dengan cermat ditambah validasi kualitatif adalah solusi alternatif yang jujur, dengan kelemahan-kelemahannya dinyatakan secara terbuka.

Pertanyaan yang sering diajukan

Seberapa besar seharusnya kelompok yang menolak bergabung?

Cukup besar untuk mendeteksi efek kumulatif yang Anda harapkan, yang merupakan perhitungan dan bukan konvensi. Dengan baseline 2% dan target relatif +5%, pengujian dengan persentase 5% membutuhkan sekitar 3.25 juta pengguna, sedangkan pengujian dengan persentase 20% membutuhkan sekitar 971,000 pengguna.

Berapa lama seharusnya seseorang bertahan?

Para vendor menyarankan periode aktif selama tiga hingga enam bulan ditambah jendela analisis dua hingga empat minggu. Tambahkan batasan bahwa jendela tersebut mencakup setidaknya satu puncak kampanye dan satu bulan biasa, sehingga satu peristiwa penjualan saja tidak menentukan hasilnya.

Mengapa angkatan terakhir saya lebih kecil daripada jumlah kemenangan uji coba saya?

Itu adalah hasil yang diharapkan, bukan bug. Kutukan pemenang, penurunan daya tarik kebaruan, interaksi antara perubahan dan kelonggaran analisis semuanya memperbesar jumlah total. Angka yang ditahan adalah angka yang lebih mendekati kenyataan.

Bisakah saya membuat penangguhan setelah saya meluncurkan sesuatu?

Tidak untuk peluncuran tersebut — semua orang sudah menerimanya. Penangguhan hanya mengukur perubahan yang dibatasi dari tanggal mulainya. Anda masih dapat memulainya hari ini untuk dua kuartal berikutnya.

Apakah menahan pengguna akan merugikan pendapatan?

Sedikit, jika peluncuran Anda benar-benar berhasil; biaya tersebut dibatasi oleh pangsa pasar yang ditahan dikalikan dengan peningkatan sebenarnya. Jika tidak berhasil, penahanan tersebut tidak dikenakan biaya dan menyelamatkan Anda dari pengulangan.

Bagaimana jika hasil pengujian menunjukkan hasil datar?

Periksa daya terlebih dahulu sesuai tabel ukuran Anda, kemudian crossover dan kebocoran. Hasil yang benar-benar rata dan bertenaga memadai berarti dua kuartal pengiriman tidak mengubah metrik tersebut: mahal untuk dipelajari, lebih mahal lagi jika tidak dipelajari.

Langkah selanjutnya

Jika Anda menjalankan eksperimen dan tidak dapat mengatakan berapa nilai kemenangan selama setahun, ukur hasil pengujian terhadap lalu lintas Anda sendiri minggu ini — atau minta kami untuk mengukur, membangun, dan membacanya sebagai bagian dari Keterlibatan CRO.

sumber

• Kohavi & Longbotham, "Eksperimen Terkendali Daring dan Pengujian A/B" (2015)
• Lee & Shen (Airbnb), "Kutukan Pemenang", KDD 2018
• Sadeghi dkk. (Microsoft), "Kebaruan dan Keutamaan", Technometrics, 2022
• Blog Teknologi Netflix, "Aplikasi Inferensi Kausal di Netflix"
• Dokumen Statsig, "Para Penolak"
• GrowthBook, "Mereka yang Menolak GrowthBook"
• Dukungan Optimizely, "Para penolak global"
• Eppo, "Keseluruhan Lebih Kecil Daripada Jumlah Bagian-bagiannya"
• Direktorat Strategi dan Anggaran — TÜİK CPI, Agustus 2026