Hentikan Uji A/B Lebih Awal di Empat Tampilan yang Direncanakan, Alih-alih Mengintip Setiap Pagi

Jika Anda memeriksa uji A/B setiap pagi dan menghentikannya saat dasbor berubah hijau untuk pertama kalinya, tingkat positif palsu Anda yang sebenarnya bukanlah 5%. Dalam simulasi yang menguji signifikansi setelah setiap pengamatan, Evan Miller mengukurnya pada 26.1%, lebih dari lima kali lipat level yang diyakini sebagian besar tim sebagai kecepatan lari mereka (Cara yang Salah dalam Menjalankan Uji A/BSatu dari empat "kemenangan" yang tidak dapat direplikasi bukanlah masalah statistik. Ini adalah masalah peta jalan.

Panduan ini ditujukan untuk tim pertumbuhan dan CRO yang menjalankan pengujian pada lalu lintas e-commerce atau perjalanan yang terlalu musiman untuk diam selama empat minggu. Pada akhirnya, Anda akan dapat merencanakan jadwal tampilan sebelum peluncuran, membaca ambang batas untuk setiap tampilan dari tabel, menentukan ukuran pengujian untuk sampel tambahan kecil yang dibutuhkan untuk perencanaan, dan mengenali di mana metode tersebut berhenti menjadi valid.

Mengapa mengintip dapat menggagalkan tes horizon tetap?

Uji horizon tetap menghabiskan seluruh anggaran kesalahan 5% sekali saja, pada satu ukuran sampel yang telah ditentukan sebelumnya. Setiap pengamatan tambahan adalah kesempatan lain untuk melampaui batas. Masalahnya bukan pada melihat data; masalahnya adalah melihat dengan ambang batas yang dihargai untuk sekali pengamatan. Tabel Miller memberikan tingkat signifikansi yang dilaporkan yang dibutuhkan untuk mempertahankan tingkat 5% yang sebenarnya jika Anda bersikeras untuk melihat data dalam jumlah tertentu:

Jika dibalik: lihat sepuluh kali dan apa yang Anda baca sebagai signifikansi 1% sebenarnya adalah 5%. Kasar, tetapi jujur. Metode di bawah ini melakukan pekerjaan yang sama dengan lebih efisien.

Tiga cara untuk berhenti lebih awal, dan biaya yang harus Anda tanggung masing-masing.

Baris ketiga penting karena itulah yang dikirimkan oleh sebagian besar platform komersial. Dalam simulasi Georgi Georgiev pada sampel maksimum tetap 7,045 per kelompok, uji horizon tetap mencapai daya 83.3%, AGILE sekuensial kelompok mencapai target 80%, SPRT sekitar 73%, dan inferensi yang selalu valid 62.4%. Untuk mencapai daya 80%, inferensi yang selalu valid membutuhkan sekitar 85% lebih banyak sampel dibandingkan dengan desain sekuensial kelompok (Perangkat Analisis, 2022Para insinyur Spotify secara independen menyimpulkan hal yang sama: tes sekuensial kelompok "secara sistematis lebih baik atau sebanding dengan pendekatan yang selalu valid" ketika ukuran sampel dapat diperkirakan (Schultzberg dan Ankargren, 2023).

Hal ini perlu dikoreksi, karena penjelasan dari vendor justru sebaliknya. Dokumentasi Optimizely menyarankan untuk "melewatkan pekerjaan pra-eksperimen, seperti menghitung ukuran sampel sebelum memulai eksperimen" (Dukungan OptimizelyPengendalian kesalahan itu nyata dan penelitian yang mendasarinya pun valid.Johari dkk., Inferensi yang Selalu Valid); yang diabaikan dalam uraian tersebut adalah tagihan listrik. Statsig, yang menerapkan metode serupa, menyatakannya dengan jelas: "Jika Anda memerlukan pengukuran ukuran efek yang akurat, tunggu hingga kekuatan penuh yang diperkirakan oleh perhitungan kekuatan pra-eksperimen Anda tercapai" (Dokumen StatsigBacalah "tidak diperlukan ukuran sampel" sebagai klaim tentang validitas, bukan efisiensi.

Metodenya, langkah demi langkah

Contoh kasus: pengecer pakaian yang menguji proses pembayaran. Konversi sesi dasar 2.4%, efek target +10% relatif (2.64%), alpha dua sisi 5%, kekuatan 80%, kira-kira 5,000 sesi per hari.

1. Sesuaikan ukurannya seolah-olah Anda tidak akan pernah mengintip.

Penentuan ukuran dua proporsi memberikan 66,943 sesi per kelompok, total 133,886. Ini bukan biaya overhead opsional hanya karena Anda berencana untuk berhenti lebih awal; ini adalah dasar dari jadwal yang telah disusun.

2. Pilih berapa banyak tampilan, dan kapan

Tiga hingga lima tampilan sudah mencakup hampir semua manfaat yang tersedia; lebih dari itu, setiap tampilan menambah biaya sampel maksimum dengan sedikit keuntungan. Sesuaikan tampilan dengan... minggu penuh, karena komposisi hari dalam seminggu merupakan sumber utama pergeseran lalu lintas ritel. Dengan 5,000 sesi per hari, empat tampilan mingguan menghasilkan sekitar 140,000 sesi, mencakup jumlah maksimum yang direncanakan.

3. Pilih fungsi pengeluaran dan tuliskan ambang batasnya.

Fungsi pengeluaran alfa menentukan berapa banyak dari anggaran 5% yang dapat dikonsumsi setiap tampilan, sebagai fungsi dari seberapa banyak data yang telah terkumpul (Penn State STAT 509). Dua pilihan klasik, dengan empat tampilan berjarak sama, alpha dua sisi 0.05:

Perhitungan ini dilakukan dengan fungsi pengeluaran Lan-DeMets dan sesuai dengan karakterisasi yang dipublikasikan: O'Brien-Fleming menggunakan "ambang batas yang sangat ketat di awal, tetapi ambang batas analisis akhir mendekati p < 0.05", sedangkan Pocock mempertahankan ambang batas yang hampir konstan sekitar p < 0.016 (Ciolino, Kaizer dan Bonner, 2023).

O'Brien-Fleming adalah asuransi murah: hampir tidak pernah berhenti pada tampilan pertama, biaya sampel maksimumnya sekitar 3% lebih tinggi, dan ambang batas akhirnya hampir tidak lebih ketat dari 0.05. Pocock lebih sering berhenti lebih awal tetapi mengenakan biaya trafik 20% lebih tinggi. Gunakan O'Brien-Fleming sebagai default untuk metrik yang terkait dengan pendapatan.

4. Tulis aturan tersebut ke dalam tiket sebelum peluncuran.

Satu kalimat, yang terlihat oleh siapa pun yang dapat menghentikan pengujian: "Kami melihat hasil akhir minggu ke-1 hingga ke-4, menyatakan pemenang hanya jika nilai p dua sisi untuk [metrik utama] berada di bawah ambang batas pengamatan tersebut, dan jika tidak, kami melanjutkan ke minggu ke-4." Aturan yang hanya ada di kepala seseorang bukanlah aturan.

5. Tetapkan juga batas ketidakberhasilan.

Sebagian besar tim hanya menerapkan batasan efektivitas, sehingga mereka menghentikan pemenang lebih awal dan membiarkan yang kalah berjalan hingga akhir, yang merupakan kebalikan dari biaya peluang. Batasan kesia-siaan yang tidak mengikat — berhenti ketika kemenangan yang berarti menjadi tidak mungkin — adalah sumber penghematan kalender terbesar. Dengan empat tampilan O'Brien-Fleming, sampel yang diharapkan di bawah efek sebenarnya turun menjadi sekitar 83% dari persyaratan horizon tetap.

6. Jangan melaporkan estimasi titik awal sebagai ukuran efek.

Tes yang berhenti lebih awal berhenti karena Daya angkat yang diamati sangat besar, sehingga perkiraan tersebut bias ke atas karena konstruksi. Gunakan untuk keputusan kapal, bukan perkiraan pendapatan. Statsig: "Keputusan awal sering menghasilkan perkiraan daya angkat yang kurang akurat dengan ketidakpastian yang tinggi."

Daftar periksa pra-peluncuran

• Salah satu metrik utama, yang dinyatakan secara tertulis sebelum peluncuran.
• Jumlah sampel maksimum dan tanggal akhir kalender telah ditetapkan.
• Tampaknya jumlah dan waktunya sudah tetap, diselaraskan dengan minggu penuh.
• Fungsi pengeluaran dipilih, ambang batas dituliskan ke dalam tiket.
• Aturan kesia-siaan didefinisikan, bukan hanya aturan kemanjuran.
• SRM diperiksa di setiap sudut, sebelum nilai p dibaca
• Metrik pembatas jalan dipantau secara terpisah, di luar aturan berhenti.
• Semua orang yang dapat menghentikan tes tersebut tahu bahwa tatapan yang tidak direncanakan dilarang.

Mengkalibrasi ini untuk Turki dan wilayah tersebut

Turki mencatat 5.94 miliar transaksi e-commerce pada tahun 2025 dengan volume sebesar 4.57 triliun lira Turki, menurut Laporan Prospek E-Commerce Kementerian Perdagangan yang dipresentasikan pada Mei 2026.Harian Sabah, 12 Mei 2026Ini adalah pasar besar yang sebagian besar terdiri dari toko-toko berukuran sedang, jadi jangka waktu empat minggu adalah hal yang biasa — cukup lama untuk berbenturan dengan kampanye pemasaran.

Periode diskon akhir November yang dikenal secara lokal sebagai Efsane Cuma, dan acara 11.11 sebelumnya, mengubah yang Yang penting adalah situsnya, bukan hanya berapa banyak. Pengunjung yang tertarik dengan diskon melakukan konversi dengan logika yang berbeda, jadi jadwal yang melintasi batas kampanye tidak mengukur satu populasi. Aturan kami: selesaikan sebelum kampanye atau mulai setelahnya. Jika pengujian harus berjalan selama satu minggu kampanye, perlakukan minggu kampanye sebagai lapisan tersendiri dan jangan mengambil keputusan untuk berhenti di dalamnya.

Penyesuaian kedua berlaku di seluruh Uni Eropa dan untuk banner persetujuan yang selaras dengan KVKK di Turki: jika analitik dibatasi oleh persetujuan, sebagian lalu lintas Anda tidak teramati. Ukuran dan jadwal pada diamati sesi, atau setiap tampilan tiba lebih lambat dari yang tertera di kalender.

[DATA INTERNAL YANG DIBUTUHKAN: median sesi harian dan median durasi pengujian aktual di seluruh klien e-commerce Switas, untuk mengganti angka ilustratif 5,000 sesi/hari dengan distribusi aktual.]

Di sinilah letak kesalahannya

• Pergeseran komposisi. Metode sekuensial mengasumsikan aliran data yang masuk dapat dipertukarkan dari waktu ke waktu. Perubahan kampanye atau media berbayar dapat merusak asumsi tersebut, dan menghentikan penguncian data lebih awal di minggu mana pun merupakan hal yang tidak biasa.
• Kebaruan dan keutamaan. Pengukuran minggu pertama mengukur reaksi, bukan perilaku yang sudah mapan. Jika perubahan tersebut terlihat oleh pelanggan tetap, jangan tetapkan batasan efektivitas pada pengukuran minggu pertama sama sekali.
• Metrik berekor tebal. Pendapatan per sesi didominasi oleh pesanan besar yang jarang terjadi, dan perkiraan normal tidak dapat diandalkan pada sampel sementara yang kecil. Berhenti pada rasio konversi dan baca pendapatan bersamaan, atau gunakan metode winsorisasi dan sebutkan demikian.
• Beberapa metrik. Batasan-batasan ini mengontrol kesalahan untuk satu metrik. Lima metrik dengan lima aturan penghentian dan tanpa koreksi lebih lanjut akan mengembalikan Anda ke titik awal.
• Instrumen yang rusak. Pengujian sekuensial akan dengan mudah melewati batas pada data yang rusak. Ini bukan pengganti pemeriksaan SRM.
• Tidak dibahas di sini: Aturan penghentian Bayesian, multi-armed bandit, dan pengurangan varians seperti CUPED. Masing-masing berinteraksi dengan penghentian dini dengan cara yang membutuhkan perlakuan terpisah.

FAQ (Pertanyaan Umum)

Tandai bagian ini dengan skema FAQPage.

Bisakah saya menggunakan nilai p yang lebih ketat saja daripada fungsi pengeluaran?
Ya, jika Anda menetapkan jumlah tampilan terlebih dahulu dan jumlahnya hanya sedikit. Tabel Miller memberikan ambang batasnya. Ini lebih konservatif daripada pengeluaran alfa, jadi Anda membayar lebih banyak sampel daripada yang diperlukan, tetapi tidak memerlukan alat baru.

Apakah pengujian berurutan berarti saya dapat melewatkan perhitungan ukuran sampel?
Tidak. Validitas tetap terjaga tanpa estimasi ukuran sampel; tetapi daya uji tidak. Baik simulasi Georgiev maupun Spotify menunjukkan pola yang sama: ketika Anda dapat memperkirakan ukuran sampel, desain sekuensial kelompok lebih unggul.

Bagaimana jika saya mengamati kemunduran daripada kemenangan?
Itu adalah pemantauan pengaman, bukan pengujian hipotesis. Pantau terus metrik keamanan dan kesalahan di bawah aturan terpisah yang lebih longgar dan biarkan aturan penghentian utama tidak berubah. Menghentikan varian yang membahayakan pengguna tidak memerlukan upacara.

Apakah pengujian Bayesian kebal terhadap pengintipan?
Tidak. Menghentikan proses pada saat probabilitas posterior melewati ambang batas akan mengubah karakteristik operasional aturan pengambilan keputusan kecuali aturan tersebut dirancang untuk penghentian opsional. Prior mengubah bentuk masalah, bukan keberadaannya.

O'Brien-Fleming atau Pocock?
O'Brien-Fleming hampir selalu digunakan dalam setiap kasus komersial. Pilih Pocock hanya jika jawaban awal memiliki nilai konkret, Anda dapat menyerap sekitar 20% lebih banyak sampel maksimum, dan seseorang siap untuk mengirimkan hasil pada minggu pertama.

Bisakah saya menambahkan tampilan yang tidak saya rencanakan?
Dengan fungsi pengeluaran alfa, ya, asalkan keputusan untuk melihat tidak didorong oleh data yang akan Anda lihat. Menambahkan tampilan karena dasbor "terlihat mirip" adalah pengaturan waktu yang bergantung pada data dan membatalkan jaminan.

Mari bekerja sama dengan kami dalam hal ini.

Jika Anda menjalankan eksperimen pada platform e-commerce Turki atau regional dan aturan penghentian saat ini adalah "periksa setiap pagi", kami akan membangun ulang aturan tersebut bersama Anda: penentuan ukuran, jadwal pencarian, batasan, aturan ketidakberhasilan, dan gerbang SRM, yang ditulis ke dalam templat eksperimen Anda sehingga pengujian berikutnya dapat mewarisinya. Bicaralah dengan Switas tentang program eksperimen Anda..

sumber

• Evan Miller, Cara yang Salah dalam Menjalankan Uji A/B
• Johari, Pekelis, Walsh dan Koomen, Inferensi yang Selalu Valid: Pemantauan Berkelanjutan terhadap Uji A/B; diterbitkan di Operasi pencarian 70(3), 2022
• Georgi Georgiev, Perbandingan kekuatan statistik dari tes berurutan, Analytics-Toolkit, November 2022 (diperbarui Maret 2023)
• Schultzberg dan Ankaragren, Memilih Kerangka Pengujian SekuensialSpotify Engineering, Maret 2023
• Secara optimal, Gambaran umum metode analisis statistik
• Statsig, Pengujian Sekuensial Frekuensi
• Ciolino, Kaizer dan Bonner, Pedoman tentang metode analisis sementara dalam uji klinis, Jurnal Klinis Transl Sci 7(1):e124, 2023
• Penn State STAT 509, Pendekatan Fungsi Pengeluaran Alpha
• rpact, Menentukan Batasan Sekuensial Grup
• Volume perdagangan elektronik Turki melonjak lebih dari 52% pada tahun 2025., Daily Sabah, 12 Mei 2026, melaporkan Laporan Prospek E-Commerce Kementerian Perdagangan