Pengujian Berurutan

Pengujian sekuensial adalah serangkaian desain eksperimen yang memungkinkan hasil dievaluasi secara terus menerus, atau pada interval yang direncanakan, sambil mengendalikan tingkat kesalahan yang akan meningkat akibat evaluasi berulang. Dalam pengujian horizon tetap konvensional, analisis hanya valid pada ukuran sampel tunggal yang telah dihitung sebelumnya; setiap pengamatan tambahan meningkatkan kemungkinan positif palsu. Metode sekuensial menyesuaikan batas keputusan untuk memperhitungkan fakta bahwa beberapa pengamatan terjadi, sehingga sah untuk menghentikan pengujian lebih awal ketika bukti sudah cukup kuat.

Daya tarik komersialnya jelas. Uji coba jangka waktu tetap yang membutuhkan lalu lintas selama empat minggu harus berjalan selama empat minggu meskipun varian tersebut sangat merugikan pendapatan di minggu pertama, kecuali tim bersedia mengabaikan validitas statistik dari desain tersebut. Pendekatan sekuensial memungkinkan varian yang benar-benar merugikan untuk dihentikan dengan cepat dan varian yang benar-benar menguntungkan dapat diluncurkan lebih awal, yang mengurangi biaya pengujian dan meningkatkan jumlah eksperimen yang dapat dijalankan situs dalam setahun. Bagi bisnis di mana varian yang buruk membawa risiko pendapatan nyata, ini bukan penyempurnaan tetapi suatu keharusan.

Beberapa teknik termasuk dalam kategori ini. Desain sekuensial kelompok menentukan sejumlah kecil analisis sementara dengan ambang batas yang disesuaikan pada setiap analisis. Fungsi pengeluaran alfa mendistribusikan total tingkat positif palsu yang diizinkan di antara analisis-analisis tersebut. Inferensi yang selalu valid dan uji rasio probabilitas sekuensial memungkinkan pemantauan berkelanjutan dengan batasan yang semakin ketat seiring dengan akumulasi data. Pendekatan Bayesian menghindari masalah horizon tetap berdasarkan konstruksinya, meskipun pendekatan ini membawa pertimbangan tersendiri terkait bias penghentian. Sebagian besar platform pengujian komersial sekarang menerapkan salah satu dari pendekatan ini secara tersembunyi, itulah sebabnya angka kepercayaan yang dilaporkan tidak lagi berperilaku seperti pengujian signifikansi berulang yang naif.

Penting untuk dicatat bahwa validitas sekuensial tidak menghilangkan setiap risiko penghentian dini. Sebuah pengujian yang dihentikan setelah lima hari tetaplah pengujian yang belum menjalani siklus mingguan penuh, belum mengumpulkan pengunjung tetap, dan belum melewati efek kebaruan yang dihasilkan oleh perubahan desain yang terlihat pada hari-hari pertama penayangannya. Statistik mungkin valid tetapi kesimpulan bisnis tetap salah, karena sampel tidak mewakili kondisi operasi normal, bukan karena terlalu kecil. Aturan waktu berjalan minimum, biasanya setidaknya satu dan sebaiknya dua siklus bisnis penuh, berada di samping batasan sekuensial dan bukan digantikan olehnya.

Penghentian dini juga membiaskan perkiraan ukuran efek. Tes yang berhenti segera setelah batas dilampaui melakukannya pada saat variasi acak kebetulan mendukung varian tersebut, sehingga peningkatan yang diamati pada titik penghentian cenderung melebih-lebihkan efek sebenarnya. Jika keputusannya hanya apakah akan mengirimkan produk atau tidak, hal ini jarang menjadi masalah. Namun, jika angka tersebut akan dimasukkan ke dalam perkiraan pendapatan, hal ini sangat penting, dan angka yang dilaporkan harus didiskon atau diestimasi ulang daripada dikutip secara langsung.

Karena implementasinya berbeda, ada baiknya untuk menetapkan apa yang sebenarnya dilakukan oleh platform pengujian sebelum mengandalkan kesimpulannya. Dokumentasi vendor harus menyatakan apakah tingkat kepercayaan yang dilaporkan valid di bawah pemantauan berkelanjutan, metode apa yang digunakan, dan apakah ukuran efek yang dilaporkan dikoreksi untuk penghentian dini. Beberapa platform menerapkan inferensi yang selalu valid di seluruh proses, beberapa menerapkan batasan sekuensial kelompok pada titik pemeriksaan tetap, dan beberapa masih melaporkan statistik horizon tetap yang sederhana pada dasbor langsung, yang merupakan pengaturan yang menghasilkan paling banyak positif palsu dalam praktiknya. Perbedaan ini bukan sekadar akademis: data yang sama dapat menghasilkan kesimpulan yang meyakinkan dengan satu metode dan tidak ada kesimpulan dengan metode lain, dan tim yang telah beralih platform terkadang menemukan bahwa sebagian besar kemenangan historis mereka tidak akan diumumkan berdasarkan metodologi alat baru tersebut.

Bagi sebuah perusahaan konsultan yang menjalankan program dengan laju tinggi, desain sekuensial adalah kunci untuk membuat kecepatan eksperimen yang agresif tetap sejalan dengan disiplin statistik. Dalam hal ini, optimasi tingkat konversi Dalam hal keterlibatan, aturan biasanya didokumentasikan di awal: metode batasan mana yang berlaku, waktu eksekusi minimum terlepas dari batasan, metrik pengaman yang dapat memicu penghentian darurat, dan siapa yang berwenang untuk memanggilnya. Tata kelola tersebut sangat penting dalam e-commerce lingkungan di mana varian yang merusak proses pembayaran selama minggu perdagangan puncak dapat menyebabkan kerugian lebih besar dalam tiga hari daripada total keuntungan program pengujian selama satu kuartal.