Kekuatan Statistik

Kekuatan statistik adalah probabilitas bahwa suatu eksperimen akan mendeteksi efek nyata dengan ukuran tertentu, jika efek tersebut benar-benar ada. Suatu pengujian dengan kekuatan 80 persen, konvensi yang paling banyak digunakan, akan secara tepat mengidentifikasi peningkatan nyata dengan ukuran yang ditentukan sebanyak empat kali dari lima percobaan dan akan melewatkannya satu kali dari lima percobaan sisanya. Kekuatan adalah kebalikan dari tingkat signifikansi: signifikansi mengontrol seberapa sering pengujian tersebut mendeteksi sesuatu yang tidak nyata, sedangkan kekuatan mengontrol seberapa sering pengujian tersebut gagal mendeteksi sesuatu yang tidak nyata.

Tingkat kekuatan statistik ditentukan sebelumnya, bersama dengan tingkat signifikansi, tingkat konversi dasar, dan efek minimum yang dapat dideteksi, dan bersama-sama hal ini menentukan ukuran sampel yang dibutuhkan. Meningkatkan persyaratan kekuatan statistik dari 80 menjadi 90 persen secara substansial meningkatkan lalu lintas yang dibutuhkan, itulah sebabnya 80 persen telah menjadi standar dalam pengujian komersial meskipun standar yang lebih tinggi umum dalam penelitian klinis. Pilihan ini mencerminkan pertimbangan bisnis antara biaya kehilangan ide bagus dan biaya lalu lintas yang dihabiskan untuk mencarinya.

Pengujian yang kurang memadai adalah cacat yang paling luas dan paling tidak terlihat dalam program optimasi. Pengujian yang dijalankan untuk periode kalender tetap, bukan untuk ukuran sampel yang dihitung, secara default kurang memadai setiap kali lalu lintas lebih rendah dari yang diasumsikan. Konsekuensinya bukan hanya upaya yang sia-sia, tetapi juga kesimpulan yang secara sistematis menyesatkan: program yang kurang memadai menghasilkan serangkaian hasil yang tidak meyakinkan yang dicatat sebagai "tidak ada efek," yang dari waktu ke waktu menciptakan keyakinan institusional yang salah bahwa seluruh kategori perubahan tidak penting. Peluang nyata ditinggalkan karena instrumen pengukuran tidak pernah cukup sensitif untuk melihatnya.

Ada konsekuensi kedua yang lebih berbahaya. Dalam eksperimen yang kurang bertenaga, setiap hasil yang mencapai signifikansi harus, secara aritmatika, menunjukkan efek yang besar. Hal ini memperbesar ukuran kemenangan yang dilaporkan program, sebuah fenomena yang kadang-kadang disebut kutukan pemenang. Oleh karena itu, program yang menjalankan pengujian kurang bertenaga akan melaporkan serangkaian kemenangan dramatis, yang tidak satu pun terulang pada besaran yang dilaporkan ketika diluncurkan, dan kesenjangan antara pendapatan yang diproyeksikan dan yang terealisasi inilah yang akhirnya menghancurkan kepercayaan pada praktik tersebut.

Meningkatkan daya uji tidak selalu berarti menunggu lebih banyak trafik. Memilih metrik yang lebih tinggi dalam alur konversi dengan tingkat dasar yang lebih besar akan meningkatkan daya uji untuk jumlah pengunjung yang sama. Mengurangi varians dengan menggunakan analisis yang disesuaikan dengan kovariat, atau dengan membatasi pengujian pada segmen audiens yang lebih homogen, dapat secara signifikan mempersingkat waktu eksekusi. Menguji perubahan yang lebih berani dengan efek yang diharapkan lebih besar akan meningkatkan ukuran efek yang perlu dideteksi oleh pengujian dan karenanya menurunkan persyaratan sampel. Masing-masing merupakan keputusan desain yang dibuat sebelum peluncuran, dan masing-masing lebih produktif daripada memperpanjang pengujian yang sudah tidak meyakinkan dengan harapan angka-angka akan berubah.

Pengurangan varians layak mendapat perhatian lebih daripada yang biasanya diterima, karena meningkatkan sensitivitas tanpa memerlukan lebih banyak lalu lintas. Teknik yang paling mapan menggunakan data pra-eksperimen tentang setiap pengunjung, seperti perilaku mereka dalam beberapa minggu sebelum pengujian, sebagai kovariat dalam analisis, menghilangkan variasi yang tidak ada hubungannya dengan perlakuan. Jika sebagian besar lalu lintas adalah pengunjung yang kembali dengan riwayat kunjungan, ini dapat mengurangi sampel yang dibutuhkan secara signifikan, yang mempersingkat waktu eksekusi di seluruh program daripada hanya meningkatkan satu pengujian. Memilih metrik yang kurang bervariasi memiliki efek serupa: konversi biner kurang bising daripada pendapatan per pengunjung, yang didominasi oleh sejumlah kecil pesanan besar, sehingga pengujian yang didasarkan pada konversi dan melaporkan pendapatan sebagai ukuran sekunder seringkali mencapai kesimpulan jauh lebih cepat daripada pengujian yang didasarkan langsung pada pendapatan.

Dalam praktik konsultasi, analisis daya adalah saat peta jalan pengujian menjadi jujur ​​tentang apa yang dapat diberikannya. Sebelum optimasi tingkat konversi Program dimulai, menghitung daya yang dapat dicapai pada lalu lintas saat ini memberi tahu klien berapa banyak eksperimen per kuartal yang realistis dan pertanyaan mana yang memerlukan metode yang berbeda sama sekali. Untuk situs di mana perhitungan tidak mendukung ritme eksperimen berkelanjutan, jalur yang lebih efektif biasanya adalah penelitian terstruktur dan evaluasi ahli, yang disampaikan melalui sebuah Audit UX, dengan eksperimen hanya dilakukan pada sejumlah kecil arus lalu lintas tinggi dan bernilai tinggi di mana perhitungannya memang sesuai.