Efek Minimum yang Dapat Terdeteksi (MDE)

Efek minimum yang dapat dideteksi, biasanya disingkat MDE, adalah perubahan terkecil dalam suatu metrik yang dirancang untuk dideteksi secara andal oleh suatu eksperimen. Nilai ini ditetapkan sebelum pengujian dimulai dan merupakan masukan langsung ke dalam perhitungan ukuran sampel. Suatu eksperimen dengan MDE 10 persen dirancang untuk menangkap peningkatan sebesar 10 persen atau lebih besar dengan tingkat kepercayaan dan kekuatan yang ditentukan; peningkatan nyata yang lebih kecil seringkali tidak terdeteksi oleh pengujian tersebut, sehingga muncul sebagai hasil yang tidak meyakinkan daripada kemenangan.

MDE (Minimum Error Rate) sering disalahpahami sebagai prediksi seberapa besar suatu varian akan meningkatkan konversi. Ini bukan ramalan. Ini adalah pengaturan sensitivitas, dalam arti yang sama seperti skala memiliki peningkatan terkecil yang dapat diukur. Mengaturnya tidak membuat suatu efek lebih atau kurang mungkin terjadi; ini menentukan apakah eksperimen memiliki resolusi yang cukup untuk melihat efek tersebut jika memang ada. Mencampuradukkan keduanya menyebabkan percakapan buruk yang biasa terjadi setelah pengujian selesai, di mana sebuah tim berpendapat bahwa varian tersebut "seharusnya menang" karena MDE ditetapkan pada 15 persen, padahal sebenarnya MDE hanya menggambarkan apa yang dapat dilihat oleh pengujian tersebut.

Cara yang tepat untuk menetapkan MDE (Minimum Determination Efficiency) adalah secara komersial, bukan secara statistik. Pertanyaannya adalah seberapa besar peningkatan yang akan membenarkan biaya pembangunan, pengiriman, dan pemeliharaan perubahan tersebut, ditambah biaya peluang dari lalu lintas yang dihabiskan untuk mengukurnya. Pada proses checkout dengan volume tinggi, peningkatan relatif 2 persen mungkin bernilai angka tahunan yang substansial dan oleh karena itu layak untuk diuji dalam jangka waktu lama. Pada formulir kontak dengan lalu lintas rendah, peningkatan di bawah 20 persen mungkin tidak layak untuk dideteksi sama sekali, karena jumlah absolut prospek tambahan sangat kecil. Bekerja mundur dari nilai bisnis membuat peta jalan pengujian tetap berlandaskan pada hasil, bukan pada kemudahan statistik.

Terdapat ketegangan yang tak terhindarkan antara MDE (Minimum Data Equivalent) yang ambisius dan lalu lintas aktual yang dimiliki situs web. Tim yang berada di bawah tekanan untuk menunjukkan hasil sering kali menyelesaikannya ke arah yang salah, diam-diam meningkatkan MDE hingga perhitungan ukuran sampel menghasilkan jumlah hari yang nyaman. Hal ini menghasilkan eksperimen yang secara teknis valid tetapi secara praktis tidak berguna: eksperimen tersebut hanya mampu mendeteksi efek yang sangat besar sehingga akan terlihat jelas tanpa pengujian. Alternatif yang jujur ​​adalah menerima bahwa beberapa pertanyaan tidak dapat dijawab melalui eksperimen pada tingkat lalu lintas saat ini, dan mengarahkannya ke metode lain, seperti pengujian kegunaan, investigasi analitik, atau tinjauan ahli.

MDE juga membentuk desain varian itu sendiri. Jika sebuah pengujian perlu mendeteksi peningkatan 15 persen agar layak dijalankan, perubahan kecil pada teks tombol kemungkinan besar tidak akan mencapai angka tersebut, dan tim akan lebih baik jika menguji pendekatan yang jauh berbeda terhadap halaman tersebut: proposisi nilai yang direstrukturisasi, panjang formulir yang berbeda, presentasi harga yang diubah. Inilah mengapa program dengan lalu lintas terbatas cenderung menghasilkan karya yang lebih menarik daripada program dengan lalu lintas tak terbatas, yang mampu menguji hal-hal sepele.

Sumber kebingungan yang berulang adalah apakah efek tersebut dinyatakan dalam istilah relatif atau absolut, dan perbedaannya tidak sepele. Pada tingkat konversi dasar dua persen, peningkatan relatif sepuluh persen berarti bergerak ke 2.2 persen, perubahan absolut sebesar 0.2 poin persentase. Peningkatan absolut sepuluh persen berarti bergerak ke dua belas persen, yang tidak menghasilkan perubahan realistis. Kalkulator ukuran sampel, platform pengujian, dan pemangku kepentingan sering beralih antara kedua konvensi tersebut tanpa menyebutkannya, dan rencana yang dibangun berdasarkan pemahaman yang salah akan menghasilkan eksperimen yang tidak dapat diselesaikan atau eksperimen yang terlalu kuat. Menyatakan konvensi secara eksplisit dalam setiap rencana pengujian, bersama dengan angka dasar dan angka absolut yang dihasilkan, menghilangkan ambiguitas yang jika tidak akan muncul kembali setiap kali hasil dibahas dengan orang-orang di luar fungsi analitik.

Dalam praktiknya, keputusan MDE dibuat secara kolektif selama perencanaan peta jalan, bukan oleh seorang analis yang bekerja sendirian. A Layanan CRO Dokumentasi keterlibatan biasanya mencatat, untuk setiap eksperimen yang direncanakan, tingkat dasar, MDE (Minimum Experimental Equivalent), ukuran sampel yang dihasilkan, dan perkiraan waktu eksekusi, sehingga pemangku kepentingan dapat melihat biaya setiap pertanyaan sebelum berkomitmen padanya. Bagi organisasi yang menjalankan eksperimen di beberapa properti atau pasar, dokumentasi ini juga mencegah kesalahan umum dalam menerapkan satu konvensi MDE ke situs dengan profil lalu lintas yang sangat berbeda, pola yang sering terlihat pada perusahaan program-program di mana standar pusat dipaksakan kepada tim-tim yang lalu lintasnya tidak mampu mendukungnya.