Kecepatan Eksperimen

Kecepatan eksperimen adalah tingkat di mana suatu organisasi menyelesaikan eksperimen yang valid, biasanya dinyatakan sebagai pengujian yang diselesaikan per bulan atau per kuartal. Ini adalah salah satu prediktor terkuat tentang seberapa besar nilai yang dihasilkan oleh program pengujian, karena alasan yang sederhana: jika hanya sebagian kecil eksperimen yang menghasilkan peningkatan yang berarti, maka jumlah peningkatan yang ditemukan sebagian besar merupakan fungsi dari berapa banyak eksperimen yang dijalankan. Menggandakan tingkat pembelajaran, dengan asumsi semua hal lainnya sama, secara kasar akan menggandakan efek kumulatif pada metrik yang penting.

Kecepatan (velocity) dibatasi oleh tiga kendala terpisah, dan mengidentifikasi mana yang membatasi adalah langkah pertama dalam memperbaikinya. Lalu lintas (traffic) menetapkan batasan statistik yang ketat: sebuah situs tidak dapat menjalankan lebih banyak pengujian simultan dan dengan daya yang memadai daripada yang didukung oleh volumenya. Kapasitas produksi mencakup pembuatan ide, desain, pembangunan, dan jaminan kualitas, dan biasanya merupakan kendala utama dalam organisasi di mana setiap pengujian membutuhkan pekerjaan rekayasa. Proses mencakup siklus persetujuan, tinjauan pemangku kepentingan, persetujuan hukum atau merek, dan waktu penyelesaian analisis, dan seringkali merupakan biaya tersembunyi terbesar, dengan pengujian yang menganggur dalam antrian lebih lama daripada waktu yang dihabiskan untuk mengumpulkan data.

Meningkatkan kecepatan dengan menurunkan standar adalah tindakan yang kontraproduktif dan sayangnya umum terjadi. Mempersingkat waktu eksekusi di bawah satu siklus bisnis penuh, melewatkan perhitungan ukuran sampel, mengabaikan jaminan kualitas, menguji apa pun yang mudah daripada apa yang penting, dan menghentikan pengujian pada tanda signifikansi pertama, semuanya meningkatkan jumlah eksperimen yang selesai sambil mengurangi jumlah temuan nyata. Program yang melaporkan empat puluh pengujian per kuartal dengan metodologi yang tidak dapat diandalkan menghasilkan nilai yang lebih rendah daripada program yang melaporkan dua belas pengujian yang dilakukan dengan benar, dan menghasilkan lebih banyak kebingungan organisasi karena hasilnya saling bertentangan.

Pengungkit produktivitas sebagian besar berkaitan dengan menghilangkan waktu tunggu daripada memadatkan pengujian itu sendiri. Mempertahankan backlog ide siap bangun yang diprioritaskan sehingga kapasitas tidak pernah menganggur. Membangun pustaka komponen dan templat pengujian yang dapat digunakan kembali sehingga waktu pembuatan berkurang. Menyetujui persetujuan tetap untuk kelas eksperimen berisiko rendah yang telah ditentukan sehingga setiap eksperimen tidak memerlukan persetujuan baru. Menjalankan pengujian yang tidak tumpang tindih secara bersamaan di berbagai area situs. Mengotomatiskan analisis dan pelaporan sehingga hasilnya tersedia pada hari pengujian selesai, bukan dua minggu kemudian. Tidak satu pun dari hal ini mengurangi ketelitian; semuanya mengurangi waktu kalender antara satu eksperimen dan eksperimen berikutnya.

Kecepatan (velocity) juga harus dibaca bersamaan dengan ukuran kualitas, bukan secara terpisah. Beberapa indikator yang berguna meliputi proporsi pengujian yang mencapai kesimpulan valid daripada yang ditinggalkan, proporsi yang menghasilkan pembelajaran terdokumentasi terlepas dari hasilnya, bagian eksperimen yang menangani halaman atau alur bernilai tinggi, dan efek kumulatif program yang terukur melalui pengujian uji coba. Dasbor yang hanya menunjukkan kecepatan saja, dapat diprediksi, akan dioptimalkan dengan menjalankan lebih banyak pengujian sederhana.

Konkurensi layak mendapat perhatian khusus, karena ini adalah pengungkit yang paling sering diterapkan secara sembarangan. Menjalankan beberapa eksperimen sekaligus akan melipatgandakan throughput ketika pengujian memengaruhi bagian pengalaman yang tidak terkait, dan menciptakan hasil yang tidak dapat diinterpretasikan ketika pengujian tersebut tumpang tindih. Aturan praktisnya adalah memetakan setiap pengujian ke langkah-langkah alur dan audiens yang disentuhnya, menghindari menjalankan dua pengujian yang memodifikasi langkah yang sama secara bersamaan, dan memeriksa efek interaksi ketika pengujian berdekatan daripada mengasumsikan independensi. Beberapa organisasi mengatasi hal ini dengan mempertahankan kalender bersama untuk eksperimen aktif dengan area yang terpengaruh tercatat, yang mungkin tidak menarik tetapi mencegah situasi umum di mana dua tim tanpa sadar menguji perubahan yang bertentangan pada halaman yang sama dan keduanya melaporkan hasil yang tidak meyakinkan tanpa memahami alasannya.

Bagi sebagian besar organisasi, jalur tercepat menuju kecepatan yang lebih tinggi bukanlah alat baru, melainkan model operasional yang lebih jelas: siapa yang menghasilkan ide, siapa yang memprioritaskan, siapa yang membangun, siapa yang menyetujui, dan berapa lama setiap langkah diizinkan untuk berlangsung. Membangun model tersebut merupakan bagian normal dari sebuah manajemen pertumbuhan Keterlibatan, dan ritme yang dihasilkan biasanya bergantung pada ketersediaan hipotesis yang cukup dan didukung bukti yang kuat untuk menjaga agar proses tetap berjalan, di sinilah pentingnya keterlibatan berkelanjutan. riset pengguna Hal ini layak menjadi masukan dalam peta jalan pengujian, bukan sekadar proyek terpisah yang dilakukan sesekali.