Budaya Eksperimen

Budaya eksperimentasi menggambarkan serangkaian norma, insentif, dan kebiasaan pengambilan keputusan bersama yang menentukan apakah suatu organisasi benar-benar menggunakan bukti untuk membuat keputusan produk dan pemasaran. Hal ini berbeda dari kemampuan eksperimentasi, yang merupakan peralatan, lalu lintas, dan keterampilan teknis yang dibutuhkan untuk menjalankan pengujian. Banyak organisasi memperoleh kemampuan tersebut tetapi tidak pernah mengembangkan budayanya, itulah sebabnya platform pengujian sering dibeli, digunakan dengan antusias selama satu kuartal, dan kemudian ditinggalkan begitu saja.

Ciri khas dari budaya eksperimen yang sehat adalah bahwa berbuat salah adalah hal yang normal dan murah. Dalam laporan yang dipublikasikan dari perusahaan teknologi besar, hanya sebagian kecil eksperimen yang menghasilkan peningkatan yang diharapkan oleh penulisnya, dan sebagian besar justru memperburuk keadaan. Jika uji coba yang gagal dianggap sebagai kegagalan orang yang mengusulkannya, orang akan berhenti mengusulkan hal-hal yang berisiko, hanya akan menguji perubahan yang mereka yakini, dan akan menemukan cara untuk menafsirkan hasil yang ambigu secara positif. Program kemudian akan berfokus pada uji coba sepele dengan hasil yang dapat diprediksi, yang tidak menghasilkan pembelajaran dan tidak memberikan nilai tambah.

Karakteristik kedua adalah bahwa senioritas tidak mengesampingkan bukti. Budaya di mana hasil uji dapat dibatalkan oleh preferensi eksekutif, tanpa bukti baru, mengajarkan semua orang bahwa eksperimen hanyalah sandiwara. Ini tidak berarti data harus secara otomatis mendikte setiap keputusan; pertimbangan merek, hukum, aksesibilitas, dan strategi jangka panjang secara sah mengesampingkan hasil konversi jangka pendek. Yang penting adalah bahwa pengesampingan tersebut eksplisit dan beralasan, bukan diam-diam, sehingga organisasi mempertahankan pemahaman bersama tentang apa yang sebenarnya dikatakan oleh bukti.

Ketiga, pembelajaran dapat ditangkap dan digunakan kembali. Tanpa repositori yang dapat dicari berisi eksperimen masa lalu, termasuk hipotesis, desain, hasil, dan interpretasinya, organisasi akan menguji ulang ide yang sama setiap delapan belas bulan seiring pergantian staf. Repositori yang terawat dengan baik mengubah serangkaian pengujian terisolasi menjadi aset yang terus bertambah: kumpulan pengetahuan tentang apa yang ditanggapi oleh audiens spesifik ini, yang jauh lebih berharga daripada kemenangan individu mana pun dan tidak dapat diperoleh dari tolok ukur industri atau riset pesaing.

Membangun budaya biasanya membutuhkan urutan yang disengaja daripada pengumuman. Mulailah dengan sejumlah kecil eksperimen yang dijalankan dengan baik pada masalah yang bermakna, sehingga hasil awal dapat dipercaya. Publikasikan hasil dalam format yang konsisten yang mencakup kegagalan dengan penekanan yang sama. Dapatkan satu sponsor senior untuk secara nyata mengubah keputusan berdasarkan hasil. Latih pemangku kepentingan tentang cara membaca ukuran dan interval efek sehingga mereka dapat terlibat dengan temuan daripada hanya diberi vonis. Tetapkan aturan pengambilan keputusan terlebih dahulu sehingga argumen terjadi pada saat perancangan, bukan setelah angka-angka tiba. Perluas cakupan hanya setelah praktik tersebut dipercaya.

Pengukuran program itu sendiri layak mendapatkan ketelitian yang sama seperti yang diterapkan program di tempat lain. Menghitung jumlah uji coba yang dijalankan adalah indikator yang lemah, dan menghitung kemenangan lebih buruk lagi, karena hal itu memberi penghargaan pada pengujian ide-ide yang aman. Ukuran yang lebih bermanfaat meliputi proporsi eksperimen yang menghasilkan pembelajaran yang terdokumentasi terlepas dari hasilnya, bagian dari peta jalan yang mengatasi masalah yang diidentifikasi dari bukti daripada dari opini, efek kumulatif yang diukur terhadap kelompok pembanding, dan jumlah keputusan yang diubah oleh bukti. Yang terakhir ini adalah indikator paling langsung bahwa budaya tersebut memang ada: sebuah organisasi di mana tidak ada keputusan signifikan yang diubah oleh hasil eksperimen dalam setahun tidak memiliki budaya eksperimen, terlepas dari apa pun yang ditunjukkan oleh peralatan dan volume pengujiannya, dan intervensi yang tepat berada pada tingkat hak pengambilan keputusan daripada metodologi.

Pekerjaan teknis biasanya merupakan bagian yang lebih mudah. ​​Dalam praktiknya, sebuah manajemen pertumbuhan Keterlibatan menghabiskan sebagian besar upayanya pada tata kelola, format pelaporan, hak pengambilan keputusan, dan pendidikan pemangku kepentingan daripada pada statistik atau perangkat, karena kendala-kendala itulah yang menentukan apakah hasil dapat mengubah sesuatu. Jika suatu organisasi memulai dari nol riwayat eksperimen, struktur yang terorganisasi akan sangat membantu. perencanaan strategis dan konsultasi Fase ini biasanya diperlukan terlebih dahulu, untuk menyelaraskan keputusan mana yang benar-benar ingin dibuat oleh bisnis berdasarkan bukti dan mana yang sudah diputuskan karena alasan yang tidak akan diubah oleh eksperimen apa pun.