Model Penilaian ICE

Model penilaian ICE memprioritaskan ide dengan memberi peringkat pada masing-masing ide berdasarkan tiga dimensi: dampak, kepercayaan, dan kemudahan, biasanya pada skala satu hingga sepuluh, dan mengalikan atau merata-ratakan skor untuk menghasilkan peringkat. Model ini, yang dikaitkan dengan Sean Ellis dan banyak digunakan dalam tim pertumbuhan, sengaja dibuat ringan, dirancang untuk mengurutkan backlog dengan cepat daripada menghasilkan perkiraan nilai yang dapat dipertanggungjawabkan.

Komponen-komponennya dipetakan ke pertanyaan-pertanyaan yang sebenarnya menentukan apakah suatu ide layak dilakukan. Dampak memperkirakan seberapa besar perubahan tersebut akan menggerakkan metrik target jika berhasil. Keyakinan memperkirakan seberapa yakin tim bahwa hal itu akan berhasil, berdasarkan bukti pendukung dan bukan antusiasme. Kemudahan memperkirakan seberapa sedikit upaya yang dibutuhkan, yang merupakan kebalikan dari biaya dan disertakan karena portofolio eksperimen murah menghasilkan lebih banyak pembelajaran per kuartal daripada sejumlah kecil eksperimen mahal.

Dimensi kepercayaan diri adalah yang membedakan model ini dari peringkat dampak versus upaya yang lebih sederhana, dan dimensi inilah yang paling sering diterapkan secara sembarangan. Kepercayaan diri harus mencerminkan bukti: hipotesis yang didukung oleh rekaman sesi, analitik, wawancara pelanggan, dan hasil serupa yang diamati sebelumnya layak mendapatkan skor tinggi, sementara ide yang dianggap menarik oleh seseorang dalam rapat tidak. Tim yang memberikan kepercayaan diri berdasarkan keyakinan semata daripada bukti mengubah model tersebut menjadi mekanisme untuk memberi peringkat opini, yang sebenarnya ingin digantikan oleh model tersebut.

Kelemahan kerangka kerja ini adalah skornya bersifat subjektif dan perhitungan aritmatika memberikan otoritas yang tidak beralasan. Dua orang dapat memberikan skor yang sangat berbeda untuk ide yang sama, dan mengalikan tiga perkiraan yang tidak pasti menghasilkan angka dengan presisi yang jauh lebih tampak daripada yang didukung oleh input. Skor 240 tidak secara signifikan lebih baik daripada skor 210, dan memperlakukan peringkat sebagai sesuatu yang pasti adalah penyalahgunaan. Model ini berfungsi sebagai mekanisme penyortiran untuk memisahkan prioritas yang jelas dari deprioritasi yang jelas, dan untuk menyusun diskusi tentang ketidaksepakatan, bukan sebagai perhitungan.

Konsistensi adalah kunci keberhasilannya dalam praktik. Pemberian skor bekerja cukup baik ketika orang yang sama memberikan skor dalam sesi yang sama menggunakan definisi yang sama, karena perbandingan relatif tetap berlaku meskipun nilai absolutnya bersifat arbitrer. Namun, sistem ini gagal ketika orang yang berbeda memberikan skor pada waktu yang berbeda tanpa patokan yang disepakati, ketika dampak dinilai berdasarkan metrik yang berbeda untuk ide yang berbeda, atau ketika skor diberikan oleh siapa pun yang mengusulkan ide tersebut. Konvensi sederhana, seperti pemberian skor secara berkelompok, mendefinisikan arti setiap level dengan contoh, dan mewajibkan bukti di balik skor kepercayaan untuk dinyatakan, dapat menyelesaikan sebagian besar masalah ini.

Membandingkan berbagai kerangka kerja kurang bermanfaat dibandingkan memilih satu dan menerapkannya secara konsisten, karena manfaat utama dari model penilaian apa pun adalah membuat alasan di balik prioritas menjadi eksplisit dan dapat dibandingkan antar ide. Kerangka kerja yang lebih rumit yang memisahkan jangkauan dari dampak, atau yang memasukkan upaya sebagai pembagi, menambahkan ketelitian yang sebagian besar ilusi mengingat kualitas perkiraan yang mendasarinya, meskipun hal itu dapat sepadan dengan upaya tambahan di mana item individual cukup mahal sehingga peringkat benar-benar penting. Kegagalan yang umum terjadi pada semuanya adalah memperlakukan output sebagai keputusan daripada sebagai input, dan kerangka kerja apa pun akan menghasilkan hasil yang buruk jika skor diberikan untuk membenarkan kesimpulan yang telah dicapai.

ICE paling baik dipahami sebagai alternatif yang lebih cepat daripada kerangka kerja yang lebih rumit, yang sesuai jika biaya setiap item rendah dan jumlah kandidat tinggi, yang menggambarkan sebagian besar tumpukan pekerjaan eksperimen. Dalam hal ini Layanan CRO Program ini umumnya digunakan untuk mengurutkan ide pengujian pada setiap sesi perencanaan, dengan mempertimbangkan ukuran sampel dan perkiraan waktu eksekusi setiap pengujian bersamaan dengan skornya, karena ide yang mendapat skor tinggi tetapi membutuhkan waktu dua bulan untuk menghasilkan lalu lintas akan bersaing secara berbeda dari ide yang dapat diselesaikan dalam sepuluh hari.