Efek Kebaruan

Efek kebaruan adalah perubahan sementara dalam perilaku pengguna yang terjadi hanya karena sesuatu itu baru dan berbeda, bukan karena sesuatu itu lebih baik. Ketika elemen antarmuka yang sudah familiar berpindah, berubah warna, atau mendapatkan label baru, pengguna yang sudah ada akan memperhatikannya, melihatnya, dan berinteraksi dengannya lebih sering daripada biasanya. Pada hari-hari pertama sebuah eksperimen, hal ini dapat menghasilkan peningkatan yang tampak, tetapi akan berkurang seiring adaptasi audiens, sehingga efek jangka panjangnya menjadi lebih kecil, tidak ada, atau negatif.

Kebalikannya, yang terkadang disebut efek keengganan perubahan, bekerja ke arah yang berlawanan. Pengguna yang terbiasa menyelesaikan tugas dengan cara tertentu akan terhambat dan frustrasi oleh desain ulang, bahkan yang lebih baik sekalipun, dan kinerja mereka menurun saat mereka mempelajari kembali alurnya. Tes yang hanya mengukur minggu pertama dari desain ulang navigasi atau proses pembayaran yang signifikan akan secara sistematis meremehkan nilai jangka panjangnya. Kedua efek tersebut muncul dari sumber yang sama, yaitu pengguna yang kembali membawa ekspektasi yang dibangun dari kunjungan sebelumnya, dan keduanya mendistorsi eksperimen singkat dengan cara yang tidak dapat diperbaiki oleh ketelitian statistik apa pun.

Kedua efek tersebut secara bersama-sama menjelaskan sebagian besar kesenjangan antara keberhasilan uji coba yang dilaporkan dan hasil bisnis yang terealisasi. Uji coba yang berlangsung selama enam hari di situs dengan siklus pembelian dua minggu mengukur populasi yang didominasi oleh reaksi terhadap perubahan, bukan perilaku stabil yang akan berlaku setelah peluncuran. Ketika perubahan diluncurkan dan kebaruannya memudar, metrik kembali ke garis dasar dan pendapatan tahunan yang diproyeksikan tidak pernah muncul. Eksperimen tersebut tidak salah secara statistik; eksperimen tersebut menjawab pertanyaan tentang minggu pertama, bukan tentang operasi normal.

Mendeteksi efek ini memerlukan pengamatan terhadap bentuk hasil dari waktu ke waktu, bukan hanya total kumulatif. Memplot peningkatan harian atau kumulatif dan mengamati apakah trennya mendekati nol adalah diagnostik paling sederhana. Membagi hasil berdasarkan pengunjung baru versus pengunjung lama lebih menentukan, karena kebaruan dan keengganan terhadap perubahan terutama memengaruhi orang-orang yang telah terpapar sebelumnya: perubahan yang berkinerja identik untuk pengunjung baru selama seluruh periode pengujian tetapi menunjukkan penurunan peningkatan di antara pengunjung lama menunjukkan kebaruan daripada peningkatan yang sebenarnya. Jika taruhannya membenarkannya, kelompok kontrol yang dipertahankan setelah peluncuran memungkinkan efek jangka panjang yang sebenarnya diukur selama berminggu-minggu atau berbulan-bulan setelahnya.

Pengamanan praktisnya tidak glamor. Lakukan pengujian setidaknya selama satu dan sebaiknya dua siklus bisnis penuh. Jangan berhenti pada hari ketiga hanya karena angkanya terlihat luar biasa. Perlakukan dampak awal yang besar pada perubahan yang terlihat jelas dengan lebih waspada daripada dampak awal yang kecil pada perubahan yang halus. Untuk perancangan ulang besar-besaran, rencanakan jendela pengukuran yang lebih panjang dan komunikasikan kepada pemangku kepentingan sebelumnya bahwa angka minggu pertama akan menyesatkan ke satu arah atau arah lain, sehingga tidak ada yang perlu membela keputusan yang tidak populer di bawah tekanan di tengah pengujian.

Dua kontaminan terkait perlu dikendalikan secara bersamaan. Pertama adalah lalu lintas internal: karyawan, agensi, dan mitra yang mengeksplorasi varian baru berperilaku sangat berbeda dari pelanggan, dan di situs dengan lalu lintas rendah, mereka dapat membentuk bagian yang signifikan dari sesi awal, semuanya terkonsentrasi tepat pada periode ketika efek kebaruan paling kuat. Penyaringan alamat internal dan lalu lintas mitra yang dikenal adalah kebersihan dasar yang diabaikan oleh banyak program. Kedua adalah musim dan waktu kampanye, karena pengujian yang berjalan selama periode promosi, liburan, atau dorongan pemasaran besar mengukur perilaku dalam kondisi yang tidak akan bertahan lama. Jika pengujian harus berjalan selama periode tersebut, respons yang tepat adalah memperpanjangnya sehingga perdagangan normal juga terwakili, dan memeriksa apakah efeknya berbeda antara bagian promosi dan non-promosi sebelum menggeneralisasi hasilnya.

Dinamika ini adalah salah satu alasan utama mengapa pekerjaan perancangan ulang dan eksperimen perlu direncanakan bersamaan, bukan secara berurutan. Dalam desain produk Dalam proyek-proyek yang mengusulkan perubahan antarmuka yang substansial, rencana pengukuran biasanya mencakup waktu eksekusi yang diperpanjang, pembagian antara pengguna baru dan pengguna lama sebagai standar, dan jika memungkinkan, penangguhan pasca-peluncuran. Dalam proses yang berkelanjutan, manajemen pertumbuhan Dalam program ini, disiplin yang sama diterapkan pada portofolio secara keseluruhan, dengan secara berkala mengukur ulang pemenang sebelumnya untuk memeriksa apakah efek yang membenarkan pengiriman produk tersebut masih bertahan dari waktu ke waktu.