Yenilik Etkisi

Yenilik etkisi, bir şeyin daha iyi olmasından ziyade, sadece yeni ve farklı olmasından kaynaklanan, kullanıcı davranışında geçici bir değişikliktir. Tanıdık bir arayüz öğesi hareket ettiğinde, rengi değiştiğinde veya yeni bir etiket aldığında, mevcut kullanıcılar bunu fark eder, inceler ve normalde olduğundan daha fazla etkileşimde bulunur. Bir deneyin ilk günlerinde bu, görünürde bir iyileşme sağlayabilir, ancak kitle adapte oldukça bu etki azalır ve uzun vadede daha küçük, yok denecek kadar az veya olumsuz bir etki bırakır.

Bunun ayna görüntüsü, bazen değişimden kaçınma etkisi olarak da adlandırılır ve ters yönde çalışır. Bir görevi belirli bir şekilde tamamlamaya alışmış kullanıcılar, daha üstün bir tasarım bile olsa, yeniden tasarımdan dolayı yavaşlar ve hayal kırıklığına uğrarlar ve akışı yeniden öğrenirken performansları düşer. Önemli bir navigasyon veya ödeme sayfası yeniden tasarımının yalnızca ilk haftasını ölçen bir test, uzun vadeli değerini sistematik olarak olduğundan düşük gösterecektir. Her iki etki de aynı kaynaktan kaynaklanır; yani geri dönen kullanıcılar önceki ziyaretlerinden edindikleri beklentileri taşırlar ve her ikisi de kısa süreli deneyleri, hiçbir istatistiksel titizliğin düzeltemeyeceği şekillerde çarpıtır.

Bu iki etki birlikte, bildirilen test kazanımları ile gerçekleşen iş sonuçları arasındaki farkın büyük bir bölümünü açıklıyor. İki haftalık satın alma döngüsüne sahip bir sitede altı gün boyunca yürütülen bir test, piyasaya sürüldükten sonra geçerli olacak istikrarlı davranıştan ziyade, değişime verilen tepkinin baskın olduğu bir popülasyonu ölçmektedir. Değişiklik piyasaya sürüldüğünde ve yenilik etkisi azaldığında, ölçüm temel seviyeye doğru geri döner ve öngörülen yıllık gelir asla gerçekleşmez. Deney istatistiksel olarak yanlış değildi; normal işleyişten ziyade ilk hafta hakkındaki bir soruyu yanıtladı.

Bu etkileri tespit etmek, yalnızca kümülatif toplama değil, zaman içindeki sonucun şekline bakmayı gerektirir. Günlük veya kümülatif artışı grafiklendirmek ve sıfıra doğru eğilim gösterip göstermediğini gözlemlemek en basit teşhis yöntemidir. Sonuçları yeni ve geri dönen ziyaretçiler olarak ayırmak daha belirleyicidir, çünkü yenilik ve değişimden kaçınma esas olarak daha önce deneyim yaşamış kişiler üzerinde etkilidir: tüm test süresi boyunca yeni ziyaretçiler için aynı performansı gösteren ancak geri dönenler arasında azalan bir artış gösteren bir değişiklik, gerçek bir iyileşme yerine yenilik sergiliyor demektir. Risklerin haklı olduğu durumlarda, uygulama sonrasında kontrol grubunda tutulan bir geri tutma grubu, gerçek uzun vadeli etkinin haftalar veya aylar sonra ölçülmesine olanak tanır.

Pratik önlemler pek de cazip değil. Testleri en az bir, tercihen iki tam iş döngüsü boyunca yürütün. Rakamlar olağanüstü görünse bile üçüncü günde durmayın. Görsel olarak belirgin değişikliklerdeki büyük erken etkileri, ince değişikliklerdeki küçük erken etkilerden daha şüpheyle karşılayın. Büyük yeniden tasarımlar için daha uzun bir ölçüm penceresi planlayın ve paydaşlara ilk haftanın rakamlarının bir yönde veya diğer yönde yanıltıcı olacağını önceden bildirin, böylece kimse testin ortasında baskı altında popüler olmayan bir kararı savunmak zorunda kalmasın.

İki ilişkili kirleticiyi aynı anda kontrol etmek önemlidir. Birincisi, iç trafik: Yeni bir varyantı araştıran çalışanlar, ajanslar ve ortaklar, müşteriler gibi davranmazlar ve düşük trafikli sitelerde, yenilik etkilerinin en güçlü olduğu dönemde yoğunlaşan erken oturumların önemli bir bölümünü oluşturabilirler. İç adresleri ve bilinen ortak trafiğini filtrelemek, birçok programın ihmal ettiği temel bir hijyen uygulamasıdır. İkincisi ise mevsimsellik ve kampanya zamanlamasıdır; çünkü bir promosyon dönemi, tatil veya büyük bir pazarlama atağı boyunca yürütülen bir test, kalıcı olmayacak koşullar altında davranışı ölçmektedir. Bir testin böyle bir dönemde yürütülmesi gerekiyorsa, uygun yanıt, normal ticaretin de temsil edilmesi için süreyi uzatmak ve sonucu genelleştirmeden önce promosyonlu ve promosyonsuz bölümler arasında etkinin farklı olup olmadığını kontrol etmektir.

Bu dinamikler, yeniden tasarım çalışmalarının ve deneylerin ardışık olarak değil, birlikte planlanmasının başlıca nedenlerinden biridir. ürün tasarımı Önemli bir arayüz değişikliğinin önerildiği projelerde, ölçüm planı genellikle uzatılmış bir çalışma süresi, standart bir kesim olarak yeni ve eski uygulamaların ayrımı ve mümkünse lansman sonrası bir bekleme süresini içerir. Devam eden bir süreçte büyüme yönetimi Bu programda, geçmiş kazananların periyodik olarak yeniden ölçülmesi ve bunların piyasaya sürülmesini haklı çıkaran etkilerin zaman içinde devam edip etmediğinin kontrol edilmesi yoluyla, portföyün tamamına aynı disiplin uygulanır.