Direniş Grubu

Kontrol grubu, bir değişiklikten, bir kampanyadan veya bir dizi değişiklikten kasıtlı olarak dışlanan, rastgele seçilmiş bir kitle bölümüdür; böylece bu grubun üzerindeki kümülatif etki diğer herkesle karşılaştırılabilir. Standart bir deney, bir şeyin iki versiyonunu birkaç hafta boyunca karşılaştırırken, kontrol grubu aylar boyunca birçok kararın birleşik etkisini ölçer ve bireysel testlerin yanıtlayamadığı bir soruyu yanıtlar: Tüm bu çalışmalar gerçekten de işletmeyi ileriye taşıdı mı?

Bu ihtiyaç, optimizasyon ve pazarlama programlarında iyi bilinen bir muhasebe probleminden kaynaklanmaktadır. Bireysel deneyler, bireysel artışları rapor eder ve bu artışlar, liderliğe sunulan yıllık bir etki rakamına toplanır. Ancak toplam neredeyse her zaman gerçeklikten daha büyüktür, çünkü kazanan etkiler örtüşür, azalır, etkileşime girer ve sıklıkla erken durdurma veya kazananın laneti nedeniyle abartılır. Uzun süreli bir deneme, tüm programın katkısının tek ve doğrudan bir ölçümünü sağlar; bu da rapor edilen rakamları doğrular veya açıklanması gereken bir boşluğu ortaya çıkarır.

Deneme yanılma yöntemleri çeşitli şekillerde uygulanabilir. Lansman sonrası deneme yanılma yöntemi, başarılı bir varyant piyasaya sürüldükten sonra küçük bir kullanıcı yüzdesini kontrol grubunda tutarak etkinin aylarca izlenmesini ve azalma olup olmadığının kontrol edilmesini sağlar. Program düzeyinde deneme yanılma yöntemi, bir çeyrek veya daha uzun süre boyunca her optimizasyon değişikliğinden kullanıcıların bir yüzdesini hariç tutar. Pazarlama deneme yanılma yöntemi ise, rastgele bir alt küme için kampanya iletişimini bastırarak, atfedilen yanıt yerine artımlı yanıtı ölçer; bu yöntem genellikle, atfedilen dönüşümlerin önemli bir kısmının zaten gerçekleşeceğini gösterir. Her biri farklı bir soruyu yanıtlar ve her biri hariç tutulan grubun rastgele seçilmesini ve ölçüm süresi boyunca sabit tutulmasını gerektirir.

Tasarım hususları oldukça zorlayıcıdır. Beklenen kümülatif etkiyi tespit etmek için grubun yeterince büyük olması gerekir; bu, ölçülen etki daha büyük olduğu için genellikle tek bir testten daha kolaydır. Atama, mümkünse oturumlar, cihazlar ve kanallar arasında süreklilik göstermelidir, aksi takdirde kirlenme karşılaştırmayı zayıflatır. Dışlama gerçekten uygulanmalıdır; bu, bir düzine ekip farklı mekanizmalar aracılığıyla değişiklikler gönderirken göründüğünden daha zordur. Ve kuruluş, iyileştirmeleri gerçek müşterilerden uzun bir süre boyunca kasıtlı olarak saklamanın maliyetini kabul etmelidir; bu, analitik bir karar olmaktan ziyade bir yönetim kararıdır.

Bu maliyet, en büyük itiraz noktası ve net bir cevabı hak ediyor. Dönüşümü gerçekten artıran bir programdan trafiğin yüzde beşini dışarıda bırakmak, bir miktar gelir kaybına yol açar. Karşı argüman ise, dışarıda bırakılan bir grup olmadan, programın dönüşümü gerçekten artırıp artırmadığını kimsenin bilemeyeceği ve programa harcanan miktarın genellikle dışarıda bırakılan gruptan elde edilemeyen gelirden çok daha büyük olduğudur. İlk program düzeyinde dışarıda bırakma uygulamasını gerçekleştiren kuruluşlar, ölçülen etkinin, toplam test sonuçlarının ima ettiğinden önemli ölçüde daha küçük olduğunu sıklıkla görürler; bu rahatsız edicidir, ancak bütçeyi akıllıca tahsis etmek için tam olarak gereken bilgidir.

Bir programın uygulanmasını engelleyen bir unsurun maliyeti soyut bir kavram olarak bırakılmak yerine nicel olarak ifade edildiğinde, iç görüşmeler genellikle daha iyi sonuçlanır. Eğer programın tahmini etkisi belirli bir yüzdelik iyileşme ise, trafiğin yüzde beşinin engellenmesi, bu iyileşmenin yüzde beşinden vazgeçmek anlamına gelir ki bu, programın kendi maliyetine kıyasla genellikle küçük bir rakamdır ve katkısı bilinmeyen bir şeye yatırım yapmaya devam etme riskine kıyasla önemsizdir. Ayrıca, aynı mekanizma lansman sonrası düşüş izlemeyi desteklediği ve program değerine ilişkin sonraki iddialar için temel oluşturduğu için, grubu bir yoksunluktan ziyade devam eden bir ölçüm aracı olarak çerçevelemek de faydalıdır. İyileştirmelerin engellenmesi, yasal veya sözleşmesel yükümlülükleri olan hizmetlerde olduğu gibi, adalet endişelerine yol açıyorsa, uygun yanıt, ölçümü tamamen terk etmek yerine daha küçük bir grup, daha kısa bir süre veya coğrafi bir tasarımdır.

Bir muhalefet partisi oluşturmak, genellikle en önemli tavsiyelerden biridir. büyüme yönetimi Katılımı artırır çünkü programın tamamının değerlendirilme biçimini, ayrı ayrı raporlardan oluşan bir yığından tek bir ölçülebilir sonuca dönüştürür. Uygulama normalde, hedef kitle segmentasyonu ve kimlik çözümleme yeteneğinin sürdürülmesini gerektirir. Veri analizi İşlevsellik açısından, kanallar veya cihazlar arasında sızıntı yapan bir veri kaynağı hiçbir güvenilir ölçüm yapmadığı için işe yaramaz.