Testlerinizin gerçek değerini tespit edebilecek bir denetim grubu oluşturun.

Programınız ayda bir kez kazananı bildiriyor. On iki galibiyeti topladığınızda, yıllık sunumda dönüşüm oranının geçen yıla göre %18 daha yüksek olması gerektiği belirtiliyor. Finans departmanı kar ve zarar tablosuna bakıyor ve bunun böyle olmadığını söylüyor. Genellikle sunum yanlış çıkar.

Microsoft'un deney platformunda, test edilen fikirlerin yalnızca yaklaşık üçte biri, iyileştirmek üzere tasarlandıkları ölçütü geliştirdi ve piyasaya sürülenler, tam olarak iyi göründükleri için seçiliyor; işte bu noktada aritmetik sapmalar başlıyor.Kohavi ve Longbotham, 2015Deney grubu, ölçüm yapan en ucuz araçtır. program bireysel testten ziyade.

Bu kılavuz, ayda en az bir deney yürüten CRO liderleri ve analitik yöneticileri içindir. Kılavuzun sonunda, programınızın etkisini gerçekten tespit edebilecek bir test grubu boyutlandırabilecek, bir süre ve analiz penceresi seçebilecek ve sonucu sunmadan önce geçersiz kılan hata modlarını tanıyabileceksiniz.

Bir direniş grubunun ölçtüğü şey, kazanılan zaferlerin toplamının ölçemediği şeydir.

Bekleme grubu, diğer herkes piyasaya sürülen tüm başarılı özelliklere erişirken, rastgele seçilmiş bir grup kullanıcının değişiklik öncesi deneyimde tutulmasıdır. Birkaç ay sonra iki grubu karşılaştırırsınız. Aradaki fark, on iki kısa dönem tahmininin bir araya getirilmesi değil, piyasaya sürdüğünüz her şeyin kümülatif, hala geçerli olan etkisidir.

Netflix de aynı aracı kullanıyor ve "geri çekmeli AB testleri"ni "uzun vadeli etkileri anlamak, eski varsayımları yeni üyeler üzerinde yeniden test etmek ve kümülatif değeri ölçmek" için bir yöntem olarak tanımlıyor.Netflix Teknoloji Blogu).

Test sonuçlarının toplamının yaşananları neden abarttığı sorusu akla geliyor?

Dört mekanizma toplamı gerçeğin üzerine çıkarır ve bunlar birleşerek artar:

• Kazananın laneti. Sadece anlamlılık sınırını aşan varyantları piyasaya sürüyorsunuz, bu nedenle piyasaya sürülen set yukarı yönlü gürültüyle zenginleşiyor. Airbnb'den Lee ve Shen bu seçim yanlılığını resmileştirdi ve bir düzeltme yayınladı (KD 2018).
• Yenilik ve önceliğin kaybolması. Kısa zaman dilimleri, yeniliğe verilen tepkileri yakalar. Microsoft Haberler örneğinde, yeni bir düğmeye yapılan tıklamalardaki ilk %28'lik artış, deney penceresi içinde gün geçtikçe azaldı (Sadeghi ve ark., 2022).
• Etkileşim ve azalan verim. Aynı satış hunisi aşamasında bağımsız olarak test edilen iki başarılı sonuç genellikle birbirini toplamaz; aynı marjinal kullanıcı için rekabet ederler.
• Analiz gevşekliği. Göz atma, metrik değiştirme ve seçici raporlama, her bir kaydırma işlemi başlatılan seti daha da yukarıya taşıyor (Eppo).

Bunların hiçbiri testlerinizin sahte olduğu anlamına gelmez. Bu, toplamın bir tahmin değil, bir üst sınır olduğu anlamına gelir.

Yapıyı inşa etmeden önce test alanının boyutlarını belirleyin.

Bu, neredeyse herkesin atladığı ve çoğu başarısız denemenin gerçekleştiği adımdır. Başarısız deneme, kasıtlı olarak dengesiz bir şekilde bölünmüş iki kollu bir testtir ve hassasiyet daha küçük kol tarafından belirlenir. Gerekli toplam örneklem büyüklüğü ile ölçeklenir. 1 / (p × (1 − p)), Burada p Bu, direnen grubun payıdır. Dolayısıyla, %1'lik bir direnen grubun aynı etkiyi görmesi için dengeli bir testin trafiğinin yaklaşık 25 katına ihtiyacı vardır.

%2'lik temel dönüşüm oranı, %80 güç ve %5'lik çift taraflı anlamlılık düzeyinde, deneme süresi boyunca ihtiyaç duyulan toplam kullanıcı sayısı:

Şimdi bunu satıcı varsayılan değerleriyle karşılaştırın. Statsig, "yüzde 1-2 gibi düşük tek haneli bir direnç yüzdesi" öneriyor.İstatistikOptimizely %5'in üzerinde uyarı veriyor (OptimizelyGrowthBook raporlarına göre Facebook ve X ekiplerinin büyüme oranı %5 veya daha az (BüyümeKitabı).

Bu rakamlar yazarları için doğru, ancak orta ölçekli sitelerin çoğu için yanlış. Aylık 400,000 kullanıcısı olan bölgesel bir e-ticaret sitesi, bir çeyrekte 1.2 milyon kullanıcı topluyor. %1'lik bir dirençle bu rakama ulaşmak yaklaşık on yıl sürerdi. %10'luk bir dirençle bile %5'lik bir artışın gerisinde kalıyor. %20'lik bir dirençle ise bir çeyrekte %5, yaklaşık bir ayda ise %10'luk bir artış tespit ediyor. Trafiğinizden elde ettiğiniz payı seçin, bir satıcının varsayılan payından değil. Dürüst cevap %20 ise, bu takası işletmeye açıkça anlatın: kullanıcıların beşte biri, yeni özellikler için bir çeyrek bekliyor; karşılığında ise o çeyreğin herhangi bir değeri olup olmadığını öğrenmeyi tercih ediyor.

Süreyi ve analiz penceresini seçin.

Statsig, hisseyi piyasaya sürmeden önce üç ila altı ay beklemeyi önerirken; GrowthBook ise yarım ay ila bir çeyrek aylık aktif bir dönemin ardından etkilerin oturması ve geriye dönük inceleme sürelerinin dolması için iki ila dört haftalık bir analiz dönemi önermektedir.

Çalışma kuralımız: aktif dönem, boyutlandırma tablonuzun gerektirdiği süre ile tam bir iş döngüsünün daha uzun olanıdır. Bu bölgede bu, en az bir kampanya zirvesini ve bir durgun ayı kapsamak anlamına gelir, bu nedenle sonuç yalnızca 11.11 ile belirlenmez. Ardından bayrakları dondurun ve herhangi biri gösterge panosunu açmadan önce analiz penceresinin dolmasını bekleyin.

İnşa Et: Doğru Yapmanız Gereken Yedi Şey

• Rastgeleleştir kalıcı, sunucu tarafı kullanıcı veya hesap tanımlayıcısıBir onay banner'ının engellediği veya kullanıcının sildiği bir çerez, insanların kolları arasındaki sızıntılara neden olur.
• Direnen tarafı atayın bir kez, öndenÖlçüm yapmak istediğiniz lansmanlardan önce. Sonradan oluşturulan bir direniş, direniş değildir.
• Fırlatılan her kazananı aynı bayrak sisteminden geçirin, böylece "holdout = off" gerçekten eski deneyimi ifade eder. Holdout kullanıcıları, Statsig'in uygulamasında olduğu gibi varsayılan kapı ve katman değerlerini alırlar.
• Açık ve net bir şekilde ifade edin. Hariç listesiGüvenlik düzeltmeleri, yasal ve erişilebilirlik uyumluluğu çalışmaları ve fiyatlandırma değişiklikleri herkese gönderilir. Her bir istisnayı tarihiyle birlikte belgeleyin.
• İki ila dört arasında seçim yapın. dayanıklı (Kullanıcı başına gelir, elde tutma oranı, sipariş sıklığı) metriklerinizi ve temel dönüşüm oranınızı ekleyin. Beşinci bir metrik eklemeyin.
• Belirtilen zaman diliminde gönderilen her değişikliğin, ölçülen kaldırma kuvvetiyle birlikte, tarihli bir lansman kaydını tutun. Direnen parçayı bu kayıtla karşılaştıracaksınız.
• Mühendislik ekibine, analiz penceresi kapanana kadar bayrakların kod tabanında kalmasını söyleyin. Bayrakların erken temizlenmesi, istatistiksel nedenlerden daha sık olarak, kod tabanından silinmeye neden olur.

Sonucu dürüstçe okuyun.

Fırlatma kayıt defterinizdeki toplam yükselişe oranla, test grubunda ölçülen yükselişin oranını hesaplayın. Çalışma eşiklerimiz (yayınlanmış kıyaslama değerleri değil, değerlendirme kararları) şunlardır:

Alternatif takımların ilk olarak başvurduğu bölgesel bir uyarı: Eğer beklemeyi atlayıp bu çeyreği geçen yılla karşılaştırmayı planlıyorsanız, Türkiye'nin Ağustos 2026'daki yıllık tüketici fiyat enflasyonunun %31.51 olduğunu unutmayın.TÜİK verileri, 3 Eylül 2026 tarihinde yayınlanmıştır.Kullanıcı başına düşen gelir (lire cinsinden) bu oranda dönemler arasında karşılaştırılabilir değildir ve enflasyondan arındırılması kendi varsayımlarını da beraberinde getirir. Eş zamanlı rastgeleleştirme bunu ortadan kaldırır: her iki kol da aynı ekonomide ve aynı günde yer alır.

[GEREKLİ İÇ VERİLER: Bir Switas istemci örneği — program süresi, trafik ölçeği, toplam test artışı ile tutma grubu tarafından ölçülen artış ve kullanılan tutma grubu payı.]

Direnen birinin sessizce pes etmesinin altı yolu

• Bulaşma. Paylaşılan cihazlar, oturum kapatılmış oturumlar ve kimlik sıfırlamaları, kullanıcıların farklı kollar arasında geçiş yapmasına neden olur. Geçiş oranını ölçün; yaklaşık %2'nin üzerindeki tahminler güvenilir değildir.
• Sessiz sızıntı. Bayrak sistemi dışında gönderilen bir değişiklik (bir CDN kuralı, bir CMS düzenlemesi, yeni bir şablon) direnen tarafa da ulaşır ve aradaki farkı sıfıra doğru azaltır.
• Dışlama eğiliminin yayılması. "Bu herkese dağıtılmalı" şeklindeki her karar, ölçtüğünüz şeyden bir lansmanı eksiltir. On tane böyle karar verirseniz, hiçbir şey ölçemezsiniz.
• Örnek oranı uyuşmazlığı. Bölünme, amaçlanan paydan sapıyor. Haftalık olarak kontrol edin; SRM ile yapılan bir test, SRM ile yapılan diğer herhangi bir test kadar geçersizdir.
• Erken salınım. Optimizely'nin yerel global test süreçleri duraklatılamaz, yalnızca sonlandırılabilir. Bunu kural olarak kabul edin: erken sonlandırmak, test penceresini kaybetmenize neden olur.
• İlk günden itibaren yetersiz güçteydi. En sık karşılaşılan hata. %2'lik bir testten elde edilen sıfır sonuç, programınız hakkında hiçbir şey söylemez, ancak boyutlandırmanız hakkında her şeyi söyler.

Bu yöntemin başarısız olduğu nokta

Bir deneme, hangi lansmanın bu etkiyi yarattığını değil, birleşik etkinin büyüklüğünü gösterir. Atıf hala bireysel testlere ihtiyaç duyar. Herkese gönderilmesi gereken hiçbir şeyi ölçemez, bu nedenle uyumluluk çalışmaları bunun dışında kalır. Aynı kullanıcıların belirtilen süre içinde geri dönmemesi durumunda uygun değildir ve marka veya çevrimdışı yayılım hakkında hiçbir şey söylemez. Yaklaşık 100,000 aylık kullanıcının altında, hem tespit edilebilir hem de savunulabilir bir pay yoktur; bu ölçekte, dikkatlice kontrol edilen öncesi-sonrası okumaları ve niteliksel doğrulama, zayıf yönleri açıkça belirtilerek, dürüst bir geri dönüş yoludur.

Sık Sorulan Sorular

Muhalefet grubunun büyüklüğü ne kadar olmalı?

Beklediğiniz kümülatif etkiyi tespit edebilecek kadar büyük, bu bir kuraldan ziyade bir hesaplama meselesi. %2'lik bir temel oran ve +%5'lik göreceli hedefle, %5'lik bir test grubu yaklaşık 3.25 milyon kullanıcıya ihtiyaç duyarken, %20'lik bir test grubu yaklaşık 971,000 kullanıcıya ihtiyaç duyar.

Direniş ne kadar süreyle sürdürülmeli?

Satıcılar, üç ila altı aylık aktif bir döneme ek olarak iki ila dört haftalık bir analiz penceresi öneriyor. Buna, pencerenin en az bir kampanya zirvesini ve bir normal ayı kapsaması kısıtlamasını da ekleyin, böylece tek bir satış olayı sonucu belirlemesin.

Neden elde ettiğim galibiyet sayısı, test galibiyetlerimin toplamından daha az?

Bu beklenen sonuç, bir hata değil. Kazananın laneti, yeniliğin kaybolması, değişiklikler arasındaki etkileşim ve analizdeki gecikmeler toplamı şişiriyor. Gerçeğe daha yakın olan sayı ise belirsiz olan sayıdır.

Bir şeyleri piyasaya sürdükten sonra bir test ortamı oluşturabilir miyim?

Bu lansmanlar için geçerli değil; herkes zaten bunları aldı. Bir gecikme yalnızca başlangıç ​​tarihinden itibaren yapılan değişiklikleri ölçer. Önümüzdeki iki çeyrek için bugün bir tane başlatabilirsiniz.

Kullanıcıları geri tutmak gelire zarar verir mi?

Eğer lansmanlarınız gerçekten işe yararsa, maliyet az da olsa azalır; bu maliyet, elde tutulan pazar payı ile gerçek artışın çarpımıyla sınırlıdır. Eğer işe yaramazlarsa, elde tutulan pazarın maliyeti sıfırdır ve sizi bunları tekrarlamaktan kurtarır.

Peki ya test sonucu düz çıkarsa?

Öncelikle güç değerlerini boyutlandırma tablonuzla karşılaştırın, ardından çapraz bağlantı ve sızıntı değerlerini kontrol edin. Gerçekten düz, yeterli güce sahip bir sonuç, iki çeyreklik sevkiyatın bu ölçütü değiştirmediği anlamına gelir: öğrenmesi pahalı, öğrenmemesi daha da pahalı.

Sonraki adım

Deneyler yapıyorsanız ve bir yıllık kazanımların ne kadar değerli olduğunu söyleyemiyorsanız, bu hafta kendi trafiğinize karşı bir test yapın veya bu testi bizim yapmamızı, oluşturmamızı ve okumamızı sağlayın. CRO katılımı.

kaynaklar

• Kohavi ve Longbotham, "Çevrimiçi Kontrollü Deneyler ve A/B Testi" (2015)
• Lee & Shen (Airbnb), "Kazananın Laneti", KDD 2018
• Sadeghi ve ark. (Microsoft), "Yenilik ve Öncelik", Technometrics, 2022
• Netflix Teknoloji Blogu, "Netflix'te Nedensel Çıkarım Uygulamaları"
• İstatistik Belgeleri, "Direnenler"
• GrowthBook, "GrowthBook'ta Direnenler"
• Optimizely Desteği, "Küresel direnişçiler"
• Eppo, "Bütün, Parçalarının Toplamından Daha Azdır"
• Strateji ve Bütçe Direktörlüğü — TÜİK TÜFE, Ağustos 2026