Eğer her sabah A/B testi yapıp gösterge paneli yeşil renge döndüğü anda testi durdurursanız, gerçek yanlış pozitif oranınız %5 olmaz. Evan Miller, her gözlemden sonra anlamlılığı test eden bir simülasyon çalışmasında bu oranı şu şekilde ölçmüştür: 26.1%Çoğu takımın koştuğunu sandığı seviyenin beş katından fazla (A/B Testi Nasıl Yapılmamalı?Dört "kazanımdan" birinin tekrarlanmaması istatistiksel bir sorun değil, yol haritası sorunudur.
Bu kılavuz, e-ticaret veya seyahat trafiğinde dört hafta boyunca sabit kalamayacak kadar mevsimsel olan veriler üzerinde testler yürüten büyüme ve CRO ekipleri içindir. Kılavuzun sonunda, lansmandan önce bir görünüm planı oluşturabilecek, her görünüm için eşik değerini bir tablodan okuyabilecek, planlamanın getirdiği küçük ek örneklem için test boyutunu belirleyebilecek ve yöntemin geçerliliğini nerede kaybettiğini anlayabileceksiniz.
Göz atma hareketinin sabit ufuk testini neden bozduğu
Sabit ufuklu bir test, %5'lik hata payının tamamını önceden belirlenmiş tek bir örneklem büyüklüğünde bir kez harcar. Her ek bakış, çizgiyi aşmak için başka bir şanstır. Sorun veriye bakmak değil; tek bir bakış için fiyatlandırılmış bir eşikle bakmaktır. Miller'ın tablosu, belirli sayıda kez bakmakta ısrar ederseniz, gerçek %5'lik oranı korumak için gereken bildirilen anlamlılık düzeyini verir:
| Bakış sayısı | Gerçek %5'lik anlamlılık için gerekli bildirilen önem düzeyi |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Diğer bir deyişle: on kez göz atın ve %1 önem olarak okuduğunuz şey aslında %5 öneme sahip demektir. Kaba ama dürüst. Aşağıdaki yöntemler aynı işi daha verimli bir şekilde yapar.
Erken durmanın üç yolu ve her birinin maliyeti.
| Yaklaşım | Lansmandan önce düzeltin | Maliyet ile sabit fiyatlı test karşılaştırması | Bunu ne zaman kullanacaksın? |
|---|---|---|---|
| Sabit ufuk | Örneklem boyutu, bir analiz tarihi | Hiçbiri, ancak erken inişe izin verilmiyor. | Trafik istikrarlı, zaman aralığı kısa. |
| Grup sıralı (alfa harcaması) | Maksimum örneklem, bakış sayısı ve zamanlaması | Maksimum örneklem oranı ~%3 (O'Brien-Fleming) ile ~%20 (Pocock) arasında yükseliyor, 4 görünüm | Örneklem büyüklüğü tahmin edilebilir. |
| Her zaman geçerli (mSPRT) | Prensip olarak hiçbir şey. | Aynı örneklemde üçü arasında en büyük güç kaybı. | Örneklem büyüklüğü tahmin edilemez. |
Üçüncü satır önemlidir çünkü çoğu ticari platform bunu gönderir. Georgi Georgiev'in grup başına sabit maksimum 7,045 örneklem büyüklüğüyle yaptığı simülasyonda, sabit ufuklu test %83.3 güç elde etti, grup sıralı AGILE %80 hedefine ulaştı, SPRT yaklaşık %73 ve her zaman geçerli çıkarım %62.4 oldu. %80 güce ulaşmak için, her zaman geçerli çıkarımın yaklaşık olarak şu kadarına ihtiyacı vardı: %85 daha fazla örnek grup-sıralı tasarıma göre (Analitik Araç Seti, 2022Spotify mühendisleri de bağımsız olarak aynı sonuca vardılar: örneklem büyüklüğü tahmin edilebildiğinde, grup sıralı testler "her zaman geçerli yaklaşımlara göre sistematik olarak daha iyi veya karşılaştırılabilir" sonuçlar veriyor.Schultzberg ve Ankargren, 2023).
Bu düzeltilmeye değer, çünkü satıcının yaklaşımı tam tersi yönde. Optimizely'nin dokümantasyonu size "deneyi başlatmadan önce örneklem büyüklüğünü hesaplamak gibi ön deney çalışmalarını atlamanızı" söylüyor.Optimizely desteğiHata kontrolü gerçektir ve temelindeki araştırma sağlamdır.Johari ve ark., Her Zaman Geçerli ÇıkarımÇerçevelemenin atladığı şey ise elektrik faturasıdır. Aynı yöntem ailesini uygulayan Statsig bunu açıkça belirtiyor: "Etki büyüklüğünün doğru bir ölçümüne ihtiyacınız varsa, deney öncesi güç hesaplamanızın tahmin ettiği tam gücü bekleyin" (İstatistik belgeleri"Örneklem büyüklüğüne gerek yok" ifadesini geçerlilikle ilgili bir iddia olarak okuyun, asla verimlilikle ilgili olarak değil.
Yöntem, adım adım
Örnek uygulama: Bir giyim perakendecisi ödeme işlemini test ediyor. Temel oturum dönüşüm oranı %2.4, hedef etki +%10 (göreceli olarak %2.64), çift taraflı alfa %5, güç %80, günde yaklaşık 5,000 oturum.
1. Sanki hiç bakmayacakmışsınız gibi boyutlandırın.
İki oranlı boyutlandırma sağlar Kol başına 66,943 seansToplam 133,886. Bu, erken durmayı planladığınız için isteğe bağlı bir ek maliyet değil; programın temelini oluşturan unsurdur.
2. Kaç görünüm ve ne zaman istediğinizi seçin.
Üç ila beş görünüm, mevcut faydaların neredeyse tamamını kapsar; bunun ötesindeki her görünüm, az bir getiri için maksimum örnek maliyetini artırır. Görünümleri hizalayın tüm haftalarÇünkü hafta içi gün dağılımı, perakende trafiğinde büyük bir sapma kaynağıdır. Günde 5,000 oturumla, dört haftalık bir bakış, planlanan maksimumu kapsayan yaklaşık 140,000 oturuma ulaşır.
3. Bir harcama fonksiyonu seçin ve eşik değerlerini yazın.
Alfa harcama fonksiyonu, biriken veri miktarına bağlı olarak, her bir görünümün %5'lik bütçenin ne kadarını tüketeceğine karar verir (Penn State STAT 509). Dört eşit aralıklı bakışta, iki taraflı alfa 0.05 ile iki klasik seçenek:
| Bakın | Planlanan örneklemin payı | O'Brien-Fleming: p varsa durun | Pocock: p varsa durun |
|---|---|---|---|
| 1 (1. haftanın sonu) | 25% | 0.0001 | 0.0179 |
| 2 (2. haftanın sonu) | 50% | 0.0055 | 0.0179 |
| 3 (3. haftanın sonu) | 75% | 0.0216 | 0.0184 |
| 4 (4. haftanın sonu) | 100% | 0.0411 | 0.0188 |
| Maksimum örneklem vs. sabit test | + 3% | + 20% |
Bunlar Lan-DeMets harcama fonksiyonları ile hesaplandı ve yayınlanmış karakterizasyonla eşleşiyor: O'Brien-Fleming "başlangıçta çok katı eşikler kullanıyor, ancak nihai analiz eşiği tipik p < 0.05'e yakın", Pocock ise p < 0.016 civarında neredeyse sabit bir eşik tutuyor (Ciolino, Kaizer ve Bonner, 2023).
O'Brien-Fleming ucuz bir sigorta gibidir: neredeyse hiçbir zaman ilk bakışta hata vermez, maksimum örneklem maliyeti yaklaşık %3 daha fazladır ve son eşik değeri 0.05'ten biraz daha dardır. Pocock çok daha sık erken durur ancak %20 daha fazla trafik ücreti alır. Gelirle bağlantılı ölçümler için varsayılan olarak O'Brien-Fleming'i kullanın.
4. Kuralı, lansmandan önce biletin içine yazın.
Testi durdurabilen herkesin görebileceği tek bir cümle: "1. ila 4. haftaların sonuna bakıyoruz, yalnızca [birincil ölçüt] için iki taraflı p-değeri o bakışın eşiğinin altında ise kazananı ilan ediyoruz, aksi takdirde 4. haftaya kadar devam ediyoruz." Birinin kafasında yaşayan bir kural, kural değildir.
5. Faydasızlık sınırını da belirleyin.
Çoğu ekip yalnızca etkinlik sınırlarını uygular, bu nedenle kazananları erken durdurur ve kaybedenlerin tam süre boyunca devam etmesine izin verir; bu da fırsat maliyeti açısından terstir. Bağlayıcı olmayan bir sonuçsuzluk sınırı (anlamlı bir zaferin imkansız hale geldiği anda durdurma) takvim tasarrufunun büyük kısmının kaynağıdır. Dört O'Brien-Fleming bakışıyla, gerçek bir etki altında beklenen örneklem, sabit ufuk gereksiniminin yaklaşık %83'üne düşer.
6. İlk nokta tahminini etki büyüklüğü olarak bildirmeyin.
Erken durdurulan bir test durduruldu Çünkü Gözlemlenen kaldırma kuvveti alışılmadık derecede büyüktü, bu nedenle tahmin, yapım aşamasından dolayı yukarı doğru sapma göstermektedir. Bunu gelir tahmini için değil, gemi kararı için kullanın. Statsig: "Erken kararlar genellikle yüksek belirsizlikle birlikte yetersiz kaldırma kuvveti tahminleri üretir."
Lansman öncesi kontrol listesi
- Lansmandan önce yazılı olarak belirtilen temel ölçütlerden biri.
- Maksimum örneklem sayısı ve takvim bitiş tarihi sabitlendi.
- Sayı ve zamanlama açısından sabit görünüyor, tüm haftalara göre ayarlanmış.
- Harcama fonksiyonu seçildi, eşikler fişe yazıldı.
- Sadece etkinlik kuralı değil, sonuçsuzluk kuralı da tanımlandı.
- SRM her detayı kontrol etti. önce p değeri okunur.
- Bariyer ölçümleri, durdurma kuralının dışında, ayrı olarak izlenir.
- Testi durdurabilecek herkes, plansız bakışların yasak olduğunu bilir.
Bunu Türkiye ve bölge için kalibre etmek
Ticaret Bakanlığı'nın Mayıs 2026'da sunduğu E-Ticaret Görünüm Raporu'na göre, Türkiye 2025 yılında 4.57 trilyon TL hacimle 5.94 milyar e-ticaret işlemi kaydetti.Daily Sabah, 12 Mayıs 2026Büyük bir pazar olup çoğunlukla orta ölçekli mağazalardan oluşmaktadır, bu nedenle dört haftalık satış dönemleri rutin hale gelmiştir - bu süre bir kampanya ile çakışacak kadar uzundur.
Yerel halk arasında Efsane Cuma olarak bilinen kasım sonundaki indirim dönemi ve ondan önceki 11.11 etkinliği, değişikliklere yol açar. kim Önemli olan sitede ne kadar çok olduğu değil, ne kadar çok ziyaretçi olduğudur. İndirim odaklı ziyaretçiler farklı bir mantıkla dönüşüm sağlarlar, bu nedenle bir kampanya sınırını aşan bir zaman çizelgesi tek bir popülasyonu ölçmez. Kuralımız: kampanyadan önce bitirin veya kampanyadan sonra başlayın. Eğer bir testin kampanya haftası boyunca yürütülmesi gerekiyorsa, kampanya haftasını kendi katmanı olarak ele alın ve bu hafta içinde durdurma kararı almayın.
İkinci bir düzenleme, AB genelinde ve Türkiye'deki KVKK uyumlu onay banner'ları için geçerlidir: eğer analizler onay gerektiriyorsa, trafiğinizin bir kısmı gözlemlenmez. Boyut ve zamanlama konusunda gözlenen ya da her görünüm takvimde belirtilenden daha geç gelir.
[GEREKLİ DAHİLİ VERİLER: Switas e-ticaret müşterileri genelinde ortalama günlük oturum sayısı ve ortalama gerçekleşen test süresi; burada verilen 5,000 oturum/gün rakamı gerçek bir dağılımla değiştirilmelidir.]
Bu durumun bozulduğu nokta
- Kompozisyon değişikliği. Ardışık yöntemler, gelen veri akışının zaman içinde değiştirilebilir olduğunu varsayar. Bir kampanya veya ücretli medya değişikliği bunu bozar ve erken durdurma, olağandışı olan haftayı kilitler.
- Yenilik ve öncelik. Birinci haftadaki ölçüm, yerleşik davranışı değil, tepkiyi ölçer. Değişim geri dönen müşteriler tarafından görülebiliyorsa, birinci değerlendirmeye hiçbir etkinlik sınırı koymayın.
- Ağır kuyruklu metrikler. Oturum başına gelir, nadir görülen büyük siparişlerden etkilenir ve küçük ara örneklemelerde normal yaklaşımlar güvenilir değildir. Dönüşüm oranına odaklanın ve geliri de yanında okuyun veya Winsorise kullanarak bunu belirtin.
- Birden fazla ölçüt. Bu sınırlar hatayı kontrol eder. bir Beş ölçüt, beş durdurma kuralı ve daha fazla düzeltme yapılmaması sizi başladığınız yere geri götürür.
- Arızalı cihazlar. Sıralı bir test, bozuk verilerde bile sınırları rahatlıkla aşabilir. Ancak bu, SRM kontrolünün yerini tutmaz.
- Burada ele alınmayanlar: Bayesyen durdurma kuralları, çok kollu kumarbaz algoritmaları ve CUPED gibi varyans azaltma yöntemleri. Her biri, erken durdurma ile ayrı ayrı ele alınması gereken şekillerde etkileşime girer.
SSS
Bu bölümü FAQPage şemasıyla işaretleyin.
Harcama fonksiyonu yerine daha katı bir p-değeri kullanabilir miyim?
Evet, eğer önceden bakılacak örnek sayısını belirlerseniz ve sadece birkaç tane varsa. Miller'ın tablosu eşik değerini veriyor. Alfa harcamalarından daha muhafazakar, bu yüzden gerekenden daha fazla örneklem için ödeme yapıyorsunuz, ancak yeni bir ekipmana ihtiyaç duymuyorsunuz.
Ardışık test yöntemi, örneklem büyüklüğü hesaplamasını atlayabileceğim anlamına mı geliyor?
Hayır. Geçerlilik, örneklem büyüklüğü tahmini olmadan korunur; güç ise korunmaz. Hem Georgiev hem de Spotify simülasyonları aynı deseni gösteriyor: örneklem büyüklüğünü tahmin edebildiğinizde, grup sıralı tasarım baskın hale geliyor.
Peki ya kazanmayı değil de gerilemeyi bekliyorsam?
Bu, hipotez testi değil, güvenlik önlemlerinin izlenmesidir. Ayrı, daha gevşek bir kural altında güvenlik ve hata ölçütlerini sürekli olarak izleyin ve birincil durdurma kuralına dokunmayın. Kullanıcılara zarar veren bir varyantı ortadan kaldırmak için törene gerek yok.
Bayesyen testler, bilgi edinmeye karşı bağışık mıdır?
Hayır. Bir olasılık eşiği aştığı anda durmak, kural isteğe bağlı durdurma için tasarlanmamışsa, karar kuralının çalışma özelliklerini değiştirir. Önsel olasılık, problemin varlığını değil, şeklini değiştirir.
O'Brien-Fleming mi yoksa Pocock mu?
O'Brien-Fleming neredeyse her ticari durumda tercih edilir. Pocock'u yalnızca erken bir yanıtın somut bir değeri olduğunda, yaklaşık %20 daha fazla maksimum numuneyi absorbe edebildiğinizde ve birisi 1. hafta sonucuna göre sevkiyata hazır olduğunda seçin.
Planlamadığım bir görünüm ekleyebilir miyim?
Alfa harcama fonksiyonu ile evet, ancak bakma kararının göreceğiniz veriler tarafından yönlendirilmemesi şartıyla. Gösterge panosunun "yakın göründüğü" gerekçesiyle bir bakma işlemi eklemek, veriye bağlı bir zamanlamadır ve garantiyi geçersiz kılar.
Bu konuda bizimle çalışın.
Eğer Türk veya bölgesel bir e-ticaret platformunda deneyler yapıyorsanız ve bugünkü durdurma kuralı "her sabah kontrol et" ise, bunu sizinle birlikte yeniden oluşturacağız: boyutlandırma, arama programı, sınırlar, başarısızlık kuralı ve SRM kapısı, deney şablonunuza yazılacak ve böylece bir sonraki test bunu devralacak. Deney programınız hakkında Switas ile görüşün..
kaynaklar
- Evan Miller, A/B Testi Nasıl Yapılmamalı?
- Johari, Pekelis, Walsh ve Koomen, Her Zaman Geçerli Çıkarım: A/B Testlerinin Sürekli İzlenmesi; yayınlandı Yöneylem Araştırması 70(3), 2022
- Georgi Georgiev, Ardışık testlerin istatistiksel gücünün karşılaştırılmasıAnalitik Araç Seti, Kasım 2022 (Mart 2023'te güncellendi)
- Schultzberg ve Ankargren, Sıralı Test Çerçevesi SeçimiSpotify Mühendislik Departmanı, Mart 2023
- Optimize, İstatistiksel analiz yöntemlerine genel bakış
- İstatistik, Sıklıkçı Ardışık Test
- Ciolino, Kaizer ve Bonner, Klinik araştırmalarda ara analiz yöntemlerine ilişkin kılavuz, J Klinik Çeviri Bilimi 7(1):e124, 2023
- Penn State STAT 509, Alfa Harcama Fonksiyonu yaklaşımı
- rpact, Grup Sıralı Sınırlarının Tanımlanması
- Türkiye'nin e-ticaret hacmi 2025'te %52'den fazla artacak.Daily Sabah, 12 Mayıs 2026, Ticaret Bakanlığı E-Ticaret Görünüm Raporu'nu bildiriyor.
