A/B testi, web sitelerini ve uygulamaları optimize etmede kullanılan önemli bir yöntemdir ve işletmelerin bir web sayfasının veya uygulamanın iki sürümünü karşılaştırarak hangisinin daha iyi performans gösterdiğini belirlemesine olanak tanır. A/B testinde yer alan temel metrikleri ve terminolojiyi anlamak, sonuçların doğru bir şekilde yorumlanması için çok önemlidir. Bu makalede önemli A/B testi metriklerini ve terminolojisini inceleyeceğiz. p değeri, güven aralığı, tek taraflı ve iki taraflı testler, z skoru, gözlemlenen güç, değişken, kontrol grubu, artan gelir, dönüşüm oranı ve Bayes hesaplaması.
Temel A/B Testi Metrikleri ve Terminolojisi
1. Varyant
Varyant, A/B testinde test edilen sürümlerden birini ifade eder. Genellikle mevcut sürüme kontrol, yeni sürüme ise varyant adı verilir.
Örnek: Bir açılış sayfasının A/B testinde Sürüm A (geçerli sayfa) kontrol, Sürüm B (yeni tasarım) ise varyanttır.
2. Kontrol Grubu
Kontrol grubu, bir A/B testinde orijinal sürüme (kontrol) maruz kalan kullanıcılardan oluşan gruptur. Varyantın performansını karşılaştırmak için bir temel görevi görür.
Örnek: Bir web sitesini 10,000 kullanıcı ziyaret ederse, 5,000 kişi kontrol sayfasını (kontrol grubu) görebilir ve 5,000 kişi de varyant sayfasını görebilir.
3. Artan Gelir
Artımlı gelir, A/B testi sırasında yapılan değişiklikler sonucunda elde edilen ek geliri ifade eder. Testin mali etkisinin değerlendirilmesine yardımcı olur.
Örnek: Varyant sayfasının ortalama sipariş değerini 5 ABD Doları artırması ve 1,000 ek satın alma yapılması durumunda artan gelir 5,000 ABD Doları olur.
4. Dönüşüm oranı
Dönüşüm oranı, satın alma işlemi yapmak veya bir haber bültenine kaydolmak gibi istenen bir işlemi tamamlayan kullanıcıların toplam ziyaretçi sayısı içindeki yüzdesidir.
Örnek: 100 ziyaretçiden 1,000'ü alışveriş yaparsa dönüşüm oranı %10 olur.
5. P-Değeri
P değeri, iki varyasyon arasında gözlemlenen farkın tesadüfen ortaya çıkma olasılığını ölçer. Daha düşük bir p değeri (tipik olarak 0.05'ten az), gözlemlenen farkın istatistiksel olarak anlamlı olduğunu gösterir.
Örnek: Bir A/B testinin bir açılış sayfasının iki versiyonunu karşılaştırdığını varsayalım. A Versiyonunun dönüşüm oranı %5, Versiyon B'nin dönüşüm oranı ise %7'dir. P değeri 0.03 ise, gözlenen farkın şans eseri oluşma ihtimali %3'tür, bu da iki versiyon arasında anlamlı bir fark olduğunu gösterir.
6. Güven Aralığı
Güven aralığı, belirli bir güven düzeyiyle birlikte gerçek etki büyüklüğünün içinde yer almasının beklendiği bir aralık sağlar (genellikle %95). Test sonuçlarının güvenilirliğinin değerlendirilmesine yardımcı olur.
Örnek: Aynı A/B testinde dönüşüm oranlarındaki fark için %95 güven aralığı [%1, %3] olabilir. Bu, dönüşüm oranlarındaki gerçek farkın %95 ile %1 arasında olduğundan %3 emin olduğumuz anlamına gelir.
7. Tek Taraflı ve İki Taraflı Testler
Tek taraflı bir test, etkinin yönünü değerlendirir (örneğin, Versiyon B'nin Versiyon A'dan daha iyi olup olmadığı), iki taraflı bir test ise her iki yönde de herhangi bir fark olup olmadığını değerlendirir.
Tek Taraflı Test Örneği: Sürüm B'nin dönüşüm oranının Sürüm A'dan yüksek olup olmadığını test eder.
İki Taraflı Test Örneği: Yönüne bakılmaksızın Sürüm A ile Sürüm B'nin dönüşüm oranları arasında herhangi bir fark olup olmadığını test eder.
8. Z-Skoru
Z-puanı, bir öğenin ortalamadan ne kadar standart sapma uzakta olduğunu ölçer. A/B testinde iki varyasyon arasında gözlenen farkın önemini belirlemek için kullanılır. Ortak güven düzeyleri ve bunların z-puanı eşdeğerleri:
- Güven aralığı %95
- İki Taraflı Z Skoru: 1.96
- Tek Taraflı Z Skoru: 1.65
- Güven aralığı %99
- İki Taraflı Z Skoru: 2.58
- Tek Taraflı Z Skoru: 2.33
- Güven aralığı %90
- İki Taraflı Z Skoru: 1.64
- Tek Taraflı Z Skoru: 1.28
Örnek: Versiyon A ile Versiyon B arasındaki dönüşüm oranları farkına ilişkin z skorunun 2.5 olması, farkın ortalamadan 2.5 standart sapma uzakta olduğunu gösterir ve istatistiksel olarak anlamlı bir fark olduğunu gösterir.
9. Gözlemlenen Güç
Gözlemlenen güç, gerçek bir etki olduğunda testin sıfır hipotezini doğru bir şekilde reddetme olasılığını ifade eder. Gözlemlenen gücün yüksek olması, gerçek bir farkın tespit edilmesi olasılığının yüksek olduğunu gösterir.
Örnek: Gözlenen gücü 0.8 (%80) olan bir A/B testinde, varyasyonlar arasında gerçek bir fark varsa tespit etme şansı %80'dir.
10. Bayes Hesaplaması
Bayes hesaplaması, ek kanıtlar elde edildikçe bir hipotezin olasılık tahminini güncellemek için Bayes teoreminin kullanılmasını içerir. A/B testinde verilere dayalı kararlar almak için olasılıksal bir çerçeve sağlar.
Örnek: Bayesian yöntemlerini kullanarak, yalnızca geleneksel p değerlerine güvenmek yerine, bir değişkenin gözlemlenen veriler verilen kontrolden daha iyi olma olasılığını belirleyebilirsiniz.
11. Frequentist İstatistikleri
Frekansçı istatistik, hipotez testinde verilerin sıklığına veya oranına odaklanan geleneksel bir yaklaşımdır. Sabit veri kümelerine dayanır ve ön bilgi veya olasılık dağılımlarını kapsamaz.
Örnek: A/B testine yönelik Frequentist bir yaklaşımda, test sonuçlarının önemini belirlemek için önceki olasılıkları dahil etmeden p değerlerini ve güven aralıklarını kullanırsınız.
Pratik Örnekler
Örnek 1: E-posta Kampanyası A/B Testi
Bir şirket, hangisinin daha yüksek açılma oranlarıyla sonuçlandığını görmek için iki e-posta konu satırını test etmek istiyor.
- Konu Satırı A: % 25 açık fiyat
- Konu Satırı B: % 28 açık fiyat
- P-Değeri: 0.02 (önemli bir farkı gösterir)
- Güven aralığı: [%2, %5] (açık oranlardaki gerçek farkın %95 ile %2 arasında olduğuna dair %5 güven)
- Z-Skoru: 2.33 (istatistiksel olarak anlamlı bir fark olduğunu gösteriyor)
- Gözlemlenen Güç: 0.85 (%85 gerçek farkı tespit etme şansı)
Örnek 2: Web Sitesi Açılış Sayfası A/B Testi
Bir e-ticaret sitesi, hangisinin daha fazla satın alma sağladığını belirlemek için iki açılış sayfası tasarımını test eder.
- Tasarım A: % 4 dönüşüm oranı
- Tasarım B: % 5 dönüşüm oranı
- P-Değeri: 0.045 (önemli bir farkı gösterir)
- Güven aralığı: [%0.5, %1.5] (%95, dönüşüm oranlarındaki gerçek farkın %0.5 ile %1.5 arasında olduğuna dair güven)
- Z-Skoru: 2.01 (istatistiksel olarak anlamlı bir fark olduğunu gösteriyor)
- Gözlemlenen Güç: 0.78 (%78 gerçek farkı tespit etme şansı)
A / B testi dijital deneyimleri optimize etmek için güçlü bir araçtır ve temel ölçümlerini ve terminolojisini anlamak, doğru yorumlama için çok önemlidir. Switas nasıl etkili davranılacağını biliyor A / B testleri, işletmelerin performanslarını artırmak için veriye dayalı kararlar alabilmelerini sağlar ve büyümeyi ve başarıyı artıran güvenilir ve eyleme geçirilebilir bilgiler sağlar.
