SwitasBize Ulaşın

A/B Testi Metriklerini ve Terminolojisini Anlamak

Çağdaş Polat · · 4 dk okuma

A/B testi, web sitelerini ve uygulamaları optimize etmede kullanılan kritik bir yöntemdir; işletmelerin bir web sayfasının veya uygulamanın iki sürümünü karşılaştırarak hangisinin daha iyi performans gösterdiğini belirlemesine olanak tanır. A/B testinde yer alan temel metrikleri ve terminolojiyi anlamak, sonuçları doğru yorumlamak için şarttır. Bu yazıda önemli A/B testi metriklerini ve terminolojisini inceleyeceğiz: p-değeri, güven aralığı, tek yönlü ve çift yönlü testler, z-skoru, gözlemlenen güç, varyant, kontrol grubu, artımlı gelir, dönüşüm oranı ve Bayesçi hesaplama.

Temel A/B Testi Metrikleri ve Terminolojisi

1. Varyant

Varyant, bir A/B testinde test edilen sürümlerden birini ifade eder. Genellikle mevcut sürüme kontrol, yeni sürüme ise varyant denir.

Örnek: Bir açılış sayfası A/B testinde Sürüm A (mevcut sayfa) kontrol, Sürüm B (yeni tasarım) ise varyanttır.

2. Kontrol Grubu

Kontrol grubu, bir A/B testinde orijinal sürüme (kontrol) maruz kalan kullanıcı grubudur. Varyantın performansını karşılaştırmak için bir temel oluşturur.

Örnek: Bir web sitesini 10.000 kullanıcı ziyaret ederse, 5.000'i kontrol sayfasını (kontrol grubu), 5.000'i ise varyant sayfasını görebilir.

 

Incremental-revenue.png
Kaynak: https://getrecast.com/incrementality/

 

3. Artımlı Gelir

Artımlı gelir, bir A/B testi sırasında yapılan değişiklikler sonucunda elde edilen ek geliri ifade eder. Testin finansal etkisini değerlendirmeye yardımcı olur.

Örnek: Varyant sayfa ortalama sipariş değerini 5 dolar artırır ve 1.000 ek satın alma gerçekleşirse, artımlı gelir 5.000 dolardır.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Dönüşüm Oranı

Dönüşüm oranı, toplam ziyaretçi sayısı içinde satın alma veya bültene kaydolma gibi istenen bir eylemi tamamlayan kullanıcıların yüzdesidir.

Örnek: 1.000 ziyaretçiden 100'ü satın alma yaparsa dönüşüm oranı %10'dur.

5. P-Değeri

P-değeri, iki varyasyon arasında gözlemlenen farkın tesadüfen ortaya çıkma olasılığını ölçer. Daha düşük bir p-değeri (genellikle 0,05'ten küçük), gözlemlenen farkın istatistiksel olarak anlamlı olduğunu gösterir.

Örnek: Bir A/B testinin bir açılış sayfasının iki sürümünü karşılaştırdığını varsayalım. Sürüm A'nın dönüşüm oranı %5, Sürüm B'nin dönüşüm oranı %7'dir. P-değeri 0,03 ise gözlemlenen farkın tesadüfen ortaya çıkma olasılığı %3'tür; bu da iki sürüm arasında anlamlı bir fark olduğunu gösterir.

 

confidence-interval-formula.jpg

 

6. Güven Aralığı

Güven aralığı, gerçek etki büyüklüğünün belirli bir güven düzeyiyle içinde yer alması beklenen bir aralık sunar (genellikle %95). Test sonuçlarının güvenilirliğini değerlendirmeye yardımcı olur.

Örnek: Aynı A/B testinde, dönüşüm oranlarındaki fark için %95 güven aralığı [%1, %3] olabilir. Bu, dönüşüm oranlarındaki gerçek farkın %1 ile %3 arasında olduğundan %95 emin olduğumuz anlamına gelir.

7. Tek Yönlü ve Çift Yönlü Testler

Tek yönlü test, etkinin yönünü değerlendirirken (ör. Sürüm B'nin Sürüm A'dan daha iyi olup olmadığı), çift yönlü test herhangi bir yönde bir fark olup olmadığını değerlendirir.

Tek Yönlü Test Örneği: Sürüm B'nin dönüşüm oranının Sürüm A'nınkinden yüksek olup olmadığını test eder.
Çift Yönlü Test Örneği: Yönden bağımsız olarak, Sürüm A ile Sürüm B'nin dönüşüm oranları arasında herhangi bir fark olup olmadığını test eder.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Z-Skoru

Z-skoru, bir öğenin ortalamadan kaç standart sapma uzakta olduğunu ölçer. A/B testinde, iki varyasyon arasında gözlemlenen farkın anlamlılığını belirlemek için kullanılır. Yaygın güven düzeyleri ve bunlara karşılık gelen z-skorları:

  • Güven aralığı %95
    • Çift Yönlü Z-Skoru: 1.96
    • Tek Yönlü Z-Skoru: 1.65
  • Güven aralığı %99
    • Çift Yönlü Z-Skoru: 2.58
    • Tek Yönlü Z-Skoru: 2.33
  • Güven aralığı %90
    • Çift Yönlü Z-Skoru: 1.64
    • Tek Yönlü Z-Skoru: 1.28

Örnek: Sürüm A ile Sürüm B arasındaki dönüşüm oranı farkına ait z-skoru 2,5 ise, bu fark ortalamadan 2,5 standart sapma uzaktadır ve istatistiksel olarak anlamlı bir farka işaret eder.

9. Gözlemlenen Güç

Gözlemlenen güç, gerçek bir etki olduğunda testin sıfır hipotezini doğru biçimde reddetme olasılığını ifade eder. Daha yüksek gözlemlenen güç, gerçek bir farkı tespit etme olasılığının daha yüksek olduğunu gösterir.

Örnek: Gözlemlenen gücü 0,8 (%80) olan bir A/B testinde, varyasyonlar arasında gerçek bir fark varsa bunu tespit etme olasılığı %80'dir.

 

bayesian-formula.png
Kaynak: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Bayesçi Hesaplama

Bayesçi hesaplama, ek kanıtlar elde edildikçe bir hipotez için olasılık tahminini güncellemek amacıyla Bayes teoremini kullanmayı içerir. A/B testinde, verilere dayanarak karar vermek için olasılıksal bir çerçeve sunar.

Örnek: Bayesçi yöntemleri kullanarak, yalnızca geleneksel p-değerlerine güvenmek yerine, gözlemlenen veriler göz önüne alındığında bir varyantın kontrolden daha iyi olma olasılığını belirleyebilirsiniz.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Kaynak: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Sıklıkçı (Frequentist) İstatistik

Sıklıkçı istatistik, hipotez testinde verinin sıklığına veya oranına odaklanan geleneksel bir yaklaşımdır. Sabit veri kümelerine dayanır ve önsel bilgiyi ya da olasılık dağılımlarını dahil etmez.

Örnek: A/B testine sıklıkçı bir yaklaşımda, önsel olasılıkları dahil etmeden test sonuçlarının anlamlılığını belirlemek için p-değerleri ve güven aralıkları kullanılır.

Pratik Örnekler

Örnek 1: E-posta Kampanyası A/B Testi

Bir şirket, hangisinin daha yüksek açılma oranı sağladığını görmek için iki e-posta konu satırını test etmek istiyor.

  • Konu Satırı A: %25 açılma oranı
  • Konu Satırı B: %28 açılma oranı
  • P-Değeri: 0,02 (anlamlı bir farka işaret eder)
  • Güven Aralığı: [%2, %5] (açılma oranlarındaki gerçek farkın %2 ile %5 arasında olduğuna dair %95 güven)
  • Z-Skoru: 2,33 (istatistiksel olarak anlamlı bir farka işaret eder)
  • Gözlemlenen Güç: 0,85 (gerçek bir farkı tespit etme olasılığı %85)
Örnek 2: Web Sitesi Açılış Sayfası A/B Testi

Bir e-ticaret web sitesi, hangisinin daha fazla satın almaya yol açtığını belirlemek için iki açılış sayfası tasarımını test ediyor.

  • Tasarım A: %4 dönüşüm oranı
  • Tasarım B: %5 dönüşüm oranı
  • P-Değeri: 0,045 (anlamlı bir farka işaret eder)
  • Güven Aralığı: [%0,5, %1,5] (dönüşüm oranlarındaki gerçek farkın %0,5 ile %1,5 arasında olduğuna dair %95 güven)
  • Z-Skoru: 2,01 (istatistiksel olarak anlamlı bir farka işaret eder)
  • Gözlemlenen Güç: 0,78 (gerçek bir farkı tespit etme olasılığı %78)

A/B testi dijital deneyimleri optimize etmek için güçlü bir araçtır ve temel metriklerini ve terminolojisini anlamak doğru yorumlama için çok önemlidir. Switas, etkili A/B testlerinin nasıl yürütüleceğini bilir; işletmelerin performanslarını artırmak için veriye dayalı kararlar almasını sağlar ve büyüme ile başarıyı destekleyen güvenilir, uygulanabilir içgörüler sunar.

İlgili makaleler

Tüm makaleler →

Bir sonrakini birlikte inşa edelim.

Bize Ulaşın