A/B testi, bir web sayfasının, uygulama ekranının, e-postanın veya başka bir dijital varlığın iki ya da daha fazla versiyonunu karşılaştırarak hangisinin tıklama oranı, kayıt oranı veya ziyaretçi başına gelir gibi tanımlı bir hedef açısından daha iyi performans gösterdiğini belirlemek için kullanılan kontrollü bir deney yöntemidir. En basit biçimiyle trafik, bir kontrol versiyonu (A) ile bir varyant (B) arasında rastgele bölünür ve elde edilen veriye istatistiksel analiz uygulanarak gözlenen performans farkının gerçek bir etki mi yoksa yalnızca rastgele değişkenliğin sonucu mu olduğuna karar verilir. Bu teknik, klinik araştırmalarda ve tarım biliminde kullanılan randomize kontrollü deney yönteminden doğrudan ödünç alınmıştır; uygulayıcıların test tasarımından söz ederken istatistiksel anlamlılık, güven aralıkları ve örneklem büyüklüğü hesaplarına sıkça atıf yapmasının nedeni de budur.
A/B testi, iç tartışmaların ve öznel görüşlerin yerine, gerçek ziyaretçilerin gerçekte nasıl davrandığına dair ampirik kanıtı koyduğu için önemlidir. Tasarım ve pazarlama ekipleri hangi başlığın, buton renginin, sayfa düzeninin veya fiyatlandırma yapısının daha iyi dönüşüm sağlayacağı konusunda sıklıkla anlaşamaz; sezgi ise bilinen şekilde güvenilmez bir rehberdir: e-ticaret ve SaaS sitelerinde yapılan çalışmalar, dönüşüm oranlarını artırması beklenen değişikliklerin yapılan testlerin yaklaşık yüzde 80 ila 90'ında ya bunu başaramadığını ya da oranı düşürdüğünü defalarca göstermiştir. Bir hipotezi canlı bir kitleye sunup sonucu doğrudan ölçen A/B testi, kuruluşların mühendislik zamanını, pazarlama bütçesini veya marka riskini tam bir yayına bağlamadan önce fikirleri doğrulamasına ya da reddetmesine olanak tanır.
Geçerli bir A/B testi yürütmek, trafiği bölüp dönüşüm sayılarını karşılaştırmaktan fazlasını gerektirir. Analistler, başlangıç dönüşüm oranına, işletmenin önemsediği en küçük saptanabilir etkiye, istenen istatistiksel güce (genellikle yüzde 80) ve anlamlılık düzeyine (genellikle yüzde 95 ya da 0,05'in altında bir p-değeri) dayanarak asgari örneklem büyüklüğünü önceden hesaplar. Testler, haftanın günlerine bağlı etkileri hesaba katmak ve rastgele bir dalgalanma üzerine erken durmaktan (bakma hatası, yani "peeking" olarak bilinen bir yanlış) kaçınmak için genellikle en az bir ila iki tam iş döngüsü, çoğunlukla 14 ila 30 gün boyunca yürütülür. VWO, Optimizely ve AB Tasty gibi araçlar rastgele dağıtımı, takibi ve istatistiksel hesaplamaları üstlenir; ancak çıktıyı yorumlamak yine de örneklem oranı uyumsuzluğu (sample ratio mismatch) ve yenilik etkisi gibi kavramları anlamayı gerektirir.
Yaygın bir yanılgı, tek bir testten elde edilen istatistiksel olarak anlamlı bir sonucun kalıcı ve evrensel bir gerçek olduğudur. Gerçekte sonuçlar, testin yürütüldüğü trafik segmentine, döneme ve bağlama özgüdür; kitleler, mevsimler veya rekabet koşulları değiştikçe zayıflayabilir ya da tersine dönebilir. Bir diğer sık tuzak, yeterli trafik olmadan aynı anda çok fazla değişkeni test etmektir; bu, yanlış pozitifler bildiren ya da hiçbir zaman anlamlılığa ulaşamayan, istatistiksel gücü düşük testler üretir. Birden fazla öğenin kombinasyonlarını aynı anda inceleyen çok değişkenli testler, basit iki varyantlı bir A/B testine kıyasla çok daha fazla trafik gerektirir ve örneklem büyüklüğü gereksinimlerini aşmanın bir kestirme yolu değildir.
Bir CRO veya UX danışmanlığı çalışmasında A/B testi, kullanıcı görüşmeleri, ısı haritaları ve oturum kayıtları gibi nitel araştırmaları doğrulanmış, gelire etki eden kararlara dönüştüren mekanizmadır. İyi yürütülen bir test programı genellikle yapılandırılmış bir süreci izler: veri ve araştırma yoluyla bir sürtünme noktasını belirlemek, nedeni ve çözümü hakkında belirli bir hipotez kurmak, bir puanlama çerçevesiyle diğer fikirlere göre önceliklendirmek, deneyi istatistiksel geçerliliğe ulaşana dek yürütmek ve varyant kazansa da kaybetse de öğrenilenleri belgelemek. Zamanla bu süreç, maliyetli yeniden tasarım risklerini azaltan kanıta dayalı bir yol haritası oluşturur ve belirli bir sitede müşteri davranışını gerçekte neyin yönlendirdiğine dair kurumsal bilgi birikimi yaratır.
A ile başlayan diğer terimler
AARRR Korsan Metrikleri (Pirate Metrics)Ekran Üstü Alan (Above the Fold)Kabul Kriterleri (Acceptance Criteria)Erişilebilirlik (WCAG Uyumluluğu)Erişilebilirlik Denetimi (Accessibility Audit)Satış Ortaklığı Pazarlaması (Affiliate Marketing)Algılanan Kullanım Imkânı (Affordance)Çevik Geliştirme (Agile Development)Atomik Tasarım (Atomic Design)Atıf Modelleme (Attribution Modeling)Atıf Penceresi (Attribution Window)Ortalama Sipariş Değeri (AOV)
