Çok değişkenli test (MVT), aynı sayfadaki iki veya daha fazla bileşenin birden fazla varyasyonunu eş zamanlı olarak test ederek, birden çok sayfa öğesinin birbiriyle nasıl etkileşime girdiğini ve dönüşüm oranı gibi hedef bir metrik üzerindeki birleşik etkisini ölçen bir deney yöntemidir. Standart bir A/B testi tam bir sayfa varyantını bir diğeriyle karşılaştırırken, çok değişkenli bir test aynı anda başlığı iki, kahraman (hero) görseli üç şekilde değiştirerek trafiğin farklı kesimlerine gösterilen altı ayrı kombinasyon üretebilir. Sonuç yalnızca genel olarak en iyi performans gösteren kombinasyonu belirlemekle kalmaz; her öğenin bireysel katkısını ve öğeler arasında etkileşim olup olmadığını, yani bir bileşenin etkisinin eşleştiği diğer bileşenin hangi versiyonu olduğuna bağlı olup olmadığını da ortaya koyar.
Bu yaklaşım, bir ekibin yalnızca bütüncül bir yeniden tasarımın bir diğerinden iyi olduğunu doğrulamak yerine sayfanın hangi belirli öğelerinin performansı yönlendirdiğini anlaması gerektiğinde değerlidir. Örneğin yeniden tasarlanmış bir açılış sayfası tek bir A/B varyantı olarak test edildiğinde kazanabilir; ancak çok değişkenli test olmadan iyileşmenin yeni başlıktan, yeniden konumlandırılan formdan ya da güncellenen görsellerden gelip gelmediğini bilmenin yolu yoktur. Bu bilgi, çıkarımları diğer sayfalara uygularken önem taşır. Çok değişkenli test en çok yüksek trafikli sayfalarda işe yarar; çünkü hücre (cell) olarak adlandırılan birçok kombinasyon arasındaki anlamlı farkları saptamak için gereken istatistiksel koşul, eklenen her değişkenle birlikte önemli ölçüde artar. Her biri üç varyasyonlu iki değişkenli tam faktöriyel bir tasarım dokuz hücre gerektirir ve her hücrenin güvenilir istatistiksel anlamlılığa ulaşabilmesi için yeterli bir örneklem büyüklüğüne, genellikle hücre başına yüzlerce ya da binlerce dönüşüme ihtiyacı vardır.
Bu trafik gereksinimi nedeniyle MVT genellikle bir e-ticaret ana sayfası veya yüksek niyetli bir ürün sayfası gibi zaten yüksek hacim alan sayfalara ayrılır. Niş bir B2B açılış sayfası gibi düşük trafikli sayfalarda ise daha az uygundur; bu tür sayfalarda art arda yapılan basit A/B testleri genellikle uygulanabilir sonuçlara daha hızlı ulaşır. Test platformları çok değişkenli testte genellikle iki istatistiksel yaklaşım sunar: azami içgörü için olası her kombinasyonu test eden tam faktöriyel yöntem ve bazı etkileşim verisinden vazgeçerek sonuçlara daha hızlı ulaşmak için kombinasyonların azaltılmış bir alt kümesini test eden kesirli faktöriyel veya Taguchi yöntemleri.
Sık görülen bir yanlış anlama, çok değişkenli testi birkaç A/B testini aynı anda yapmanın daha hızlı bir yolu olarak görmektir. Gerçekte trafik çok daha fazla varyanta bölündüğü için, tek bir A/B testiyle aynı istatistiksel güvene ulaşmak için anlamlı ölçüde daha fazla trafik ve daha uzun bir test süresi gerekir. Yetersiz güçle yapılan bir çok değişkenli test, yani sonuçlar yorumlanmadan önce hücre başına gereken örneklem büyüklüğüne ulaşılmamış bir test, dönüşüm optimizasyonu çalışmalarında yanlış sonuçların en yaygın nedenlerinden biridir. Bir diğer yaygın neden de testin, haftalık mevsimselliği hesaba katmak için genellikle iki ila dört hafta olarak belirlenen planlanan sürenin tamamı beklenmeden, ilk haftadaki öncü sonuçlara bakılarak erken durdurulmasıdır.
CRO danışmanlığı pratiğinde çok değişkenli test genellikle, daha basit A/B testleri bir hipotezin genel yönünü zaten doğruladıktan sonra kullanılan gelişmiş bir araç olarak konumlandırılır. Müşterinin yeterli trafiğe sahip olduğu ve gelecekteki tasarım çalışmalarında hangi sayfa öğelerine öncelik vereceği konusunda ayrıntılı içgörü istediği durumlar için ayrılır. Danışmanlar MVT sonuçlarını genellikle ısı haritaları veya kullanıcı görüşmeleri gibi nitel araştırmalarla eşleştirir. Böylece yalnızca hangi kombinasyonun sayısal olarak kazandığı değil, kullanıcıların ona neden tepki verdiği de açıklanır ve tek bir deney, test edilen sayfanın ötesindeki sayfalara da yön veren yeniden kullanılabilir bir tasarım ilkesine dönüşür.
Somut bir örnek ele alalım: bir e-ticaret ürün sayfası ekibi aynı anda iki başlık varyantını ve iki ürün görseli stilini test etmek istiyor. Tam faktöriyel bir çok değişkenli test dört kombinasyon üretir. Sayfanın temel dönüşüm oranı yüzde 5 ise ve ekip herhangi bir hücrede yüzde 10'luk göreli bir iyileşmeyi güvenilir biçimde saptamak istiyorsa, hücre başına gereken örneklem büyüklüğü kolayca birkaç bin ziyaretçiye ulaşabilir; bu da testin sonuçlanması için sayfanın toplamda on binlerce ziyaretçiye ihtiyaç duyacağı anlamına gelir. Sayfa ayda yalnızca birkaç bin ziyaretçi alıyorsa aynı testin anlamlılığa ulaşması aylar sürer. Bu durumda önce başlığı, ardından görseli izole eden iki ardışık A/B testi yapmak genellikle çok daha kısa sürede güvenilir ve uygulanabilir bir cevap üretir.
M ile başlayan diğer terimler
Pazar Büyüklüğü Hesaplama (Market Sizing)Pazarlama Otomasyonu (Marketing Automation)Pazarlama Karması Modellemesi (MMM)Pazarlama Nitelikli Potansiyel Müşteri (MQL)Olgunluk Modeli (Maturity Model)Medya Kiti (Media Kit)Medya Planlama (Media Planning)Zihinsel Model (Mental Model)Ürün Sunumu (Merchandising)Mikro Dönüşümler (Micro-Conversions)Mikro Metin (Microcopy)Minimum Saptanabilir Etki (MDE)
