Nicel araştırma, bireysel motivasyonları açıklamak yerine geniş bir kullanıcı kitlesi genelindeki örüntülerin ölçeğini, sıklığını ve anlamlılığını ölçmek için kullanıcı davranışına ilişkin sayısal verilerin toplanması ve istatistiksel analizidir. UX ve dönüşüm optimizasyonu bağlamında yaygın nicel yöntemler arasında web analitiği raporlaması, huni analizi, A/B ve çok değişkenli testler, birçok oturum üzerinden toplulaştırılan tıklama ve kaydırma takibi ile Net Promoter Score veya Sistem Kullanılabilirlik Ölçeği (SUS) puanları gibi istatistiksel karşılaştırmaya uygun veri üreten kapalı uçlu sorulardan oluşan yapılandırılmış anketler bulunur. Nicel araştırmanın belirleyici özelliği, sonuçlarının dönüşüm oranı, istatistiksel güven düzeyi veya etki büyüklüğü gibi ölçülebilir terimlerle ifade edilmesi ve zaman dilimleri ya da varyantlar arasında nesnel biçimde karşılaştırılabilmesidir.
Bu disiplin dönüşüm oranı optimizasyonunun merkezindedir; çünkü önerilen bir değişikliğin sonuçları gerçekten iyileştirip iyileştirmediğini, değişikliği yapan ekibe yalnızca bir iyileşme gibi gelmesinin ötesinde doğrulamak için gereken kanıtı sağlar. Nicel doğrulama olmadan tasarım ve pazarlama kararları, araştırmaların gerçek kullanıcı davranışıyla zayıf ilişkili olduğunu tutarlı biçimde gösterdiği görüşlere, kurum içi politikaya veya öznel tercihe dayanır. CRO'daki en yaygın nicel yöntem olan A/B testi, bir sonucun güvenilir sayılabilmesi için önceden hesaplanmış bir örneklem büyüklüğüne ve genellikle yüzde 95 olan bir istatistiksel güven düzeyine ulaşılmasını gerektirir. Testler genellikle, kısa süreli sonuçları aksi halde bozacak haftanın günü ve maaş günü gibi davranış farklılıklarını hesaba katmak için en az bir ila iki tam iş döngüsü, çoğunlukla iki ila dört hafta çalıştırılır.
Kontrollü deneylerin ötesinde nicel araştırma, mevcut davranışsal verilerin gözlemsel analizini de kapsar. Örneğin performansın nerede önemli ölçüde değiştiğini belirlemek için dönüşüm oranını trafik kaynağına, cihaz türüne veya coğrafyaya göre segmentlere ayırmak; ve belirli bir kullanıcı grubunun, örneğin belirli bir ayda kaydolan herkesin, sonraki haftalarda veya aylarda nasıl davrandığını izleyen, elde tutma ve yaşam boyu değer eğilimlerini ölçmek için yaygın kullanılan kohort analizi. Sağlam nicel araştırmanın merkezindeki istatistiksel kavramlar arasında, belirli bir güven düzeyinde anlamlı bir etkiyi saptamak için kaç gözleme ihtiyaç olduğunu belirleyen örneklem büyüklüğü hesaplaması ve birçok metriğin aynı anda test edilmesinin yalnızca tesadüfen yanlış anlamlı bir sonuç bulma olasılığını artırdığı çoklu karşılaştırma probleminden kaçınma yer alır.
Sık görülen bir yanılgı, nicel verinin doğası gereği nesnel olduğu ve bu nedenle dikkatli yorumlama gerektirmediğidir. Gerçekte, alttaki veri toplama hatalıysa nicel sonuçlar yanıltıcı olabilir; örneğin ziyaretçi sayısını şişiren bot trafiği, belirli cihazlarda yanlış tetiklenen izleme kodu veya aynı anda yürüyen ilgisiz bir pazarlama kampanyası tarafından kirletilen bir test. Bu bağlamda bazen temel oran yanılgısı (base rate fallacy) olarak anılan bir diğer yaygın tuzak da, ilgili mutlak dönüşüm sayısını dikkate almadan göreli yüzde değişimlerine odaklanmaktır; toplamda yalnızca bir avuç dönüşüme dayanan yüzde 50'lik bir artış, binlerce dönüşüm üzerinden ölçülen yüzde 10'luk bir artıştan çok daha düşük istatistiksel güvenilirlik taşır.
CRO ve büyüme danışmanlığı çalışmalarında nicel araştırma hem teşhis başlangıç noktasını sağlar, yani huninin neresinde en büyük ve istatistiksel olarak en güvenilir fırsatların bulunduğunu belirler, hem de nihai doğrulama katmanını oluşturur, yani nitel araştırmayla üretilen bir hipotezin uygulandığında gerçekten ölçülebilir bir iş sonucu üretip üretmediğini teyit eder. Olgun danışmanlık pratikleri genellikle bir müşteri için yürütülen tüm deneyler boyunca bir test hızı ve kazanma oranı metriği tutar; gelecekteki optimizasyon turlarında hangi tür hipotezlere öncelik vermeye değeceğini sürekli iyileştirmek için geçmiş nicel sonuçları kullanır.
Somut bir örnek olarak, bir ödeme sayfasının şu anda yüzde 3,2 oranında dönüştürdüğünü ve bir ekibin yeniden tasarlanmış bir formun bu oranı yüzde 15 göreli artışla, yaklaşık yüzde 3,7'ye yükseltip yükseltmediğini saptamak istediğini varsayalım. Yüzde 95 güven ve yüzde 80 istatistiksel güçle yapılan standart bir örneklem büyüklüğü hesaplaması, testin güvenilir biçimde sonuçlandırılabilmesi için her varyantın on binlerce ziyaretçiye ihtiyaç duyduğunu gösterebilir. Sayfa haftada yalnızca birkaç bin ziyaretçi alıyorsa nicel titizlik, ekibin ya çok haftalık bir test süresini kabul etmesini, ya daha büyük bir beklenen etki büyüklüğünü hedeflemesini ya da test çabasını huninin anlamlı sonuçlara daha hızlı ulaşılabilen, daha yüksek trafikli bir sayfasına yönlendirmesini gerektirir. Yetersiz güçle yapılan bir testi erken sonuçlandırıp yanlış bir sonuç riskine girmek ise doğru değildir.
