Microsoft'un deney platformunda test edilen fikirlerin yalnızca yaklaşık üçte biri, iyileştirmek üzere tasarlandıkları ölçütü geliştirdi ve Netflix kendi başarı oranını onda bire daha yakın olarak belirledi.Kohavi ve Longbotham, 2015Eğer birikmiş işlerinizin çoğu yanlışsa, test etme sıranız alacağınız geri dönüşün büyük kısmını belirler. Bu kılavuz, halihazırda trafikten daha fazla test fikrine sahip olan CRO liderleri ve ürün sahipleri içindir. Aynı üç fikri ICE, PIE, PXL ve RICE ile puanlandırıyoruz, dört sıralamanın neden farklı olduğunu gösteriyoruz, aralarından seçim yapmak için bir kural veriyoruz ve dördünün de eksik olan bir kriteri ekliyoruz: bir testin çeyrek bitmeden anlamlılık düzeyine ulaşabilmesi.
Her bir çerçeve aslında neye bahis oynuyor?
Dördü de bir sayı üretir ve hiçbiri aynı şeyi ölçmez. Her biri bir puanlama sisteminden ziyade, bir testin yapılmaya değer olup olmadığına dair sıkıştırılmış bir görüştür.
| iskelet | Girdiler | formül | Orjin | Bahis, kodladığı şeydir. |
|---|---|---|---|---|
| ICE | Etki, Güven, Rahatlık, her biri 1 ile 10 arasında | I × C × E | Sean Ellis, büyüme uygulamaları | Tecrübeye dayalı muhakeme en ucuz sinyaldir. |
| PIE | Potansiyel, Önem, Kolaylık, her biri 1 ila 10 arasında | Üçünün ortalaması | Chris Goward, WiderFunnel (şimdi) Dönüştürme) | Ne değiştirdiğinizden ziyade nerede test yaptığınız daha önemlidir. |
| PXL | ~9 çoğunlukla ikili soru, bazılarının ağırlığı 0 veya 2 | Sabit bir maksimum üzerinden toplam | Peep Laja, CXL, 27 Eylül 2016 | Bir fikrin arkasındaki kanıt, o fikre duyulan güvenden daha önemlidir. |
| PİRİNÇ | Erişim (dönem başına kişi), Etki (0.25 ila 3), Güven (50/80/100%), Çaba (kişi-ay) | (R × I × C) / E | Sean McBride, Intercom, 5 Ocak 2018 | İş birimi başına puan etkisi |
Birini benimsemeden önce iki düzeltme yapalım. PXL, diğer CRO çerçevelerine bir saldırı olarak yazılmıştır: Laja'nın argümanı, potansiyeli veya güveni önceden güvenilir bir şekilde tahmin edebilseydiniz, bir teste ihtiyacınız olmayacağıdır. Ve PIE'nin kanonik sayfası kriterleri tanımlar ancak ölçek veya formül yayınlamaz, bu nedenle her ekip kendi kriterlerini icat eder. widerfunnel.com alan adı artık conversion.com'a yönlendiriliyor, bu nedenle çoğu CRO sunumunda referans gösterilen çerçevenin korunmuş birincil bir spesifikasyonu yok.
Aynı birikmiş iş yükü, dört farklı şekilde puanlandı.
Orta ölçekli bir perakendeci üzerinde yapılan üç aday testi. Rakamlar örnek niteliğindedir, müşteri verileri değildir.
- A. Ürün sayfasındaki fiyat bloğunun içinde taksit (taksit) dökümü. Analitik veriler ve müşteri geri bildirimleriyle desteklenen, aylık 180,000 PDP görüntüleyicisi.
- B. Ödeme sayfasında zorunlu hesap oluşturma özelliğini kaldırın. Aylık 12,000 ödeme işlemi, kullanılabilirlik oturumları, kayıtlar, analizler ve destek iletişimleriyle desteklenmektedir.
- C. Ana sayfanın kahraman başlığını yeniden yazın. Ayda 220,000 ana sayfa oturumu, destekleyici araştırma yok, bir çalıştayda önerildi.
| test | PİRİNÇ | ICE | PIE | PXL (12'den) |
|---|---|---|---|---|
| A: taksit dağılımı | 144,000 (1 inci) | 294 (2.) | 7.0 (2.) | 10 (1 inci) |
| B: zorunlu hesap yok | 18,000 (3.) | 405 (1 inci) | 6.3 (3.) | 9 (2.) |
| C: kahraman başlığı | 55,000 (2.) | 144 (3.) | 7.3 (1 inci) | 6 (3.) |
Her test en az bir çerçeve altında başarılı olur. Anlaşmazlık, çerçevelerin görevlerini yerine getirmesinden kaynaklanır:
- RICE ilk sırada yer alıyor Çünkü Reach, ham bir çalışan sayısıdır. Normal bir satış hunisinde ödeme ve hesap işlemlerini gölgede bırakacaktır.
- ICE, B'yi ilk sıraya koyuyor. Çünkü kıdemli bir uzman, zorunlu hesap oluşturmayı Etki 9, Güven 9 olarak değerlendiriyor ve ICE, görüşü görüşle çarpıyor. Değerlendiriciyi değiştirin, yol haritasını değiştirin.
- PIE, C'yi ilk sıraya koyar. Çünkü ana sayfa en değerli trafiğe sahip ve içerik oluşturmak çok kolay. PIE, bu tercihi yapmak için tasarlandı. sayfalarıSıralaması istendi değişikliklerÖnemli şablonlarda yapılan ucuz düzenlemeleri ödüllendiriyor.
- PXL, C'yi en sona koyuyor. Çünkü C, dört kanıt sorusunun hepsinde sıfır puan alıyor. Bu, değerlendiricinin Güven konusunda dürüst olacağına güvenmek yerine, sezgiyi yapısal olarak cezalandıran tek çerçevedir.
Hangisini kullanacaksınız: Bağlama kısıtlamanıza göre seçin.
| Bağlayıcı kısıtlama | Kullanım | Çünkü |
|---|---|---|
| Henüz araştırma girdisi yok, ilk on test | ICE, yazılı çapalarla | Yalnızca değerlendirmeye dayalı çalışır. Çıktıyı bir sıralama değil, bir kuyruk olarak ele alın. |
| Ekip sürekli farklı görüşleri test ediyor ve kaybediyor. | PXL | İkili kanıt sorularını şişirmek zordur. |
| Trafik değil, mühendislik kapasitesi. | PİRİNÇ | Paydası olan tek formül bu, dolayısıyla verimliliği optimize eden tek formül de bu. |
| Üzerinde çalışılacak sayfayı veya şablonu seçmek | PIE | Bu soru için tasarlandı. |
| Trafik | Hiçbiri tek başına | Dördü de testin tamamlanıp tamamlanamayacağından habersiz. Aşağıdaki kapıyı ekleyin. |
Dört kapının da eksik olduğu bu test tamamlanabilir mi?
Erişilebilirlik, tespit edilebilirlik anlamına gelmez. %95 anlamlılık ve %80 güçte iki taraflı bir test için normal yaklaşımı kullanarak puanlamadan önce uygulanabilirliği kontrol edin:
n per variant ≈ 15.7 × p × (1 - p) / d²
nerede p Bu, hareket ettirdiğiniz metriğin temel oranıdır ve d Tespit etmek istediğiniz mutlak artış budur. Yukarıdaki birikmiş işlere uygulandığında:
| test | Ölçüt ve temel | MOE | Varyant başına | Haftalar |
|---|---|---|---|---|
| A | PDP görüntüleyiciyi satın almak için %2.0 indirim. | %5 oranında (0.1 puan) | ~ 307,700 | ~ 14 |
| A | PDP görüntüleyiciyi satın almak için %2.0 indirim. | %10 oranında (0.2 puan) | ~ 76,900 | ~4 |
| B | Ödeme işlemine başlayın, %55 indirim. | %5 oranında (2.75 puan) | ~ 5,140 | ~4 |
RICE'ın birinci sırada yer aldığı test, çoğu ekibin varsaydığı hassasiyette bir çeyrek boyunca okunamazken, RICE'ın son sırada yer aldığı test bir ay içinde tamamlanıyor. A %2'lik bir tabana, B ise %55'lik bir tabana dayanıyor ve örneklem büyüklüğü şunlara bağlı olarak belirleniyor: p(1-p)/d²Sayfayı kaç kişinin gördüğüyle değil, %10'luk en küçük artışı dikkate aldığınız anda da mümkün hale gelir; bu da minimum tespit edilebilir etkinizi istatistiksel bir ayrıntıdan ziyade önceliklendirme kararı haline getirir. Puanlama ile aynı toplantıda karar verin ve her şey için tek bir hesaplayıcı seçin, çünkü farklı varyans yaklaşımları tam olarak aynı sonucu vermez: Evan Miller'ın ve Switas A/B testi hesaplayıcısı İkisi de uygun.
Fizibilite kategorileri
- İki hafta veya daha kısa süre. Yeşil. Puanla ve koş.
- İki ila dört hafta. Amber. Tek başına çalıştırın, en az iki tam haftalık döngüyü kapsayacak şekilde.
- Dört ila sekiz hafta. Standart A/B testi için kırmızı renk. MDE'yi yükseltin, daha yüksek bir taban ölçütüne geçin veya önceden kayıtlı bir durdurma kuralıyla sıralı bir tasarım kullanın.
- Sekiz haftadan fazla. A/B testi yapmayın. Ya kendi değerlendirmenize göre, güvenlik ölçütleri belirleyerek sevkiyat yapın ya da nitel bir çalışma yürütün.
Bu kapı, İngilizce CRO literatürünün varsaydığından daha büyük önem taşıyor. Türkiye'nin e-ticaret hacmi 2025 yılında yaklaşık 634,000 işletme üzerinden 4.567 trilyon liraya ulaştı.Ticaret Bakanlığı, 12 Mayıs 2026(Ortalama olarak işletme başına yılda yaklaşık 7.2 milyon lira) ve dağılım birkaç pazar yerine doğru çarpık olduğundan, tipik bir satıcı bunun oldukça altında kalıyor. Ayda birkaç yüz sipariş alan bir site, herhangi bir faydalı MDE'de ödeme testi yapamaz. Bu siteler için önceliklendirmenin dürüst çıktısı bir test yol haritası değil, bir araştırma ve ölçüm yol haritasıdır.
Skorların bir anlam ifade etmesini sağlamak
- Puanlamadan önce referans noktalarını yazın. RICE'daki Etki 3, sizin para biriminizde bir anlam ifade etmelidir; örneğin, "satın alma dönüşümünü %5'ten fazla artırır". Çapa noktaları olmadan, puanlar tek bir oturum içinde bile sapma gösterir.
- Kanıt düzeyine göre Güven Sınırı. Araştırma oranı %50 ile sınırlı değil, sadece analitik veriler %80 ile sınırlı, analitik veriler, nitel veriler ve ilgili önceki bir başarı ise %100 ile sınırlı. Bu, PXL'nin disiplinini RICE'a aktarıyor.
- Skorları körleme yapın, önce en geniş farkları uzlaştırın. Üç kişinin bağımsız olarak puanlama yapması ve ardından yalnızca üç puan veya daha fazla fark bulunan maddeleri tartışması, otuz madde için yaklaşık kırk dakika sürer.
- Tahmin edilen skoru gerçek sonuçla karşılaştırın. On ölçümden sonra, Etki puanlarının gözlemlenen etkilerle herhangi bir şekilde ilişkili olup olmadığını kontrol edin. Eğer ilişkili değilse, ölçek sadece bir süsleme niteliğindedir ve PXL'ye geçmelisiniz.
- Puanları asla farklı değerlendirme sistemleri arasında karşılaştırmayın. 144,000'lik bir RICE puanı ile 10'luk bir PXL puanı arasında hiçbir ilişki yoktur.
Bu durumun bozulduğu nokta
Bu çerçeveler fikirleri sıralar, onları geliştirmez. PXL'de 12 üzerinden 11 puan alan zayıf bir hipotez hala zayıftır ve hiçbir model size asıl sorunun test ettiğiniz sayfanın üst kısmında olduğunu söyleyemez. Belirli sınırlamalar:
- Çaba, en az güvenilir girdi türüdür ve kimse onu yeniden değerlendirmez. RICE'ın paydası, iki kat yanlış olma olasılığı en yüksek olan sayıdır ve bu, sıralamayı yanlış bir Etki puanından daha fazla etkiler.
- Dört modelin hiçbiri birbiriyle etkileşime girmedi. Bir huni üzerinde aynı anda üç test çalıştırdığınızda, sonuçlar size girişim hakkında hiçbir şey söylemez.
- Mevsimlik işletmeler için aylık kişi sayısı (ara verme süreleri) Seyahat ve eğitim sektörlerinin erişim puanı, tam bir mevsimsel döngü üzerinden veya geçen yılın aynı dönemiyle karşılaştırılarak hesaplanmalıdır.
- Bağımlılıklar görünmezdir. Test geliştirme listesi ve ürün yol haritası genelinde paylaşılan bir puan, daha fazla trafiğe sahip olan tarafı daha avantajlı hale getirir.
[DAHİLİ VERİLECEK VERİLER: Sektördeki başarı oranı rakamlarının yerine birinci elden verilerle Switas'ın son 24 aydaki, her bir kategoriye göre kazanma oranı.]
[GEREKLİ İÇ VERİ: Örnekteki verilerin yerine geçecek, iki farklı çerçeve altında puanlandırılmış anonimleştirilmiş müşteri iş listesi.]
Sık Sorulan Sorular
CRO çalışmaları için RICE mi yoksa ICE mi daha iyi?
Özünde öyle değil. RICE, Erişim'i ekler ve Çaba'yı paydaya koyar; bu, teslimat kapasitesi darboğaz olduğunda yardımcı olur, ancak yüksek trafikli sayfalara yönelik bir önyargı oluşturur. Mühendislik zamanı kısıtlı olduğunda RICE'ı, kısıtlı olmadığında ise ICE'ı kullanın.
Bir testin yapılabilmesi için hangi puan yeterlidir?
Dördünden hiçbirinin mutlak bir eşiği yoktur. Puanlar sıralıdır: size bir sonraki adımda ne yapmanız gerektiğini söylerler, bir şeyin yapılmaya değer olup olmadığını değil. Mutlak sınır uygulanabilirliktir. Bir test sekiz hafta içinde anlamlılık düzeyine ulaşamazsa, puanı önemsizdir.
İki çerçeveyi birleştirebilir miyiz?
Çıktıları birleştirmek anlamsızdır çünkü ölçekler birbiriyle ilişkili değildir. Girdileri birleştirmek ise anlamlıdır. RICE'ın Güven Ölçeğini PXL'nin kanıt sorularıyla sınırlandırmak, iyi işleyen bir hibrit yöntemdir ve en sık kullandığımız yöntemdir.
PXL, e-ticaret sitesi olmayan siteler için de çalışıyor mu?
Kanıt soruları herhangi bir ürüne uygulanabilir. Düzen soruları bir pazarlama sayfasını varsayar ve oturum açılmış kullanıcı akışları için yetersizdir. Bunları, kullanıcıların görev akışında öğeyle ne sıklıkla karşılaştığına dair sorularla değiştirin.
Düşük trafikli siteler bu çerçeveleri kullanmalı mı?
Evet, sıralama çalışmaları için geçerli, ancak çıktıyı test yol haritası olarak adlandırmayı bırakın. Testleri çalıştıramayan bir sitede, aynı işlem UX denetim bulgularını, araştırma sorularını ve geliştirme çalışmalarını sıralar.
Puanlama oturumunda kimler yer almalı?
Farklı kanıtları gören üç ila beş kişi: analizler, araştırmalar veya destek ekipleri ve teslimattan sorumlu kişi. Tek başına puanlama, kendinden emin anlamsız sonuçlar üretir; on kişiyle yapılan puanlama ise hiçbir şeyi sıralamayan ortalamalar üretir.
Bunu kendi birikmiş işlerinizde deneyin.
Test listenizin en üstündeki on maddeyi alın, her birini yukarıdaki uygulanabilirlik formülünden geçirin ve varsaydığınız hassasiyette kaçının hayatta kaldığını sayın. Yarısından fazlası hayatta kalmazsa, sıralama hiçbir zaman sorununuz değildi. CRO ve deney ekibi Bu değerlendirme ve fizibilite çalışması, iş birliğinin ilk adımı olarak yürütülür.
kaynaklar
- Kohavi, R. ve Longbotham, R. (2015). Çevrimiçi Kontrollü Deneyler ve A/B TestiMicrosoft rakamı için Kohavi, Crook ve Longbotham'ı (2009), Netflix rakamı için ise Moran'ı (2007) kaynak gösterir.
- McBride, S. (5 Ocak 2018). RICE: Ürün yöneticileri için basit önceliklendirmeİnterkom.
- Laja, P. (27 Eylül 2016). PXL: A/B testlerinizi önceliklendirmek için daha iyi bir yöntemCXL.
- PIE Önceliklendirme ÇerçevesiConversion (eski adıyla WiderFunnel), Chris Goward'a atıfta bulunarak.
- Türkiye Ticaret Bakanlığı (12 Mayıs 2026). E-ticaret hacmi 2025 yılında 4.6 trilyon liraya ulaştı..
- Miller, E. Örnek Boyutu Hesaplayıcı.
- Switas. A/B Testi Hesaplayıcı.
