Rangschik je CRO-achterstand wanneer ICE, PIE, PXL en RICE het niet met elkaar eens zijn.

Slechts ongeveer een derde van de ideeën die op het experimenteerplatform van Microsoft werden getest, verbeterden de meetwaarde waarvoor ze ontworpen waren, en Netflix schat zijn succespercentage dichter bij één op tien.Kohavi en Longbotham, 2015Als het grootste deel van je backlog onjuist is, bepaalt de volgorde waarin je test het meest van de resultaten. Deze handleiding is bedoeld voor CRO-leads en producteigenaren die al meer testideeën hebben dan verkeer. We beoordelen dezelfde drie ideeën met ICE, PIE, PXL en RICE, laten zien waarom de vier rangordes niet overeenkomen, geven een regel voor het kiezen tussen de vier methoden en voegen de ontbrekende poort toe: of een test significantie kan bereiken vóór het einde van het kwartaal.

Waar elk raamwerk feitelijk op inzet

Alle vier leveren een getal op, maar geen enkele meet hetzelfde. Elk is minder een scoresysteem dan een beknopte mening over wat een test de moeite waard maakt.

Twee correcties voordat je er een overneemt. PXL is geschreven als een aanval op de andere CRO-frameworks: Laja's argument is dat als je het potentieel of het vertrouwen van tevoren betrouwbaar zou kunnen inschatten, je geen test nodig zou hebben. En de canonieke pagina van PIE definieert de criteria, maar publiceert geen schaal of formule, dus elk team verzint zijn eigen formule. Het domein widerfunnel.com verwijst nu door naar conversion.com, dus het framework dat in de meeste CRO-presentaties wordt aangehaald, heeft geen vastgelegde primaire specificatie meer.

Dezelfde achterstand, op vier verschillende manieren beoordeeld.

Drie kandidaat-tests uitgevoerd bij een middelgrote detailhandelaar. De cijfers zijn illustratief en geen klantgegevens.

• A. Uitsplitsing van de termijnen (taksit) binnen het prijsblok van de productpagina. 180,000 PDP-bezoekers per maand, ondersteund door analyses en feedback van klanten.
• B. Verwijder de verplichte accountaanmaak tijdens het afrekenproces. 12,000 afrekenprocessen per maand, ondersteund door gebruikstests, opnames, analyses en contacten met de klantenservice.
• C. Herschrijf de hero-titel van de homepage. 220,000 homepagebezoeken per maand, geen onderbouwend onderzoek, voorgesteld tijdens een workshop.

Elke test slaagt onder ten minste één framework. De onenigheid zit hem in de frameworks zelf:

• RICE zet A op de eerste plaats Omdat Reach een puur mensenaantal is. Het zal het afrekenproces en de accountafhandeling in elke normale funnel overschaduwen.
• ICE zet B eerst Omdat een ervaren professional de impact van het aanmaken van accounts beoordeelt met een 9, het vertrouwen met een 9, en ICE elke mening vermenigvuldigt. Verander de beoordelaar, verander het stappenplan.
• PIE plaatst C eerst omdat de homepage het meest waardevolle verkeer genereert en de teksten eenvoudig te publiceren zijn. PIE is ontworpen om te kiezen voor... paginasgevraagd om te rangschikken veranderingenHet beloont goedkope aanpassingen aan belangrijke sjablonen.
• PXL plaatst C als laatste. Omdat C op alle vier de bewijsvragen een score van nul behaalt. Het is het enige raamwerk dat een onderbuikgevoel structureel bestraft in plaats van erop te vertrouwen dat de beoordelaar eerlijk is over het vertrouwen in de situatie.

Welke te gebruiken: kies op basis van uw bindingsbeperking.

Alle vier poorten ontbreken: kan deze test worden afgerond?

Bereik is niet hetzelfde als detecteerbaarheid. Controleer de haalbaarheid voordat u gaat scoren, met behulp van de normale benadering voor een tweezijdige toets met een significantieniveau van 95% en een power van 80%:

n per variant ≈ 15.7 × p × (1 - p) / d²

met de meeste p is de basissnelheid van de meetwaarde die u aan het veranderen bent en d Dit is de absolute stijging die je wilt detecteren. Toegepast op de bovenstaande achterstand:

De test die RICE als eerste heeft gerangschikt, kan pas na een kwartaal worden afgelezen bij de gevoeligheid die de meeste teams aannemen, terwijl de test die RICE als laatste heeft gerangschikt, pas na een maand klaar is. Test A is gebaseerd op een basis van 2% en test B op een basis van 55%, en de steekproefgrootte wordt bepaald door... p(1-p)/d²Niet op basis van hoeveel mensen de pagina hebben gezien. A wordt ook haalbaar zodra je 10% als de kleinste verbetering beschouwt die de moeite waard is om op te reageren. Hierdoor wordt je minimaal detecteerbare effect een prioriteitsbeslissing in plaats van een statistisch detail. Neem deze beslissing in dezelfde vergadering als de beoordeling en kies één rekenmachine voor alles, aangezien verschillende benaderingen van de variantie niet exact overeenkomen. Evan Miller's en Switas A/B-testcalculator Ze zijn allebei prima.

Haalbaarheidscategorieën

• Twee weken of minder. Groen. Scoor en ren.
• Twee tot vier weken. Amber. Voer het alleen uit, gedurende minimaal twee volledige weekcycli.
• Vier tot acht weken. Rood voor een standaard A/B-test. Verhoog de MDE, ga over op een hogere basismetriek of gebruik een sequentieel ontwerp met een vooraf geregistreerde stopregel.
• Gedurende meer dan acht weken. Voer geen A/B-test uit. Lever op basis van oordeel met behulp van vangrail-criteria, of voer een kwalitatief onderzoek uit.

Deze toegangspoort is hier belangrijker dan de Engelstalige CRO-literatuur veronderstelt. Het e-commercevolume in Turkije bereikte in 2025 4.567 biljoen lira, verdeeld over ongeveer 634,000 bedrijven.Ministerie van Handel, 12 mei 2026), gemiddeld zo'n 7.2 miljoen lira per bedrijf per jaar, en de verdeling is scheefgetrokken naar een handvol marktplaatsen, waardoor de gemiddelde verkoper daar ver onder zit. Een site met een paar honderd bestellingen per maand kan geen checkout-test uitvoeren op een bruikbare MDE (Market Data Environment). Voor die sites is de eerlijke uitkomst van prioritering een onderzoeks- en meetplan, geen testplan.

De scores betekenis geven

1. Schrijf de ankers op voordat je gaat beoordelen. Impact 3 in RICE moet een betekenis hebben in uw valuta, bijvoorbeeld "verhoogt de aankoopconversie met meer dan 5% ten opzichte van elkaar". Zonder referentiepunten fluctueren scores binnen één sessie.
2. Beperk het betrouwbaarheidsinterval per bewijsniveau. Geen onderzoekslimiet van 50%, alleen analyses van 80%, analyses plus kwalitatief onderzoek plus een gerelateerd eerder behaald succes van 100%. Dit brengt de discipline van PXL naar RICE.
3. Tel blind, en begin met het verzoenen van de grootste verschillen. Drie personen die onafhankelijk van elkaar de items beoordelen en vervolgens alleen de items bespreken die drie punten of meer van elkaar verschillen, hebben ongeveer veertig minuten nodig voor dertig items.
4. Noteer de voorspelde score en vergelijk deze met het daadwerkelijke resultaat. Controleer na tien metingen of de Impact-scores überhaupt correleren met de waargenomen effecten. Zo niet, dan is de schaal slechts decoratie en kunt u beter overstappen op PXL.
5. Vergelijk nooit scores van verschillende frameworks. Een RICE-score van 144,000 en een PXL-score van 10 hebben geen verband met elkaar.

Waar dit misgaat

Deze frameworks rangschikken ideeën, ze verbeteren ze niet. Een zwakke hypothese die 11 van de 12 punten scoort op PXL is nog steeds zwak, en geen enkel model zal je vertellen dat het echte probleem zich vóór de pagina bevindt die je test. Specifieke beperkingen:

• Inzet is de minst betrouwbare input en niemand beoordeelt die opnieuw. De noemer van RICE is het getal dat het meest waarschijnlijk met een factor twee onjuist is, en dat heeft een grotere invloed op de rangorde dan een onjuiste Impact-score.
• Geen van de vier modellen vertoont interactie. Voer drie tests tegelijk uit op één trechter en de scores vertellen je niets over interferentie.
• Bereik per maand, pauzes voor seizoensgebonden bedrijven. Reizen en onderwijs moeten worden beoordeeld op basis van bereik over een volledige seizoenscyclus, of ten opzichte van dezelfde periode vorig jaar.
• Afhankelijkheden zijn onzichtbaar. Een score die wordt gedeeld tussen een testachterstand en een productroadmap, geeft ook een gunstig beeld van de kant met het meeste verkeer.

[INTERNE GEGEVENS NODIG: Winpercentage van Switas per pijler over de afgelopen 24 maanden, ter vervanging van de branchecijfers door cijfers van eigen makelaars.]

[INTERNE GEGEVENS NODIG: een geanonimiseerde klantenportefeuille, beoordeeld aan de hand van twee frameworks, ter vervanging van het illustratieve voorbeeld.]

Veelgestelde vragen

Is RICE beter dan ICE voor CRO-werk?

Niet per se. RICE vergroot het bereik en plaatst de inspanning in de noemer, wat helpt wanneer de leveringscapaciteit het knelpunt is, maar het is wel onevenredig gericht op pagina's met veel verkeer. Gebruik RICE wanneer er weinig ontwikkeltijd beschikbaar is, en ICE wanneer dat wel het geval is.

Welke score is hoog genoeg om een ​​test te mogen afleggen?

Geen van de vier heeft een absolute drempelwaarde. De scores zijn ordinaal: ze geven aan wat je vervolgens moet doen, niet of iets de moeite waard is. De absolute grens is de haalbaarheid. Als een test binnen acht weken geen significantie bereikt, is de score irrelevant.

Kunnen we twee frameworks combineren?

Het combineren van de uitkomsten is zinloos omdat de schalen niet met elkaar verband houden. Het combineren van de invoer is dat niet. Het begrenzen van RICE's betrouwbaarheid met de bewijsvragen van PXL is een goed werkende hybride en de methode die we het vaakst gebruiken.

Werkt PXL ook voor websites die geen e-commerce zijn?

De vragen over bewijsmateriaal zijn van toepassing op elk product. De vragen over de lay-out gaan uit van een marketingpagina en zijn minder geschikt voor ingelogde gebruikers. Vervang deze vragen door vragen over hoe vaak gebruikers het element in de taakstroom tegenkomen.

Zouden websites met weinig bezoekers deze frameworks überhaupt moeten gebruiken?

Ja, voor het plannen van taken, maar noem de output geen testroadmap. Op een site waar geen tests kunnen worden uitgevoerd, ordent dezelfde oefening de bevindingen van een UX-audit, de onderzoeksvragen en de bouwwerkzaamheden.

Wie moet er bij de scoresessie aanwezig zijn?

Drie tot vijf mensen die verschillende soorten bewijsmateriaal beoordelen: analyses, onderzoek of ondersteuning, en degene die verantwoordelijk is voor de uitvoering. Alleen scoren levert zelfverzekerde onzin op; scoren met tien mensen levert gemiddelden op die nergens op slaan.

Probeer dit eens op je eigen achterstand.

Neem de tien items bovenaan je testlijst, voer voor elk item de bovenstaande haalbaarheidsformule in en tel hoeveel er overleven bij de aangenomen gevoeligheid. Als meer dan de helft het niet overleeft, lag het probleem nooit bij de rangschikking. CRO en experimententeam Voert deze beoordelings- en haalbaarheidstest uit als eerste stap in een samenwerking.

Bronnen

• Kohavi, R. en Longbotham, R. (2015). Online gecontroleerde experimenten en A/B-testen. Verwijst naar Kohavi, Crook en Longbotham (2009) voor het cijfer van Microsoft, en naar Moran (2007) voor Netflix.
• McBride, S. (5 januari 2018). RICE: Eenvoudige prioritering voor productmanagers, Intercom.
• Laja, P. (27 sep. 2016). PXL: Een betere manier om je A/B-tests te prioriteren, CXL.
• PIE-prioriteringskaderConversion (voorheen WiderFunnel), met dank aan Chris Goward.
• Turks Ministerie van Handel (12 mei 2026). Het e-commercevolume bereikte in 2025 4.6 biljoen lira..
• Miller, E. Rekenmachine voor steekproefomvang.
• Zwitsers. A/B-testcalculator.