Bare omtrent en tredjedel av ideene som ble testet på Microsofts eksperimenteringsplattform forbedret målingen de var designet for å forbedre, og Netflix har satt sin egen treffrate nærmere én av ti (Kohavi og Longbotham, 2015). Hvis mesteparten av ordrebeholdningen din er feil, er rekkefølgen du tester den i den mesteparten av avkastningen du får. Denne veiledningen er for CRO-leads og produkteiere som allerede har flere testideer enn trafikk. Vi scorer de samme tre ideene med ICE, PIE, PXL og RICE, viser hvorfor de fire rangordenene er uenige, gir en regel for å velge mellom dem, og legger til porten alle fire mangler: om en test kan nå betydning før kvartalet slutter.
Hva hvert rammeverk faktisk satser på
Alle fire produserer et tall, og ingen måler det samme. Hver av dem er mindre et poengsystem enn en komprimert mening om hva som gjør en test verdt å kjøre.
| Rammeverk | Innganger | Formel | Origin | Veddemålet den koder |
|---|---|---|---|---|
| ICE | Innvirkning, Selvtillit, Letthet, hver 1 til 10 | I × C × E | Sean Ellis, vekstpraksis | Erfaren vurdering er det billigste signalet |
| PIE | Potensial, Viktighet, Enkelhet, hver 1 til 10 | Gjennomsnittet av de tre | Chris Goward, WiderFunnel (nå Konvertering) | Hvor du tester betyr mer enn hva du endrer |
| PXL | ~9 stort sett binære spørsmål, noen vektet 0 eller 2 | Sum, ut av et fast maksimum | Peep Laja, CXL, 27. september 2016 | Bevisene bak en idé er bedre enn tilliten til den |
| RIS | Rekkevidde (personer per periode), Innvirkning (0.25 til 3), Tillit (50/80/100 %), Innsats (person-måneder) | (R × I × C) / E | Sean McBride, Intercom, 5. januar 2018 | Poengsumpåvirkning per arbeidsenhet |
To rettelser før du tar i bruk én. PXL ble skrevet som et angrep på de andre CRO-rammeverkene: Lajas argument er at hvis du kunne gjette potensial eller tillit på forhånd på en pålitelig måte, ville du ikke trenge en test. Og PIEs kanoniske side definerer kriteriene, men publiserer ingen skala og ingen formel, så hvert team finner opp sine egne. Domenet widerfunnel.com omdirigerer nå til conversion.com, så rammeverket de fleste CRO-dekk siterer har ingen vedlikeholdt primærspesifikasjon.
Den samme etterslepet, scoret på fire måter
Tre kandidattester på en mellomstor forhandler. Tallene er illustrerende, ikke kundedata.
- A. Avbetalingsoversikt (taksit) i prisblokken på produktsiden. 180 000 PDP-seere i måneden, støttet av analyser og kundestøtte.
- B. Fjern tvungen kontooppretting i kassen. 12 000 kassestarter i måneden, støttet av brukervennlighetsøkter, opptak, analyser og supportkontakter.
- C. Skriv om hovedoverskriften på hjemmesiden. 220 000 økter på hjemmesiden i måneden, ingen støttende forskning, foreslått i en workshop.
| Test | RIS | ICE | PIE | PXL (av 12) |
|---|---|---|---|---|
| A: avdragsfordeling | 144,000 (1.) | 294 (2.) | 7.0 (2.) | 10 (1.) |
| B: ingen tvungen konto | 18,000 (3.) | 405 (1.) | 6.3 (3.) | 9 (2.) |
| C: helteoverskrift | 55,000 (2.) | 144 (3.) | 7.3 (1.) | 6 (3.) |
Hver test vinner under minst ett rammeverk. Uenigheten er rammeverkene som gjør jobben sin:
- RICE setter A først fordi Reach er en rå bemanningsstatistikk. Det vil begrave kasse- og kontoarbeid på en hvilken som helst vanlig salgstrakt.
- ICE setter B først fordi en erfaren utøver scorer tvungen kontooppretting Impact 9, Confidence 9, og ICE multipliserer mening med mening. Bytt poenggiver, endre veikartet.
- PIE setter C først fordi hjemmesiden har den mest verdifulle trafikken, og teksten er enkel å sende. PIE ble bygget for å velge siderbedt om å rangere endringer, det belønner billige redigeringer av viktige maler.
- PXL setter C sist fordi C scorer null på alle fire bevisspørsmålene. Det er det eneste rammeverket som straffer en magefølelse strukturelt i stedet for å stole på at scoreren er ærlig om selvtillit.
Hvilken du skal bruke: velg etter bindingsbegrensningen din
| Bindende begrensning | Bruk | Fordi |
|---|---|---|
| Ingen forskningsinnspill ennå, de første ti testene | ICE, med skriftlige ankere | Fungerer kun basert på vurdering. Behandle resultatet som en kø, ikke en rangering. |
| Laget tester stadig meninger og taper | PXL | Spørsmål om binære bevis er vanskelige å blåse opp. |
| Ingeniørkapasitet, ikke trafikk | RIS | Den eneste med nevner, så den eneste som optimaliserer gjennomstrømningen. |
| Velge hvilken side eller mal du skal jobbe med | PIE | Bygget for det spørsmålet. |
| Trafikk | Ingen alene | Alle fire er blinde for om en test kan fullføres. Legg til porten nedenfor. |
Alle fire portene mangler: kan denne testen fullføres?
Rekkevidde er ikke deteksjonsevne. Sjekk gjennomførbarhet før poengsetting, bruk normaltilnærmingen for en tosidig test med 95 % signifikans og 80 % styrke:
n per variant ≈ 15.7 × p × (1 - p) / d²
hvor p er grunnlinjeraten for målingen du flytter, og d er den absolutte økningen du ønsker å oppdage. Anvendt på etterslepet ovenfor:
| Test | Måling og grunnlinje | MDE | Per variant | uker |
|---|---|---|---|---|
| A | PDP-visning å kjøpe, 2.0 % | 5 % relativ (0.1 prosentpoeng) | ~ 307,700 | ~ 14 |
| A | PDP-visning å kjøpe, 2.0 % | 10 % relativ (0.2 prosentpoeng) | ~ 76,900 | ~4 |
| B | Fra kassens start til kjøp, 55 % | 5 % relativ (2.75 prosentpoeng) | ~ 5,140 | ~4 |
Testen RICE som er rangert først kan ikke leses i et kvartal med den sensitiviteten de fleste team antar, mens testen RICE som er rangert sist avsluttes om en måned. A ligger på en 2 % base og B på en 55 % base, og utvalgsstørrelsen er drevet av p(1-p)/d², ikke etter hvor mange som så siden. En blir også mulig i det øyeblikket du erklærer 10 % som den minste økningen det er verdt å handle på, noe som gjør den minste detekterbare effekten til en prioriteringsbeslutning snarere enn en statistisk detalj. Avgjør det i samme møte som poengsettingen, og velg én kalkulator for alt, siden forskjellige variansapproksimasjoner ikke stemmer nøyaktig overens: Evan Millers og Switas A/B-testkalkulator er begge fine.
Gjennomførbarhetsområder
- To uker eller mindre. Grønn. Score og løp.
- To til fire uker. Amber. Kjør det alene, og dekk minst to fulle ukentlige sykluser.
- Fire til åtte uker. Rød for en standard A/B-test. Øk MDE, bytt til en høyere baseberegning, eller bruk en sekvensiell design med en forhåndsregistrert stoppregel.
- Over åtte uker. Ikke A/B-test det. Sjef basert på vurderinger med guardrail-målinger, eller kjør en kvalitativ studie.
Denne porten er viktigere her enn den engelskspråklige CRO-litteraturen antar. Tyrkias e-handelsvolum nådde 4.567 billioner lira fordelt på omtrent 634 000 bedrifter i 2025 (Handelsdepartementet, 12. mai 2026), et gjennomsnitt på omtrent 7.2 millioner lira per bedrift per år, og fordelingen er skjev mot en håndfull markedsplasser, så den typiske selgeren ligger godt under. Et nettsted som gjør noen hundre bestillinger i måneden kan ikke drive en betalingstest på noen nyttig MDE. For disse nettstedene er det ærlige resultatet av prioritering en forsknings- og målingsveikart, ikke en testveikart.
Å få poengsummene til å bety noe
- Skriv ankere før du scorer. Impact 3 i RICE må bety noe i din valuta, for eksempel «flytter kjøpskonverteringen med mer enn 5 % i forhold». Uten ankere vil poengsummene endre seg innenfor én enkelt økt.
- Cap Confidence etter bevisnivå. Ingen forskningsgrenser på 50 %, kun analyser på 80 %, analyser pluss kvalitative pluss en relatert tidligere seier på 100 %. Dette importerer PXLs fagfelt til RICE.
- Scor blindt, avstem de største spreadene først. Tre personer som scorer uavhengig av hverandre, og deretter diskuterer kun elementer som avviker med tre poeng eller mer, tar omtrent førti minutter for tretti elementer.
- Registrer forventet poengsum mot faktisk resultat. Etter ti avlesninger, sjekk om effektpoengene korrelerer med observerte effekter i det hele tatt. Hvis ikke, er skalaen bare pynt, og du bør bytte til PXL.
- Sammenlign aldri poengsummer på tvers av rammeverk. En RICE-score på 144 000 og en PXL-score på 10 har ingen sammenheng.
Hvor dette brytes ned
Disse rammeverkene rangerer ideer, de forbedrer dem ikke. En svak hypotese som scorer 11 av 12 på PXL er fortsatt svak, og ingen modell vil fortelle deg at det virkelige problemet ligger oppstrøms for siden du tester. Spesifikke begrensninger:
- Innsats er den minst pålitelige innsatsen, og ingen gir den en ny poengsum. RICEs nevner er tallet som mest sannsynlig er feil med en faktor på to, og det endrer rangeringen mer enn en feil Impact-score.
- Ingen av de fire modellene interagerer. Kjør tre tester på én trakt samtidig, og resultatene fortalte deg ingenting om interferens.
- Nå ut til personer per månedlige pauser for sesongbaserte bedrifter. Reise og utdanning bør score rekkevidde over en full sesongsyklus, eller mot samme periode i fjor.
- Avhengigheter er usynlige. En poengsum som deles på tvers av en testbacklog og en produktveikart er også flatterende for hvilken side som har mest trafikk.
[INTERNE DATA TRENGES: Switas seiersrate per søyle de siste 24 månedene, for å erstatte tallene for bransjens treffrate med tall fra førsteparter.]
[INTERNE DATA NØDVENDIG: en anonymisert kundeordre scoret under to rammeverk, for å erstatte det illustrerende eksemplet.]
Ofte stilte spørsmål
Er RICE bedre enn ICE for CRO-arbeid?
Ikke iboende. RICE legger til rekkevidde og setter innsats i nevneren, noe som hjelper når leveringskapasitet er flaskehalsen, men det distraherer mot sider med høy trafikk. Bruk RICE når ingeniørtiden er knapp, ICE når den ikke er det.
Hvilken poengsum er høy nok til å kjøre en test?
Ingen av de fire har en absolutt terskelverdi. Poengsummene er ordinale: de forteller deg hva du skal gjøre videre, ikke om noe er verdt å gjøre. Den absolutte grensen er gjennomførbarhet. Hvis en test ikke kan oppnå signifikanthet i løpet av åtte uker, er poengsummen irrelevant.
Kan vi kombinere to rammeverk?
Å kombinere output er meningsløst fordi skalaene ikke er relaterte. Å kombinere input er ikke det. Å sette en grense for RICEs Confidence med PXLs evidensspørsmål er en velfungerende hybrid og den vi bruker oftest.
Fungerer PXL for nettsteder som ikke er e-handelsnettsteder?
Bevisspørsmålene kan overføres til ethvert produkt. Layoutspørsmålene forutsetter en markedsføringsside og er svake for innloggede flyter. Erstatt disse med spørsmål om hvor ofte brukere møter elementet i oppgaveflyten.
Bør nettsteder med lav trafikk i det hele tatt bruke disse rammeverkene?
Ja, for sekvenseringsarbeid, men slutt å kalle utdataene en testveikart. På et nettsted som ikke kan drive tester, bestiller den samme øvelsen funn fra UX-revisjon, forskningsspørsmål og byggearbeid.
Hvem bør være med i scoringsøkten?
Tre til fem personer som ser ulikt bevismateriale: analyser, forskning eller støtte, og den som eier leveransen. Scoring alene gir selvsikker tullprat; scoring med ti personer gir gjennomsnitt som ikke rangerer noe.
Prøv dette på din egen etterslep
Ta de ti elementene øverst på testlisten din, kjør hvert av dem gjennom gjennomførbarhetsformelen ovenfor, og tell hvor mange som overlever ved følsomheten du har antatt. Hvis mer enn halvparten ikke gjør det, var rangering aldri problemet ditt. CRO og eksperimenteringsteam kjører denne poenggivnings- og gjennomførbarhetspasningen som det første trinnet i et engasjement.
Kilder
- Kohavi, R. og Longbotham, R. (2015). Nettbaserte kontrollerte eksperimenter og A/B-testingSiterer Kohavi, Crook og Longbotham (2009) for Microsoft-figuren, Moran (2007) for Netflix.
- McBride, S. (5. januar 2018). RICE: Enkel prioritering for produktsjefer, Interkom.
- Laja, P. (27. september 2016). PXL: En bedre måte å prioritere A/B-testene dine på, CXL.
- PIE-prioriteringsrammeverk, Conversion (tidligere WiderFunnel), med Chris Goward som æren.
- Det tyrkiske handelsdepartementet (12. mai 2026). Netthandelsvolumet nådde 4.6 billioner lira i 2025.
- Miller, E. Kalkulator for prøvestørrelse.
- Switas. A/B-testkalkulator.
