Vain noin kolmannes Microsoftin kokeilualustalla testatuista ideoista paransi mittaria, jota ne oli tarkoitus parantaa, ja Netflix on nostanut oman osumisprosenttinsa lähemmäksi yhtä kymmenestä (Kohavi ja Longbotham, 2015). Jos suurin osa testijonostasi on väärin, testausjärjestys on suurin osa saamastasi tuotosta. Tämä opas on tarkoitettu CRO-liideille ja tuoteomistajille, joilla on jo enemmän testi-ideoita kuin liikennettä. Pisteytämme samat kolme ideaa ICE:n, PIE:n, PXL:n ja RICE:n avulla, osoitamme, miksi neljä järjestysjärjestystä ovat eri mieltä, annamme säännön niiden välillä valitsemiseksi ja lisäämme kriteerin, jonka kaikki neljä puuttuvat: voiko testi saavuttaa merkitsevyyden ennen vuosineljänneksen päättymistä.
Mihin kukin viitekehys todellisuudessa panostaa
Kaikki neljä tuottavat luvun, eikä mikään mittaa samaa asiaa. Kumpikaan ei ole niinkään pisteytysjärjestelmä kuin tiivistetty mielipide siitä, mikä tekee testin suorittamisen arvoiseksi.
| Puitteet | Tulot | Kaava | Alkuperä | Se koodaa vedon |
|---|---|---|---|---|
| ICE | Vaikuttavuus, Luottamus, Helppous, kukin 1–10 | I × C × E | Sean Ellis, kasvukäytäntö | Kokeneen harkintakyky on halvin signaali |
| PIIRAKKA | Potentiaali, Tärkeys, Helppous, kukin 1–10 | Kolmen keskiarvo | Chris Goward, WiderFunnel (nykyään Muuntaminen) | Testauspaikalla on enemmän merkitystä kuin sillä, mitä muutat |
| PXL | ~9 enimmäkseen binäärikysymyksiä, joista osa painotettu 0 tai 2 | Summa, kiinteästä maksimista | Peep Laja, CXL, 27. syyskuuta 2016 | Idean taustalla oleva näyttö voittaa luottamuksen siihen |
| RIISI | Ulottuvuus (henkilöä jaksoa kohden), Vaikuttavuus (0.25–3), Luottamus (50/80/100 %), Työmäärä (henkilökuukausina) | (R × I × C) / E | Sean McBride, Intercom, 5. tammikuuta 2018 | Pisteiden vaikutus työyksikköä kohden |
Kaksi korjausta ennen kuin otat yhden käyttöön. PXL kirjoitettiin hyökkäykseksi muita CRO-kehyksiä vastaan: Lajan väite on, että jos potentiaalin tai luotettavuuden voisi luotettavasti arvata etukäteen, testiä ei tarvitsisi. Ja PIE:n kanoninen sivu määrittelee kriteerit, mutta ei julkaise skaalaa eikä kaavaa, joten jokainen tiimi keksii omansa. widerfunnel.com-verkkotunnus ohjaa nyt conversion.com-sivustolle, joten useimpien CRO-pakkojen mainitsemalla kehyksellä ei ole ylläpidettyä ensisijaista spesifikaatiota.
Sama ruuhka, neljällä eri tavalla pisteytettynä
Kolme ehdokastestiä keskikokoisessa vähittäiskaupassa. Luvut ovat havainnollistavia, eivät asiakastietoja.
- A. Osamaksujen (taksien) erittely tuotesivun hintalohkon sisällä. 180 000 PDP-katsojaa kuukaudessa, analytiikan ja asiakastuen tuella.
- B. Poista pakotettu tilin luonti kassalla. 12 000 kassan aloitusta kuukaudessa, ja niitä tukevat käytettävyysistunnot, tallenteet, analytiikka ja tukiyhteydenotot.
- C. Kirjoita kotisivun sankariotsikko uudelleen. 220 000 kotisivuistuntoa kuukaudessa, ei tukevaa tutkimusta, ehdotettu työpajassa.
| Testi | RIISI | ICE | PIIRAKKA | PXL (12:sta) |
|---|---|---|---|---|
| A: maksuerittely | 144,000 (1st) | 294 (2.) | 7.0 (2.) | 10 (1st) |
| B: ei pakotettua tiliä | 18,000 (3.) | 405 (1st) | 6.3 (3.) | 9 (2.) |
| C: sankarin otsikko | 55,000 (2.) | 144 (3.) | 7.3 (1st) | 6 (3.) |
Jokainen testi voittaa ainakin yhden viitekehyksen alla. Erimielisyyttä on viitekehysten toiminnassa:
- RICE asettaa A:n etusijalle koska Reach on raaka henkilöstömäärä. Se hautaa kassatyön ja asiakkuuksien käsittelyn mihin tahansa normaaliin myyntisuppiloon.
- ICE asettaa B:n etusijalle koska kokeneen ammatinharjoittajan pakotetun tilinluonnin vaikuttavuus on 9, luottamus 9 ja ICE kertoo mielipiteet mielipiteeltä. Vaihda pisteyttäjää, muuta etenemissuunnitelmaa.
- PIE asettaa C:n etusijalle koska kotisivulla on arvokkain liikenne ja tekstin lähettäminen on helppoa. PIE rakennettiin valitsemaan sivutpyydettiin asettamaan sijoitus muutokset, se palkitsee tärkeiden mallipohjien halvat muokkaukset.
- PXL laittaa C:n viimeiseksi koska C saa nollan pistemäärää kaikissa neljässä todistusaineistoa koskevassa kysymyksessä. Se on ainoa viitekehys, joka rankaisee aavistusta rakenteellisesti sen sijaan, että luottaisi pisteyttäjän rehellisyyteen luottamuksen suhteen.
Kumpaa käyttää: valitse sidontarajoitteesi perusteella
| Sitova rajoite | Käyttää | Koska |
|---|---|---|
| Ei vielä tutkimuspanoksia, ensimmäiset kymmenen testiä | ICE, kirjoitettujen ankkureiden kanssa | Toimii pelkästään harkinnan varassa. Käsittele tulostetta jonona, älä ranking-arvona. |
| Joukkue testaa jatkuvasti mielipiteitä ja häviää | PXL | Binääritietokysymyksiä on vaikea paisuttaa. |
| Tekninen kapasiteetti, ei liikenne | RIISI | Ainoa, jolla on nimittäjä, joten ainoa, joka optimoi läpimenon. |
| Työstettävän sivun tai mallin valitseminen | PIIRAKKA | Rakennettu tuota kysymystä varten. |
| Liikenne | Ei kukaan yksin | Kaikki neljä eivät tiedä, voiko testi päättyä. Lisää portti alla. |
Kaikki neljä porttia puuttuvat: voiko tämä testi päättyä?
Ulottuvuus ei ole havaittavuutta. Tarkista toteutettavuus ennen pisteytystä käyttämällä normaaliapproksimaatiota kaksipuoliselle testille 95 %:n merkitsevyydellä ja 80 %:n teholla:
n per variant ≈ 15.7 × p × (1 - p) / d²
jossa p on siirrettävän mittarin perustaso ja d on absoluuttinen nosto, jonka haluat havaita. Sovellettuna yllä olevaan ruuhkaan:
| Testi | Mittari ja lähtötaso | MDE | Muunnelmaa kohden | viikkoa |
|---|---|---|---|---|
| A | PDP-katsoja ostaa, 2.0 % | 5 % suhteellinen (0.1 prosenttiyksikköä) | ~ 307,700 | ~ 14 |
| A | PDP-katsoja ostaa, 2.0 % | 10 % suhteellinen (0.2 prosenttiyksikköä) | ~ 76,900 | ~4 |
| B | Kassalla ostoksen aloittaminen, 55 % | 5 % suhteellinen (2.75 prosenttiyksikköä) | ~ 5,140 | ~4 |
RICE-testin ensimmäiseksi sijoitettua tulosta ei voida lukea neljänneksen ajan useimpien tiimien olettamalla herkkyydellä, kun taas viimeiseksi sijoitettu RICE-testi päättyy kuukauden kuluttua. A:n pohja on 2 % ja B:n 55 %, ja otoskokoon vaikuttavat p(1-p)/d², ei sen perusteella, kuinka monta ihmistä sivua on nähnyt. A tulee myös mahdolliseksi sillä hetkellä, kun ilmoitat 10 %:n pienimmäksi toiminnan arvoiseksi parannukseksi, mikä tekee pienimmästä havaittavasta vaikutuksestasi priorisointipäätöksen eikä tilastollisen yksityiskohdan. Päätä se samassa kokouksessa pisteytyksen kanssa ja valitse yksi laskin kaikelle, koska eri varianssiapproksimaatiot eivät ole täysin samaa mieltä: Evan Millerin ja Switasin A/B-testin laskin ovat molemmat kunnossa.
Toteutettavuusluokat
- Kaksi viikkoa tai vähemmän. Vihreä. Tee maali ja juokse.
- Kaksi tai neljä viikkoa. Amber. Käytä sitä yksinään ja kattaa vähintään kaksi kokonaista viikoittaista sykliä.
- Neljästä kahdeksaan viikkoa. Punainen tarkoittaa tavallista A/B-testiä. Nosta MDE:tä, siirry korkeampaan perusmittariin tai käytä peräkkäistä suunnittelua ennalta rekisteröidyllä pysäytyssäännöllä.
- Yli kahdeksan viikkoa. Älä tee A/B-testiä. Käytä harkintaa ja käytä suojakaiteen mittareita tai tee laadullinen tutkimus.
Tällä portilla on tässä enemmän merkitystä kuin englanninkielisessä CRO-kirjallisuudessa oletetaan. Turkin verkkokaupan volyymi oli 4.567 biljoonaa liiraa noin 634 000 yrityksessä vuonna 2025 (Kauppaministeriö, 12. toukokuuta 2026), keskimäärin noin 7.2 miljoonaa liiraa yritystä kohden vuodessa, ja jakauma painottuu muutamaan markkinapaikkaan, joten tyypillinen kauppias sijoittuu selvästi sen alapuolelle. Sivusto, joka tekee muutaman sata tilausta kuukaudessa, ei voi pyörittää kassatestiä millään hyödyllisellä MDE:llä. Näille sivustoille priorisoinnin rehellinen tuotos on tutkimus- ja mittaussuunnitelma, ei testaussuunnitelma.
Pisteiden tekeminen merkitsee jotakin
- Kirjoita ankkurit ennen pisteytystä. RICE-indeksin vaikutuksen 3 on oltava omassa valuutassasi, esimerkiksi "muuttaa ostokonversiota yli 5 % suhteellisesti". Ilman ankkureita pisteet vaihtelevat yhden istunnon aikana.
- Luottamuskorkeus näyttötason mukaan. Tutkimuksen osuus on 50 %, analytiikan osuus on 80 % ja analytiikan, laadullisen tutkimuksen ja siihen liittyvän aiemman voiton osuus 100 %. Tämä tuo PXL:n tieteenalan osaksi RICE-ohjelmaa.
- Pisteet sokkona, täsmää ensin laajimmat erot. Kolmen henkilön pisteyttäminen itsenäisesti ja sitten keskustelu vain niistä asioista, jotka eroavat toisistaan vähintään kolme pistettä, kestää noin neljäkymmentä minuuttia kolmenkymmenen kohdan käsittelyyn.
- Kirjaa ennustettu tulos todelliseen tulokseen verrattuna. Kymmenen lukeman jälkeen tarkista, korreloivatko Impact-pisteytykset havaittujen vaikutusten kanssa. Jos eivät, asteikko on koriste ja sinun tulisi vaihtaa PXL-asteikkoon.
- Älä koskaan vertaa pisteitä eri viitekehysten välillä. RICE-pistemäärällä 144 000 ja PXL-pistemäärällä 10 ei ole yhteyttä.
Missä tämä hajoaa
Nämä viitekehykset asettavat ideoita järjestykseen, eivätkä paranna niitä. Heikko hypoteesi, joka saa PXL:ssä 11/12 pistettä, on silti heikko, eikä mikään malli kerro, missä todellinen ongelma on testattavan sivun yläpuolella. Erityiset rajoitukset:
- Vaivannäkö on vähiten luotettava syöte, eikä kukaan pisteytä sitä uudelleen. RICE-laskennan nimittäjä on todennäköisimmin väärässä oleva luku kertoimella kaksi, ja se siirtää sijoitusta enemmän kuin väärä Impact-pisteytys.
- Mikään neljästä mallista ei ole vuorovaikutuksessa. Suorita kolme testiä yhdellä suppilolla kerralla, niin tulokset eivät kertoneet mitään häiriöistä.
- Tavoita ihmisiä kuukausittaisissa tauoissa kausiluonteisissa yrityksissä. Matkailun ja koulutuksen tulisi saada tavoittavuuspisteet koko kauden aikana tai viime vuoden vastaavaan ajanjaksoon verrattuna.
- Riippuvuudet ovat näkymättömiä. Testijonon ja tuotekehityssuunnitelman yhteinen pistemäärä imartelee myös sitä, kummalla puolella on enemmän liikennettä.
[TARVITAAN SISÄISTÄ TIETOA: Switan voittoprosentti pilareittain viimeisten 24 kuukauden ajalta, jotta alan osumaprosenttiluvut voidaan korvata ensimmäisen osapuolen luvuilla.]
[TARVITAAN SISÄISIÄ TIETOJA: kahden viitekehyksen mukaisesti pisteytetty anonymisoitu asiakasjono havainnollistavan esimerkin korvaamiseksi.]
Usein kysyttyjä kysymyksiä
Onko RICE parempi kuin ICE CRO-työssä?
Ei luonnostaan. RICE lisää Reach-arvon ja laittaa Effortin nimittäjään, mikä auttaa, kun pullonkaulana on toimituskapasiteetti, mutta se painottaa paljon liikennettä saavia sivuja. Käytä RICE-arvoa, kun suunnitteluaikaa on niukasti, ja ICE-arvoa, kun sitä ei ole.
Mikä on riittävän korkea pistemäärä kokeen suorittamiseen?
Millään neljästä ei ole absoluuttista kynnystä. Pisteet ovat ordinaalisia: ne kertovat, mitä tehdä seuraavaksi, eivät sitä, onko mikään tekemisen arvoista. Absoluuttinen raja on toteutettavuus. Jos testi ei saavuta merkitsevyyttä kahdeksassa viikossa, sen pistemäärällä ei ole merkitystä.
Voimmeko yhdistää kaksi viitekehystä?
Tuotosten yhdistäminen on merkityksetöntä, koska asteikot eivät ole yhteydessä toisiinsa. Syötteiden yhdistäminen ei ole. RICE:n luottamusta mittaava Capping-kysymys PXL:n näyttökysymyksiin on hyvin toimiva hybridi, jota käytämme useimmin.
Toimiiko PXL muilla kuin verkkokauppasivustoilla?
Todistekysymykset koskevat mitä tahansa tuotetta. Asettelukysymykset olettavat markkinointisivun ja ovat heikkoja kirjautuneiden käyttäjien työnkuluille. Korvaa ne kysymyksillä siitä, kuinka usein käyttäjät kohtaavat elementin tehtäväkulussa.
Pitäisikö vähän liikennettä saavien sivustojen käyttää näitä kehyksiä ollenkaan?
Kyllä, sekvensointityöhön, mutta lopeta tuotoksen kutsuminen testien tiekarttaksi. Sivustolla, joka ei pysty tukemaan testejä, sama harjoitus määrää käyttökokemustarkastustulokset, tutkimuskysymykset ja build-työn.
Kenen pitäisi olla mukana pistelaskussa?
Kolmesta viiteen ihmistä, jotka näkevät erilaisia todisteita: analytiikkaa, tutkimusta tai tukea, ja kuka tahansa on vastuussa toimituksesta. Pelkkä pisteytys tuottaa itsevarmaa hölynpölyä; kymmenen ihmisen pisteytys tuottaa keskiarvoja, jotka eivät ole minkään arvoisia.
Kokeile tätä omalla työlistallasi
Ota kymmenen testilistasi kärjessä olevaa kohdetta, aja jokainen yllä oleva toteutettavuuskaava läpi ja laske, kuinka moni niistä selviytyy olettamallasi herkkyydellä. Jos yli puolet ei selviä, sijoitus ei ole koskaan ollut ongelmasi. Meidän... CRO- ja kokeilutiimi suorittaa tämän pisteytyksen ja toteutettavuustestauksen sitoumuksen ensimmäisenä vaiheena.
Lähteet
- Kohavi, R. ja Longbotham, R. (2015). Verkkopohjaiset kontrolloidut kokeet ja A/B-testausViittaa Microsoftin luvulle Kohaviin, Crookiin ja Longbothamiin (2009) ja Netflixin luvulle Moraniin (2007).
- McBride, S. (5. tammikuuta 2018). RICE: Yksinkertainen priorisointi tuotepäälliköille, Sisäpuhelin.
- Laja, P. (27. syyskuuta 2016). PXL: Parempi tapa priorisoida A/B-testejäsi, CXL.
- PIE-priorisointikehys, Conversion (entinen WiderFunnel), Chris Gowardin kunniaksi.
- Turkin kauppaministeriö (12. toukokuuta 2026). Verkkokaupan volyymi oli 4.6 biljoonaa liiraa vuonna 2025.
- Miller, E. Näytteen kokolaskin.
- Switas. A/B-testilaskin.
