A Microsoft kísérleti platformján tesztelt ötleteknek csak körülbelül egyharmada javított azon a mutatón, amelyre tervezték őket, a Netflix pedig a saját találati arányát közelebb hozta az egy tizedikhez (Kohavi és Longbotham, 2015). Ha a teendőlistád nagy része hibás, akkor a tesztelés sorrendje adja a legtöbb megtérülést, amit kapsz. Ez az útmutató CRO-leadeknek és terméktulajdonosoknak szól, akiknek már eleve több tesztötletük van, mint forgalmuk. Ugyanazt a három ötletet pontozzuk ICE, PIE, PXL és RICE segítségével, megmutatjuk, hogy miért nem tér el a négy rangsorrend, adunk egy szabályt a köztük való választásra, és hozzáadjuk azt a határt, amely mind a négynél hiányzik: hogy egy teszt elérheti-e a jelentőséget a negyedév vége előtt.
Mire fogad valójában az egyes keretrendszerek
Mind a négy egy számot eredményez, és egyik sem méri ugyanazt. Egyik sem annyira egy pontozási rendszer, mint inkább egy tömörített vélemény arról, hogy miért érdemes egy tesztet lefuttatni.
| Keretrendszer | Bemenetek | Képlet | Eredet | A fogadás, amit kódol |
|---|---|---|---|---|
| ICE | Hatás, Magabiztosság, Könnyedség, mindegyik 1-től 10-ig | I × C × E | Sean Ellis, növekedési gyakorlat | A tapasztalt ítélőképesség a legolcsóbb jelzés |
| PITE | Potenciál, Fontosság, Könnyűség, mindegyik 1-től 10-ig | A három átlaga | Chris Goward, WiderFunnel (jelenleg Átalakítás) | A tesztelés helye fontosabb, mint az, hogy mit változtatsz meg |
| PXL | ~9 többnyire bináris kérdés, némelyik 0 vagy 2 súlyozott | Összeg, egy fix maximumból kiindulva | Peep Laja, CXL, 2016. szeptember 27. | Egy ötlet mögötti bizonyítékok felülmúlják a benne lévő bizalmat |
| RIZS | Elérés (fő/időszak), Hatás (0.25–3), Bizalom (50/80/100%), Ráfordítás (fő/hónap) | (R × I × C) / E | Sean McBride, Intercom, 2018. január 5. | Pontszám hatása munkaegységenként |
Két javítás, mielőtt bevezetnéd az egyiket. A PXL-t a többi CRO keretrendszer elleni támadásként írták: Laja érvelése szerint, ha előre megbízhatóan meg tudnád becsülni a potenciált vagy a megbízhatóságot, akkor nem lenne szükség tesztre. A PIE kanonikus oldala pedig meghatározza a kritériumokat, de nem tesz közzé skálát vagy képletet, így minden csapat kitalálja a sajátját. A widerfunnel.com domain most átirányít a conversion.com-ra, így a legtöbb CRO pakli által idézett keretrendszernek nincs fenntartott elsődleges specifikációja.
Ugyanaz a lemaradás, négyféleképpen pontozva
Három jelölt tesztje egy közepes méretű kiskereskedőnél. Az adatok illusztrációk, nem ügyféladatok.
- A. Részletfizetés (taksit) részletezése a termékoldal árblokkján belül. Havonta 180 000 PDP-megtekintés, analitikával és ügyfél-hangjegyekkel támogatva.
- B. A kényszerített fióklétrehozás megszüntetése a fizetés során. Havonta 12 000 fizetés indul, használhatósági munkamenetek, felvételek, elemzések és ügyfélszolgálati kapcsolattartók támogatásával.
- C. Írd át a kezdőlap főcímét. Havi 220 000 kezdőlap-munkamenet, alátámasztó kutatás nélkül, egy workshopon elhangzva.
| Tesztelés | RIZS | ICE | PITE | PXL (12-ből) |
|---|---|---|---|---|
| A: részletfizetési részletezés | 144,000 (1.) | 294 (2.) | 7.0 (2.) | 10 (1.) |
| B: nincs kényszerített számla | 18,000 (3.) | 405 (1.) | 6.3 (3.) | 9 (2.) |
| C: főcím | 55,000 (2.) | 144 (3.) | 7.3 (1.) | 6 (3.) |
Minden teszt legalább egy keretrendszer alatt nyer. A nézeteltérés a keretrendszerek feladatainak ellátásában rejlik:
- A RICE az A-t helyezi előtérbe Mivel az elérés egy nyers létszámadat, ez elnyomja a fizetési és fióképítési munkát bármely normál értékesítési tölcsérben.
- Az ICE a B-t helyezi előtérbe Mert egy tapasztalt szakember a kényszerített fióklétrehozást 9-es hatásszinttel, a bizalom 9-es pontszámmal értékeli, és az ICE véleményről véleményre szorozza a véleményeket. Változtasd meg a pontozót, változtasd meg az ütemtervet.
- A PIE a C-t helyezi előtérbe mert a kezdőlapnak van a legtöbb forgalma, és a szöveg közlése triviális. A PIE-t azért hozták létre, hogy válasszon oldalak; rangsorolásra kérték változások, a fontos sablonok olcsó szerkesztését jutalmazza.
- A PXL a C-t az utolsó helyre teszi mivel a C mind a négy bizonyítékkérdésben nulla pontot ér el. Ez az egyetlen olyan keretrendszer, amely strukturálisan bünteti a megérzést, ahelyett, hogy megbízna a pontozó őszinteségében a magabiztossággal kapcsolatban.
Melyiket használjuk: a kötési korlát alapján válasszunk
| Kötési korlátozás | Felhasználás | Mivel |
|---|---|---|
| Még nincsenek kutatási adatok, az első tíz teszt | ICE, írásos horgonyokkal | Kizárólag megítélésen alapul. A kimenetet várakozási sorként kezelje, ne rangsorként. |
| A csapat folyamatosan teszteli a véleményeket és veszít | PXL | A bináris bizonyítékokon alapuló kérdéseket nehéz felfújni. |
| Mérnöki kapacitás, nem forgalom | RIZS | Az egyetlen, amelynek van nevezője, tehát az egyetlen, amely optimalizálja az átviteli sebességet. |
| A kívánt oldal vagy sablon kiválasztása | PITE | Erre a kérdésre készült. |
| Forgalom | Senki sem egyedül | Mind a négy vak arra, hogy egy teszt be tud-e fejeződni. Adjuk hozzá az alábbi kaput. |
Mind a négy kapu hiányzik: be lehet fejezni ezt a tesztet?
Az elérés nem kimutathatóság. A pontozás előtt ellenőrizze a megvalósíthatóságot, a normál közelítést használva kétoldalas teszthez 95%-os szignifikancia és 80%-os teljesítmény mellett:
n per variant ≈ 15.7 × p × (1 - p) / d²
ahol p a mozgatott metrika alapsebessége, és d az az abszolút emelkedés, amelyet észlelni szeretne. A fenti elmaradásra alkalmazva:
| Tesztelés | Mutató és alapérték | MOE | Változatonként | Hetek |
|---|---|---|---|---|
| A | A PDP-nézők vásárlási aránya 2.0% | 5%-os relatív érték (0.1 százalékpont) | ~ 307,700 | ~ 14 |
| A | A PDP-nézők vásárlási aránya 2.0% | 10%-os relatív érték (0.2 százalékpont) | ~ 76,900 | ~4 |
| B | A pénztárnál a vásárlás megkezdése, 55% | 5%-os relatív érték (2.75 százalékpont) | ~ 5,140 | ~4 |
Az első helyen rangsorolt RICE teszt egy negyedévente nem olvasható le a legtöbb csapat által feltételezett érzékenység mellett, míg az utolsó helyen rangsorolt RICE teszt egy hónap múlva befejeződik. Az A 2%-os, a B pedig 55%-os bázison áll, és a minta méretét a következők határozzák meg: p(1-p)/d², nem pedig az alapján, hogy hányan látták az oldalt. A akkor válik megvalósíthatóvá, amikor a 10%-ot deklarálod a legkisebb cselekvésre érdemes emelkedésnek, ami a minimálisan kimutatható hatást priorizálási döntéssé, nem pedig statisztikai részletté teszi. Döntsd el ugyanazon a megbeszélésen, mint a pontozást, és válassz egyetlen kalkulátort mindenre, mivel a különböző variancia-közelítések nem egyeznek pontosan: Evan Miller és a Switas A/B teszt kalkulátor mindketten jól vannak.
Megvalósíthatósági kategória
- Két hét vagy kevesebb. Zöld. Szerezz pontot és fuss!
- Két-négy hét. Amber. Futtassa egyedül, legalább két teljes heti ciklust lefedve.
- Négy-nyolc hét. Piros színnel jelöljük a standard A/B tesztet. Növeljük az MDE-t, váltsunk magasabb bázisú metrikára, vagy használjunk szekvenciális tervet előre regisztrált leállítási szabállyal.
- Több mint nyolc hét. Ne végezz A/B tesztelést. Inkább saját belátásod alapján, védőkorlát-metrikákkal dolgozz, vagy végezz kvalitatív vizsgálatot.
Ez a kapu itt nagyobb jelentőséggel bír, mint azt az angol nyelvű CRO-irodalom feltételezi. Törökország e-kereskedelmi volumene 2025-ben elérte a 4.567 billió lírát, nagyjából 634 000 vállalkozásnál (Kereskedelmi Minisztérium, 2026. május 12.), ami átlagosan körülbelül 7.2 millió líra vállalkozásonként évente, és az eloszlás néhány piactér felé tolódik el, így a tipikus kereskedő jóval ez alatt helyezkedik el. Egy havonta néhány száz megrendelést feldolgozó oldal nem tud semmilyen hasznos MDE-n (Most Discounted Demand, azaz maximálisan mért becslés) működő fizetési tesztet működtetni. Ezeknél az oldalaknál a priorizálás őszinte eredménye egy kutatási és mérési ütemterv, nem pedig egy tesztelési ütemterv.
A pontszámok megszerzése jelent valamit
- Pontozás előtt írj horgonyokat. A RICE 3. hatásának jelentenie kell valamit az Ön pénznemében, például: „a vásárlási konverziót több mint 5%-kal növeli relatíve”. Horgonyok nélkül az eredmények egyetlen munkameneten belül is eltolódnak.
- A bizalom felső határa bizonyítékszint szerint. Nincs kutatási felső határ 50%-ban, csak az analitika 80%-ban, az analitika, a kvalitatív kutatás és a kapcsolódó korábbi győzelem pedig 100%-ban. Ez a PXL szakterületét importálja a RICE-ba.
- Vakversenyben egyeztesse ki a legszélesebb spreadeket. Három ember egymástól függetlenül pontoz, majd csak azokat a tételeket vitatja meg, amelyek három vagy több pontban különböznek egymástól. Ez körülbelül negyven percet vesz igénybe harminc tétel megvitatása során.
- Jegyezze fel az előrejelzett pontszámot a tényleges eredménnyel szemben. Tíz leolvasás után ellenőrizd, hogy a hatáspontszámok egyáltalán korrelálnak-e a megfigyelt hatásokkal. Ha nem, akkor a skála csak díszítés, és át kell váltanod PXL-re.
- Soha ne hasonlítsd össze a pontszámokat a különböző keretrendszerek között. A 144 000-es RICE-pontszám és a 10-es PXL-pontszám között nincs összefüggés.
Hol bukik ez meg
Ezek a keretrendszerek rangsorolják az ötleteket, nem fejlesztik azokat. Egy gyenge hipotézis, amely a PXL-en 12-ből 11-et ér el, továbbra is gyenge, és egyetlen modell sem fogja megmondani, hogy a valódi probléma a tesztelt oldal előtt van-e. Specifikus korlátok:
- Az erőfeszítés a legkevésbé megbízható bemenet, és senki sem pontozza újra. A RICE nevezője az a szám, amelyiknél a legnagyobb a valószínűsége, hogy hibás lesz, és ez jobban megváltoztatja a rangsort, mint egy hibás Impact pontszám.
- A négy modell egyike sem lép kölcsönhatásba. Futtass le három tesztet egy tölcséren egyszerre, és az eredmények semmit sem mutattak az interferenciáról.
- Szezonális vállalkozások számára havi szünetek alapján meghatározott számú ember elérése. Az utazás és az oktatás területének az Elérési mutatót egy teljes szezonális ciklusra, vagy az előző év azonos időszakához viszonyítva kell mutatnia.
- A függőségek láthatatlanok. A tesztelési várólistán és a termék ütemtervén megosztott pontszám szintén előnyt jelent annak az oldalnak, amelyiknek nagyobb a forgalma.
[SZÜKSÉGES BELSŐ ADATOK: A Switas győzelmi aránya pillérenként az elmúlt 24 hónapban, hogy az iparági találati arány adatokat saját adatokkal helyettesítsük.]
[SZÜKSÉGES BELSŐ ADATOK: két keretrendszer szerint pontozott anonimizált ügyfél-elmaradási lista a szemléltető példa helyett.]
Gyakran Ismételt Kérdések
Jobb a RICE az ICE-nél CRO munkához?
Nem eredendően. A RICE hozzáadja az elérést (Reach), és a nevezőbe teszi az erőfeszítést (Effort), ami akkor segít, ha a kézbesítési kapacitás a szűk keresztmetszet, de a nagy forgalmú oldalak felé torzít. Használj RICE-t, ha szűkös a mérnöki idő, ICE-t, ha nincs.
Melyik pontszám elég magas egy teszt lefuttatásához?
A négy közül egyiknek sincs abszolút küszöbértéke. Az pontszámok ordinálisak: azt mondják meg, hogy mit kell ezután tenned, nem azt, hogy érdemes-e bármit is megtenni. Az abszolút küszöb a megvalósíthatóság. Ha egy teszt nyolc hét alatt nem éri el a szignifikanciát, akkor a pontszáma irreleváns.
Kombinálhatunk két keretrendszert?
A kimenetek kombinálása értelmetlen, mert a skálák nem kapcsolódnak egymáshoz. A bemenetek kombinálása viszont nem. A RICE Confidence és a PXL bizonyítékkérdéseinek korlátozása egy jól működő hibrid módszer, és ezt használjuk a leggyakrabban.
A PXL működik nem e-kereskedelmi webhelyeken?
A bizonyítékokkal kapcsolatos kérdések bármilyen termékre vonatkoznak. Az elrendezéssel kapcsolatos kérdések marketingoldalt feltételeznek, és gyengék a bejelentkezett folyamatokhoz. Cserélje le ezeket olyan kérdésekkel, amelyek arra vonatkoznak, hogy a felhasználók milyen gyakran találkoznak az elemmel a feladatfolyamatban.
Egyáltalán érdemes-e az alacsony forgalmú oldalaknak ezeket a keretrendszereket használniuk?
Igen, a szekvenálási munkához, de ne nevezzük a kimenetet tesztelési ütemtervnek. Egy olyan oldalon, amely nem képes teszteket működtetni, ugyanaz a feladat UX audit megállapításokat, kutatási kérdéseket és build munkát rendel el.
Kinek kellene részt vennie a pontozáson?
Három-öt ember, akik különböző bizonyítékokat látnak: elemzés, kutatás vagy támogatás, és bárki, aki a megvalósításért felelős. A pontozás önmagában magabiztos ostobaságot eredményez; tíz emberrel pontozva olyan átlagokat kapunk, amelyek semmit sem rangsorolnak.
Próbáld ki ezt a saját teendőiddel
Vegyétek a tesztlistátok tetején található tíz elemet, mindegyiken futtassátok le a fenti megvalósíthatósági képletet, és számoljátok meg, hogy hány éli túl a feltételezett érzékenységet. Ha több mint a fele nem, akkor a rangsorolás sosem volt a problémátok. A mi… CRO és kísérleti csapat ezt a pontozási és megvalósíthatósági vizsgálatot a megbízás első lépéseként futtatja le.
Források
- Kohavi, R. és Longbotham, R. (2015). Online kontrollált kísérletek és A/B tesztelésA Microsoft adatait Kohavi, Crook és Longbotham (2009), a Netflix adatait pedig Moran (2007) munkáira hivatkozik.
- McBride, S. (2018. január 5.). RICE: Egyszerű priorizálás termékmenedzserek számára, Kaputelefon.
- Laja, P. (2016. szeptember 27.). PXL: Jobb módja az A/B tesztek rangsorolásának, CXL.
- PIE priorizálási keretrendszer, Conversion (korábban WiderFunnel), Chris Goward nevével fémjelezve.
- Török Kereskedelmi Minisztérium (2026. május 12.). Az e-kereskedelem volumene elérte a 4.6 billió lírát 2025-ben.
- Miller, E. Mintaméret kalkulátor.
- Switas. A/B teszt kalkulátor.
