Tylko około jedna trzecia pomysłów testowanych na platformie eksperymentalnej Microsoftu poprawiła wskaźnik, który miały poprawić, a Netflix określił swój własny wskaźnik trafień na bliższy jednemu na dziesięć (Kohavi i Longbotham, 2015). Jeśli większość Twojego backlogu jest błędna, kolejność, w jakiej go testujesz, będzie miała największy wpływ na zwrot z inwestycji. Ten poradnik jest przeznaczony dla leadów CRO i właścicieli produktów, którzy mają już więcej pomysłów na testy niż ruchu. Oceniamy te same trzy pomysły za pomocą ICE, PIE, PXL i RICE, pokazujemy, dlaczego cztery kolejności rankingowe się nie zgadzają, podajemy regułę wyboru między nimi i dodajemy bramkę, której brakuje we wszystkich czterech: czy test może osiągnąć istotność przed końcem kwartału.
Na co tak naprawdę stawia każda struktura
Wszystkie cztery generują liczbę i żaden nie mierzy tego samego. Każdy z nich jest mniej systemem punktacji, a bardziej skompresowaną opinią na temat tego, co sprawia, że test warto przeprowadzić.
| Wejścia | Formuła | Origin | Zakład, który koduje | |
|---|---|---|---|---|
| ICE | Wpływ, pewność siebie, łatwość – każde od 1 do 10 | I × C × E | Sean Ellis, praktyka wzrostu | Doświadczona ocena jest najtańszym sygnałem |
| PIE | Potencjał, Znaczenie, Łatwość, każde od 1 do 10 | Średnia z trzech | Chris Goward, WiderFunnel (obecnie Konwersja) | Miejsce przeprowadzania testów jest ważniejsze od tego, co zmieniasz |
| PXL | ~9 pytań głównie binarnych, niektóre ważone 0 lub 2 | Suma z ustalonego maksimum | Peep Laja, CXL, 27 września 2016 | Dowody na istnienie pomysłu są ważniejsze niż pewność co do niego |
| RYŻ | Zasięg (liczba osób na okres), Wpływ (od 0.25 do 3), Zaufanie (50/80/100%), Wysiłek (osobo-miesiące) | (R × I × C) / E | Sean McBride, Intercom, 5 stycznia 2018 | Wpływ wyniku na jednostkę pracy |
Dwie poprawki przed wprowadzeniem jednej. PXL został napisany jako atak na inne frameworki CRO: Laja argumentuje, że gdyby można było z góry wiarygodnie odgadnąć potencjał lub pewność, test nie byłby potrzebny. Kanoniczna strona PIE definiuje kryteria, ale nie publikuje żadnej skali ani wzoru, więc każdy zespół tworzy swój własny. Domena widefunnel.com przekierowuje teraz do conversion.com, więc framework, na który powołuje się większość prezentacji CRO, nie ma zachowanej podstawowej specyfikacji.
Te same zaległości, punktowane na cztery sposoby
Trzy testy kandydatów przeprowadzone w średniej wielkości sklepie detalicznym. Dane mają charakter poglądowy i nie dotyczą danych klientów.
- A. Podział rat (taksit) w bloku cenowym na stronie produktu. 180 000 widzów PDP miesięcznie, wspierane przez analitykę i zgłoszenia głosowe klientów.
- B. Usuń wymuszoną konfigurację konta podczas realizacji transakcji. Miesięcznie rozpoczyna się 12 000 transakcji, wspieranych sesjami użyteczności, nagraniami, analizami i kontaktami z pomocą techniczną.
- C. Napisz nagłówek na stronie głównej na nowo. 220 000 sesji na stronie głównej miesięcznie, bez badań pomocniczych, propozycja zaproponowana w ramach warsztatów.
| Testowanie | RYŻ | ICE | PIE | PXL (z 12) |
|---|---|---|---|---|
| A: podział rat | 144,000 (1st) | 294 (2) | 7.0 (2) | 10 (1st) |
| B: brak wymuszonego konta | 18,000 (3 miejsce) | 405 (1st) | 6.3 (3 miejsce) | 9 (2) |
| C: nagłówek bohatera | 55,000 (2) | 144 (3 miejsce) | 7.3 (1st) | 6 (3 miejsce) |
Każdy test wygrywa w ramach co najmniej jednego frameworka. Różnica polega na tym, że frameworki wykonują swoje zadania:
- RICE stawia na A ponieważ Reach to surowa liczba pracowników. To zawęża pracę nad kasą i kontami w każdym standardowym leju sprzedażowym.
- ICE stawia B na pierwszym miejscu Ponieważ starszy praktyk ocenia wymuszone tworzenie kont na poziomie Impact 9, Confidence 9, a ICE mnoży opinię przez opinię. Zmień punktację, zmień plan działania.
- PIE stawia C na pierwszym miejscu ponieważ strona główna generuje najcenniejszy ruch, a treść jest łatwa do przesłania. PIE został stworzony, aby wybierać stron; poproszony o ocenę zmiany, nagradza tanie edycje ważnych szablonów.
- PXL stawia C na końcu Ponieważ C otrzymuje zero punktów we wszystkich czterech pytaniach dotyczących dowodów. To jedyny model, który strukturalnie penalizuje przeczucie, zamiast ufać, że osoba oceniająca będzie szczera w kwestii pewności siebie.
Którego użyć: wybierz według swojego ograniczenia wiążącego
| Ograniczenie wiążące | Zastosowanie | Bo |
|---|---|---|
| Brak danych wejściowych do badań, pierwsze dziesięć testów | ICE z zapisanymi kotwicami | Działa wyłącznie na podstawie osądu. Traktuj wynik jako kolejkę, a nie ranking. |
| Zespół ciągle testuje opinie i przegrywa | PXL | Pytania oparte na dowodach binarnych są trudne do rozwinięcia. |
| Możliwości inżynieryjne, a nie ruch | RYŻ | Jedyny z mianownikiem, a więc jedyny, który optymalizuje przepustowość. |
| Wybór strony lub szablonu, nad którym chcesz pracować | PIE | Stworzone do stawiania tego pytania. |
| Ruch | Nikt sam | Wszyscy czterej nie wiedzą, czy test może się zakończyć. Dodaj bramkę poniżej. |
Bramki są wszystkie cztery, brakuje: czy ten test się uda?
Zasięg to nie wykrywalność. Przed oceną sprawdź wykonalność, używając przybliżenia normalnego dla testu dwustronnego o istotności 95% i mocy 80%:
n per variant ≈ 15.7 × p × (1 - p) / d²
gdzie p jest to stawka bazowa metryki, którą przesuwasz i d to absolutny wzrost, który chcesz wykryć. Zastosowany do powyższego backlogu:
| Testowanie | Metryka i linia bazowa | MDE | Na wariant | tygodni |
|---|---|---|---|---|
| A | Przeglądarka PDP do kupienia, 2.0% | 5% względne (0.1 pp) | ~ 307,700 | ~ 14 |
| A | Przeglądarka PDP do kupienia, 2.0% | 10% względne (0.2 pp) | ~ 76,900 | ~4 |
| B | Rozpocznij zakupy od kasy, 55% | 5% względne (2.75 pp) | ~ 5,140 | ~4 |
Test RICE, który zajmuje pierwsze miejsce, nie może być odczytywany przez kwartał z czułością zakładaną przez większość zespołów, podczas gdy test RICE, który zajmuje ostatnie miejsce, kończy się po miesiącu. A znajduje się na bazie 2%, a B na bazie 55%, a wielkość próby zależy od p(1-p)/d², a nie od liczby osób, które zobaczyły stronę. A staje się również wykonalne w momencie, gdy deklarujesz 10% jako najmniejszy wzrost, na który warto zareagować, co sprawia, że minimalny wykrywalny efekt jest decyzją priorytetyzacyjną, a nie szczegółem statystycznym. Podejmij decyzję na tym samym spotkaniu, na którym ustalana jest punktacja, i wybierz jeden kalkulator do wszystkiego, ponieważ różne przybliżenia wariancji nie zawsze się zgadzają: Evana Millera i Kalkulator testów A/B Switas obydwa są w porządku.
Kategorie wykonalności
- Dwa tygodnie lub krócej. Zielony. Zdobądź punkt i uruchom.
- Od dwóch do czterech tygodni. Amber. Uruchom to samodzielnie, obejmując co najmniej dwa pełne cykle tygodniowe.
- Od czterech do ośmiu tygodni. Czerwony dla standardowego testu A/B. Podnieś MDE, przejdź na metrykę o wyższej bazie lub użyj projektu sekwencyjnego z wstępnie zarejestrowaną regułą zatrzymania.
- Ponad osiem tygodni. Nie przeprowadzaj testów A/B. Opieraj się na osądzie, stosując wskaźniki Guardrail lub przeprowadź badanie jakościowe.
Ta brama ma tu większe znaczenie, niż zakłada anglojęzyczna literatura CRO. W 2025 roku turecki e-commerce osiągnął wartość 4.567 biliona lir w około 634 000 przedsiębiorstwach (Ministerstwo Handlu, 12 maja 2026 r.), średnio około 7.2 miliona lir na firmę rocznie, a dystrybucja jest przesunięta w kierunku kilku platform handlowych, więc typowy sprzedawca plasuje się znacznie poniżej tej wartości. Strona internetowa realizująca kilkaset zamówień miesięcznie nie jest w stanie przeprowadzić testu płatności w żadnym sensownym MDE. Dla tych stron rzetelnym rezultatem priorytetyzacji jest plan badań i pomiarów, a nie plan testów.
Uczynienie wyników czymś znaczącymi
- Napisz kotwice przed punktacją. Wskaźnik Impact 3 w RICE musi oznaczać coś w Twojej walucie, na przykład „zmiana konwersji zakupu o ponad 5% w stosunku do wartości względnej”. Bez kotwic wyniki zmieniają się w ciągu jednej sesji.
- Określ poziom zaufania na podstawie poziomu dowodów. Brak limitów badań na poziomie 50%, tylko analityka na poziomie 80%, analityka plus analiza jakościowa plus powiązane wcześniejsze zwycięstwo na poziomie 100%. To wprowadza dyscyplinę PXL do RICE.
- Zliczaj w ciemno, najpierw uzgadniaj najszersze spready. Trzy osoby oceniają niezależnie, a następnie omawiają tylko te elementy, które różnią się o trzy lub więcej punkty. Trwa to około czterdziestu minut dla trzydziestu elementów.
- Zapisz przewidywany wynik w zestawieniu z rzeczywistym rezultatem. Po dziesięciu odczytach sprawdź, czy wyniki Impact w ogóle korelują z obserwowanymi efektami. Jeśli nie, skala jest ozdobą i powinieneś przejść na PXL.
- Nigdy nie porównuj wyników różnych frameworków. Wynik RICE wynoszący 144 000 i wynik PXL wynoszący 10 nie mają ze sobą związku.
Gdzie to się psuje
Te ramy klasyfikują pomysły, a nie je ulepszają. Słaba hipoteza, która uzyskała 11 na 12 punktów w PXL, nadal jest słaba, a żaden model nie wskaże, że prawdziwy problem leży przed testowaną stroną. Konkretne ograniczenia:
- Wysiłek jest najmniej wiarygodnym parametrem i nikt go nie ocenia. Mianownikiem RICE jest liczba, która najprawdopodobniej okaże się błędna o współczynnik dwóch, a która zmienia kolejność w rankingu bardziej niż błędny wynik Impact.
- Żaden z czterech modeli nie wchodzi w interakcję. Wykonaj trzy testy na jednym leju jednocześnie, a wyniki nie powiedzą Ci nic o zakłóceniach.
- Liczba osób na miesiąc, które skorzystały z urlopu dla firm sezonowych. Podróże i edukacja powinny zapewnić Reach w pełnym cyklu sezonowym lub w porównaniu do analogicznego okresu w roku ubiegłym.
- Zależności są niewidoczne. Wspólny wynik obejmujący zaległości testowe i plan rozwoju produktu również korzystnie wpływa na tę stronę, która ma większy ruch.
[POTRZEBNE DANE WEWNĘTRZNE: Wskaźnik wygranych Switas według filarów w ciągu ostatnich 24 miesięcy, aby zastąpić dane dotyczące wskaźnika trafień w branży danymi pochodzącymi od pierwszej strony.]
[POTRZEBNE DANE WEWNĘTRZNE: zanonimizowany rejestr zaległości klienta oceniony według dwóch ram, w celu zastąpienia przykładu ilustrującego.]
PYTANIA I ODPOWIEDZI
Czy RICE jest lepszy od ICE w przypadku optymalizacji współczynnika konwersji (CRO)?
Nie z natury. RICE dodaje zasięg i stawia nakład pracy w mianowniku, co pomaga, gdy wąskim gardłem jest przepustowość, ale faworyzuje strony o dużym ruchu. Używaj RICE, gdy brakuje czasu na inżynierię, a ICE, gdy go nie ma.
Jaki wynik jest wystarczająco wysoki, aby przystąpić do testu?
Żaden z czterech kryteriów nie ma progu absolutnego. Wyniki są porządkowe: wskazują, co robić dalej, a nie czy warto coś robić. Bramą absolutną jest wykonalność. Jeśli test nie osiągnie istotności w ciągu ośmiu tygodni, jego wynik jest nieistotny.
Czy możemy połączyć dwa frameworki?
Łączenie wyników jest bezcelowe, ponieważ skale nie są ze sobą powiązane. Łączenie danych wejściowych nie. Ograniczenie pewności siebie RICE pytaniami dowodowymi PXL to dobrze zachowana hybryda, z której korzystamy najczęściej.
Czy PXL działa w przypadku witryn niebędących witrynami e-commerce?
Pytania dotyczące dowodów można przenieść na dowolny produkt. Pytania dotyczące układu zakładają stronę marketingową i są słabe w przypadku przepływów po zalogowaniu. Zastąp je pytaniami o to, jak często użytkownicy napotykają dany element w przepływie zadań.
Czy witryny o małym ruchu w ogóle powinny korzystać z tych frameworków?
Tak, w przypadku prac nad sekwencjonowaniem, ale przestań nazywać wynik mapą drogową testów. Na stronie, która nie jest w stanie zasilić testów, to samo ćwiczenie porządkuje wyniki audytu UX, pytania badawcze i prace nad kompilacją.
Kto powinien brać udział w sesji punktowej?
Trzy do pięciu osób, które widzą różne dowody: analizy, badania lub wsparcie, i ktokolwiek odpowiada za dostawę. Samo ocenianie daje pewność siebie i bzdury; ocenianie przez dziesięć osób daje średnie, które nie mają żadnej wartości.
Wypróbuj to na swoim własnym backlogu
Weź dziesięć elementów z góry listy testowej, przeanalizuj każdy z nich pod kątem powyższego wzoru wykonalności i policz, ile z nich przetrwa przy założonym poziomie czułości. Jeśli ponad połowa nie przetrwa, ranking nigdy nie był Twoim problemem. Nasze Zespół ds. współczynnika konwersji i eksperymentów przeprowadza ocenę punktową i analizę wykonalności jako pierwszy krok zaangażowania.
Źródła
- Kohavi, R. i Longbotham, R. (2015). Eksperymenty kontrolowane online i testy A/B. Podaje Kohaviego, Crooka i Longbothama (2009) dla danych Microsoftu oraz Morana (2007) dla danych Netflixa.
- McBride, S. (5 stycznia 2018). RICE: Proste ustalanie priorytetów dla menedżerów produktów, Domofon.
- Laja, P. (27 września 2016). PXL: Lepszy sposób na priorytetyzację testów A/B, CXL.
- Ramy priorytetyzacji PIE, Conversion (dawniej WiderFunnel), przypisuje się Chrisowi Gowardowi.
- Ministerstwo Handlu Turcji (12 maja 2026 r.). Wolumen handlu elektronicznego osiągnął 4.6 biliona lir w 2025 roku.
- Miller, E. Kalkulator wielkości próby.
- Świtas. Kalkulator testu A/B.
