Само около една трета от идеите, тествани на експерименталната платформа на Microsoft, подобриха показателя, който бяха предназначени да подобрят, а Netflix е доближил собствения си процент на успеваемост до едно на десет (Кохави и Лонгботам, 2015 г.). Ако по-голямата част от вашия backlog е грешен, редът, в който го тествате, е по-голямата част от възвръщаемостта, която ще получите. Това ръководство е за CRO лидери и собственици на продукти, които вече имат повече идеи за тестове, отколкото трафик. Ние оценяваме едни и същи три идеи с ICE, PIE, PXL и RICE, показваме защо четирите подредби на класиране не съвпадат, даваме правило за избор между тях и добавяме критерия, който липсва и на четирите: дали даден тест може да достигне значимост преди края на тримесечието.
На какво всъщност залага всяка рамка
И четирите дават число и никой не измерва едно и също нещо. Всеки от тях е по-малко система за оценяване, отколкото обобщено мнение за това какво прави даден тест заслужаващ провеждането.
| Рамка | Входове | Формула | Произход | Залогът, който кодира |
|---|---|---|---|---|
| ICE | Въздействие, Увереност, Лекота, всяко от 1 до 10 | I × C × E | Шон Елис, практика за растеж | Опитната преценка е най-евтиният сигнал |
| PIE | Потенциал, Значение, Лекота, всяко от 1 до 10 | Средно от трите | Крис Гоуърд, WiderFunnel (сега Конверсия) | Където тествате, е по-важно от това, което променяте |
| PXL | ~9 предимно бинарни въпроса, някои с тежест 0 или 2 | Сума, от фиксиран максимум | Пийп Лая, CXL, 27 септември 2016 г. | Доказателствата зад една идея са по-силни от увереността в нея |
| ОРИЗ | Обхват (хора на период), Въздействие (0.25 до 3), Доверие (50/80/100%), Усилие (човекомесеци) | (R × I × C) / E | Шон Макбрайд, Intercom, 5 януари 2018 г. | Въздействие на резултата за единица работа |
Две корекции, преди да приемете едната. PXL е написан като атака срещу другите CRO рамки: Аргументът на Лая е, че ако можехте надеждно да отгатнете потенциала или увереността предварително, нямаше да ви е необходим тест. А каноничната страница на PIE определя критериите, но не публикува скала и формула, така че всеки екип измисля своя собствена. Домейнът widerfunnel.com вече пренасочва към conversion.com, така че рамката, която повечето CRO колоди цитират, няма поддържана основна спецификация.
Същото изоставане, оценено по четири начина
Три кандидат-теста в средно голям търговец на дребно. Цифрите са илюстративни, а не данни за клиентите.
- A. Разбивка на вноските (таксит) в ценовия блок на продуктовата страница. 180 000 зрители на PDP месечно, подкрепени от анализи и заявки от клиенти.
- B. Премахнете принудителното създаване на акаунти при плащане. 12 000 плащания започват месечно, подкрепени от сесии за използваемост, записи, анализи и контакти за поддръжка.
- C. Пренапишете заглавието на началната страница. 220 000 посещения на началната страница на месец, без подкрепящи изследвания, предложено в семинар.
| тест | ОРИЗ | ICE | PIE | PXL (от 12) |
|---|---|---|---|---|
| A: разбивка на вноските | 144,000 (1-ви) | 294 (2-ро място) | 7.0 (2-ро място) | 10 (1-ви) |
| Б: няма принудителна сметка | 18,000 (3-ти) | 405 (1-ви) | 6.3 (3-ти) | 9 (2-ро място) |
| C: заглавие на героя | 55,000 (2-ро място) | 144 (3-ти) | 7.3 (1-ви) | 6 (3-ти) |
Всеки тест печели при поне една рамка. Разногласието е в това, че рамки си вършат работата:
- RICE поставя А на първо място защото Reach е суров брой на персонала. Той ще погребе работата по плащане и акаунти във всяка нормална фуния за продажби.
- ICE поставя B на първо място Защото старши специалист оценява принудителното създаване на акаунт с 9, доверието с 9, а ICE умножава мнение след мнение. Смяната на оценяващия означава промяна на пътната карта.
- PIE поставя C на първо място защото началната страница има най-ценния трафик, а изпращането на текст е лесно. PIE е създаден, за да избира страниципомолен да класира промени, той възнаграждава евтините редакции на важни шаблони.
- PXL поставя C последен защото C дава нула резултат и по четирите въпроса за доказателства. Това е единствената рамка, която структурно наказва предчувствието, вместо да се доверява на оценяващия да бъде честен относно увереността.
Кой да използвате: изберете според вашето ограничение за обвързване
| Ограничение за обвързване | употреба | защото |
|---|---|---|
| Все още няма данни за изследвания, първите десет теста | ICE, с писмени котви | Работи единствено въз основа на преценка. Третирайте резултата като опашка, а не като класиране. |
| Екипът продължава да тества мнения и да губи | PXL | Въпросите за бинарните доказателства са трудни за преувеличаване. |
| Инженерен капацитет, а не трафик | ОРИЗ | Единственият със знаменател, следователно единственият, който оптимизира пропускателната способност. |
| Избор на страница или шаблон, върху който да работите | PIE | Създаден за този въпрос. |
| Трафик | Никой сам | И четирите не знаят дали даден тест може да завърши. Добавете гейта по-долу. |
Липсват и четирите порти: може ли този тест да завърши?
Обхватът не е откриваемост. Проверете осъществимостта преди оценяване, като използвате нормалното приближение за двустранен тест при 95% значимост и 80% мощност:
n per variant ≈ 15.7 × p × (1 - p) / d²
където p е базовата стойност на показателя, който движите, и d е абсолютното покачване, което искате да откриете. Приложено към горния натрупан запас:
| тест | Метрика и базова линия | MOE | За всеки вариант | седмици |
|---|---|---|---|---|
| A | PDP зрител за закупуване, 2.0% | 5% относително (0.1 процентни пункта) | ~ 307,700 | ~ 14 |
| A | PDP зрител за закупуване, 2.0% | 10% относително (0.2 процентни пункта) | ~ 76,900 | ~4 |
| B | От началото на плащането до покупката, 55% | 5% относително (2.75 процентни пункта) | ~ 5,140 | ~4 |
Тестът RICE, класиран на първо място, не може да бъде разчетен в продължение на едно тримесечие с чувствителността, която повечето отбори предполагат, докато тестът RICE, класиран на последно място, завършва след месец. A е на база от 2%, а B - на база от 55%, а размерът на извадката се определя от p(1-p)/d², а не по това колко хора са видели страницата. A също така става осъществимо в момента, в който обявите 10% за най-малкото покачване, върху което си струва да се действа, което прави вашия минимален откриваем ефект решение за приоритизиране, а не статистическа подробност. Решете го на същата среща, на която се оценява, и изберете един калкулатор за всичко, тъй като различните приближения на дисперсията не съвпадат точно: Еван Милър и Калкулатор за A/B тестове на Switas и двамата са добре.
Кошчета за осъществимост
- Две седмици или по-малко. Зелено. Вкарай точка и бягай.
- Две до четири седмици. Амбър. Пуснете го самостоятелно, като обхванете поне два пълни седмични цикъла.
- От четири до осем седмици. Червено за стандартен A/B тест. Повишете MDE, преминете към метрика с по-висока база или използвайте последователен дизайн с предварително регистрирано правило за спиране.
- Над осем седмици. Не го тествайте с A/B тест. Изпълнете преценка с показатели guardrail или проведете качествено проучване.
Този портал е по-важен тук, отколкото предполага англоезичната литература за CRO. Обемът на електронната търговия в Турция достигна 4.567 трилиона лири в приблизително 634 000 бизнеса през 2025 г. (Министерство на търговията, 12 май 2026 г.), средно около 7.2 милиона лири на бизнес годишно, а разпределението е изкривено към няколко пазарни площадки, така че типичният търговец е доста под него. Сайт, който извършва няколкостотин поръчки на месец, не може да осигури тест на плащането на нито една полезна MDE. За тези сайтове честният резултат от приоритизирането е пътна карта за проучване и измерване, а не пътна карта за тестване.
Накарай резултатите да значат нещо
- Напишете котви, преди да оцените. Въздействие 3 в RICE трябва да означава нещо във вашата валута, например „премества конверсията на покупка с повече от 5% относително“. Без котви, резултатите се променят в рамките на една сесия.
- Ограничаване на доверието по ниво на доказателства. Няма ограничение за изследвания на 50%, само анализи на 80%, анализи плюс качествени резултати плюс свързана предишна победа на 100%. Това импортира дисциплината на PXL в RICE.
- Оценявайте на сляпо, първо съгласувайте най-широките спредове. Отнема около четиридесет минути за тридесет елемента, като трима души оценяват независимо един от друг, след което обсъждат само елементи, които се различават с три или повече точки.
- Запишете прогнозирания резултат спрямо действителния резултат. След десет отчитания проверете дали оценките за въздействие корелират с наблюдаваните ефекти. Ако не, скалата е декоративна и трябва да преминете към PXL.
- Никога не сравнявайте резултати между различните рамки. RICE резултат от 144 000 и PXL резултат от 10 нямат връзка.
Къде се разпада това
Тези рамки класират идеите, а не ги подобряват. Слаба хипотеза, която получава 11 от 12 точки в PXL, все още е слаба и никой модел няма да ви каже кой е истинският проблем, който се намира нагоре по веригата на страницата, която тествате. Специфични ограничения:
- Усилието е най-малко надеждният входен елемент и никой не го преоценява. Знаменателят на RICE е числото, което е най-вероятно да е грешно с коефициент два, и това променя реда на класиране повече от грешен резултат от Impact.
- Нито един от четирите модела не взаимодейства. Проведете три теста на една фуния едновременно и резултатите не ви казаха нищо за смущения.
- Обхват в хора на месец, прекъсвания за сезонни бизнеси. Пътуванията и образованието би трябвало да постигнат по-висок обхват за пълен сезонен цикъл или спрямо същия период на миналата година.
- Зависимостите са невидими. Споделен резултат между тестовия списък и пътната карта на продукта също е в полза на страната с повече трафик.
[НЕОБХОДИМИ ВЪТРЕШНИ ДАННИ: Процент на успехите на Switas по стълбове през последните 24 месеца, за да се заменят данните за процента на успеваемост в индустрията с данни от първа страна.]
[НЕОБХОДИМИ ВЪТРЕШНИ ДАННИ: анонимизиран списък с клиентски неизпълнени задачи, оценен по две рамки, който да замени илюстративния пример.]
Често задавани въпроси
По-добър ли е RICE от ICE за работа по CRO?
Не е по своята същност. RICE добавя Reach и поставя Effort в знаменателя, което помага, когато капацитетът за доставка е пречката, но насочва към страници с висок трафик. Използвайте RICE, когато времето за инженеринг е ограничено, ICE, когато не е.
Какъв е достатъчно високият резултат, за да се проведе тест?
Нито един от четирите теста няма абсолютен праг. Резултатите са ординални: те ви казват какво да правите след това, а не дали си струва да правите нещо. Абсолютният критерий е осъществимостта. Ако даден тест не може да достигне значимост за осем седмици, резултатът му е без значение.
Можем ли да комбинираме две рамки?
Комбинирането на изходни данни е безсмислено, защото скалите са несвързани. Комбинирането на входни данни не е. Ограничаването на доверието на RICE с въпроси за доказателства на PXL е добре поведен хибрид и този, който използваме най-често.
Работи ли PXL за сайтове, които не са за електронна търговия?
Въпросите за доказателства се отнасят за всеки продукт. Въпросите за оформлението предполагат маркетингова страница и са слаби за потоци, в които потребителите са влезли в системата. Заменете ги с въпроси за това колко често потребителите срещат елемента в потока от задачи.
Трябва ли сайтовете с нисък трафик изобщо да използват тези рамки?
Да, за последователност на работата, но спрете да наричате резултата тестова пътна карта. На сайт, който не може да захранва тестове, същото упражнение нарежда констатации от UX одит, изследователски въпроси и работа по изграждането.
Кой трябва да участва в сесията за оценяване?
От три до пет души, които виждат различни доказателства: анализи, изследвания или поддръжка, и който отговаря за изпълнението. Самото оценяване води до уверени глупости; оценяването с десет души води до средни стойности, които не класират нищо.
Опитайте това със собствения си набор от задачи
Вземете десетте елемента в горната част на вашия списък с тестове, проверете всеки от тях чрез формулата за осъществимост по-горе и пребройте колко от тях оцеляват при чувствителността, която сте предположили. Ако повече от половината не оцеляват, класирането никога не е било ваш проблем. Нашият CRO и екип за експериментиране провежда това оценяване и проверка на осъществимостта като първа стъпка от ангажимента.
Източници
- Кохави, Р. и Лонгботам, Р. (2015). Онлайн контролирани експерименти и A/B тестванеЦитира Кохави, Крук и Лонгботъм (2009) за данните за Microsoft, а Моран (2007) за Netflix.
- Макбрайд, С. (5 януари 2018 г.). RICE: Лесно приоритизиране за продуктови мениджъри, Домофон.
- Лая, П. (27 септември 2016 г.). PXL: По-добър начин за приоритизиране на вашите A/B тестове, CXL.
- Рамка за приоритизиране на PIE, Конверсия (преди WiderFunnel), с отдаване на заслуги на Крис Гоуърд.
- Министерство на търговията на Турция (12 май 2026 г.). Обемът на електронната търговия достигна 4.6 трилиона лири през 2025 г..
- Милър, Е. Калкулатор за размер на извадката.
- Switas. Калкулатор за A/B тестове.
