Лише близько третини ідей, протестованих на експериментальній платформі Microsoft, покращили показник, для покращення якого вони були розроблені, а Netflix наблизив власний показник успішності до одного з десяти (Кохаві та Лонгботам, 2015). Якщо більшість вашого беклогу неправильна, порядок, у якому ви його тестуєте, і є найбільшою віддачею, яку ви отримаєте. Цей посібник призначений для CRO-лідів та власників продуктів, які вже мають більше ідей для тестів, ніж трафіку. Ми оцінюємо ті самі три ідеї за допомогою ICE, PIE, PXL та RICE, показуємо, чому чотири порядки ранжування не відповідають дійсності, наводимо правило вибору між ними та додаємо критерій, якого бракує всім чотирьом: чи може тест досягти значущості до кінця кварталу.
На що насправді робить ставку кожен фреймворк
Усі чотири дають число, і жоден не вимірює однакову річ. Кожен з них є не стільки системою оцінювання, скільки стислою думкою про те, що робить тест вартим проведення.
| Рамки | Витрати | Formula | Походження | Ставка, яку вона кодує |
|---|---|---|---|---|
| ICE | Вплив, Впевненість, Легкість, кожне від 1 до 10 | І × С × Е | Шон Елліс, практика зростання | Досвідчене судження – найдешевший сигнал |
| PIE | Потенціал, Важливість, Легкість, кожне від 1 до 10 | Середнє з трьох | Кріс Говард, WiderFunnel (зараз Перетворення) | Де ви тестуєте, важливіше, ніж те, що ви змінюєте |
| PXL | ~9 переважно бінарних питань, деякі з яких мають вагу 0 або 2 | Сума, з фіксованого максимуму | Піп Ладжа, CXL, 27 вересня 2016 р. | Докази, що стоять за ідеєю, переважають впевненість у ній |
| Рис | Охоплення (кількість людей за період), Вплив (від 0.25 до 3), Впевненість (50/80/100%), Зусилля (людино-місяці) | (R × I × C) / E | Шон Макбрайд, Intercom, 5 січня 2018 р. | Вплив на бал за одиницю роботи |
Дві поправки, перш ніж ви приймете одну з них. PXL був написаний як атака на інші фреймворки CRO: аргумент Лаї полягає в тому, що якби ви могли надійно вгадати потенціал або впевненість заздалегідь, вам не знадобився б тест. А канонічна сторінка PIE визначає критерії, але не публікує ні шкали, ні формули, тому кожна команда винаходить свою власну. Домен widerfunnel.com тепер перенаправляє на conversion.com, тому фреймворк, який цитують більшість колод CRO, не має збереженої основної специфікації.
Той самий рахунок, оцінений чотирма способами
Три тестові проекти для середнього роздрібного продавця. Цифри є ілюстративними, а не даними клієнтів.
- A. Розбивка платежів (таксітів) всередині цінового блоку на сторінці товару. 180 000 переглядів PDP на місяць, що підтримується аналітикою та заявками клієнтів.
- B. Видаліть примусове створення облікового запису під час оформлення замовлення. Щомісяця починається 12 000 оформлень замовлення, що підтримується сеансами зручності використання, записами, аналітикою та контактами служби підтримки.
- C. Перепишіть заголовок головного сторінки. 220 000 переглядів головної сторінки на місяць, без супровідних досліджень, запропоновано на семінарі.
| Перевірити | Рис | ICE | PIE | PXL (з 12) |
|---|---|---|---|---|
| A: розподіл платежів | 144,000 (1-й) | 294 (2-ге) | 7.0 (2-ге) | 10 (1-й) |
| B: немає примусового облікового запису | 18,000 (3-тє) | 405 (1-й) | 6.3 (3-тє) | 9 (2-ге) |
| C: головний заголовок | 55,000 (2-ге) | 144 (3-тє) | 7.3 (1-й) | 6 (3-тє) |
Кожен тест виграє принаймні під одним фреймворком. Розбіжність полягає в тому, які фреймворки виконують свою роботу:
- RICE ставить А на перше місце тому що охоплення – це необроблена кількість персоналу. Це поховає роботу з оформлення замовлення та облікового запису в будь-якій звичайній воронці продажів.
- ICE ставить B на перше місце тому що старший спеціаліст оцінює вплив примусового створення облікового запису на 9, впевненість на 9, а ICE множить думку на думку. Змініть оцінювача, змініть дорожню карту.
- PIE ставить C на перше місце тому що головна сторінка має найцінніший трафік, а текст легко доставити. PIE був створений для вибору сторінокпопросили оцінити зміни, він винагороджує недорогі редагування важливих шаблонів.
- PXL ставить C на останнє місце оскільки C отримує нульовий бал за всі чотири питання щодо доказів. Це єдина система, яка структурно карає за інтуїцію, замість того, щоб довіряти оцінювачу чесності щодо впевненості.
Який з них використовувати: вибирайте за обмеженням зв'язування
| Обмеження зв'язування | Скористайтеся кнопкою | Тому що |
|---|---|---|
| Поки що немає результатів досліджень, перші десять тестів | ICE, з письмовими анкерами | Працює виключно на основі оцінки. Розглядайте результат як чергу, а не як ранжування. |
| Команда продовжує перевіряти думки та програвати | PXL | Питання щодо бінарних доказів важко перебільшити. |
| Інженерні потужності, а не дорожній рух | Рис | Єдиний, що має знаменник, отже, єдиний, що оптимізує пропускну здатність. |
| Вибір сторінки або шаблону для роботи | PIE | Створено для цього питання. |
| Трафік | Ніхто сам | Усі чотири не знають, чи може тест завершитися. Додайте гейт нижче. |
Брама, всі чотири відсутні: чи можна завершити цей тест?
Охоплення – це не виявлюваність. Перевірте доцільність перед оцінюванням, використовуючи нормальне наближення для двостороннього тесту зі значущістю 95% та потужністю 80%:
n per variant ≈ 15.7 × p × (1 - p) / d²
де p – це базова швидкість показника, який ви переміщуєте, та d – це абсолютне збільшення, яке ви хочете виявити. Застосовано до вищезазначеного черги:
| Перевірити | Метрика та базовий рівень | МНС | За варіантом | тижня |
|---|---|---|---|---|
| A | Переглядач PDP для придбання, 2.0% | 5% відносно (0.1 в.п.) | ~ 307,700 | ~ 14 |
| A | Переглядач PDP для придбання, 2.0% | 10% відносно (0.2 в.п.) | ~ 76,900 | ~4 |
| B | Від початку оформлення замовлення до покупки, 55% | 5% відносно (2.75 в.п.) | ~ 5,140 | ~4 |
Тест RICE, який посів перше місце, не можна було прочитати протягом кварталу з чутливістю, яку припускає більшість команд, тоді як тест RICE, який посів останнє місце, завершив свій результат через місяць. Команда A має базу 2%, а команда B — 55%, а розмір вибірки визначається... p(1-p)/d², а не за кількістю людей, які переглянули сторінку. A також стає можливим у той момент, коли ви оголошуєте 10% найменшим підвищенням, на яке варто діяти, що робить ваш мінімальний виявлений ефект рішенням про пріоритетність, а не статистичною деталлю. Вирішіть це на тій самій зустрічі, що й оцінювання, і виберіть один калькулятор для всього, оскільки різні наближення дисперсії не зовсім узгоджуються: Еван Міллер і Калькулятор A/B-тестів Switas обидва в порядку.
Кошики доцільності
- Два тижні або менше. Зелений. Забий і пробіжи.
- Від двох до чотирьох тижнів. Бурштин. Виконуйте це самостійно, охоплюючи щонайменше два повних тижневих цикли.
- Від чотирьох до восьми тижнів. Червоний колір позначає стандартний A/B-тест. Підвищте MDE, перейдіть до вищої базової метрики або використовуйте послідовний дизайн із попередньо зареєстрованим правилом зупинки.
- Понад вісім тижнів. Не проводите A/B-тестування. Використовуйте оціночні показники з урахуванням guardrail або проведіть якісне дослідження.
Цей пункт має більше значення, ніж передбачає англомовна література з CRO. Обсяг електронної комерції Туреччини досяг 4.567 трильйона лір приблизно через 634 000 підприємств у 2025 році (Міністерство торгівлі, 12 травня 2026 року), в середньому близько 7.2 мільйона лір на один бізнес на рік, і розподіл зміщений до кількох торговельних майданчиків, тому типовий продавець знаходиться значно нижче нього. Сайт, який виконує кілька сотень замовлень на місяць, не може забезпечити тестування оформлення замовлення на будь-якому корисному MDE. Для цих сайтів чесним результатом пріоритезації є дорожня карта дослідження та вимірювання, а не дорожня карта тестування.
Зробити так, щоб результати щось значали
- Напишіть ключові слова перед оцінюванням. Вплив 3 у RICE має означати щось у вашій валюті, наприклад, «зміщує конверсію покупки більш ніж на 5% відносно». Без прив’язок показники зміщуються протягом одного сеансу.
- Обмеження впевненості за рівнем доказів. Без обмежень щодо досліджень на рівні 50%, лише аналітика на рівні 80%, аналітика плюс якісні дослідження плюс пов'язана попередня перемога на рівні 100%. Це імпортує дисципліну PXL у RICE.
- Оцінка наосліп, спочатку узгодьте найширші спреди. Три людини оцінюють один одного незалежно один від одного, а потім обговорюють лише ті пункти, які відрізняються на три бали або більше, що займає близько сорока хвилин для тридцяти пунктів.
- Запишіть прогнозований рахунок порівняно з фактичним результатом. Після десяти зчитувань перевірте, чи взагалі співвідносяться оцінки впливу зі спостережуваними ефектами. Якщо ні, то шкала є декоративною, і вам слід перейти на PXL.
- Ніколи не порівнюйте оцінки між різними фреймворками. Бал RICE 144 000 та бал PXL 10 не мають жодного зв'язку.
Де це ламається
Ці фреймворки ранжують ідеї, а не покращують їх. Слабка гіпотеза, яка набрала 11 з 12 балів на PXL, все ще є слабкою, і жодна модель не скаже вам, що справжня проблема криється вище за сторінку, яку ви тестуєте. Конкретні обмеження:
- Зусилля – це найменш надійний вхідний показник, і ніхто його не переоцінює. Знаменник RICE – це число, яке найімовірніше помилиться вдвічі, і це зміщує порядок ранжування більше, ніж неправильний показник впливу.
- Жодна з чотирьох моделей не взаємодіє. Проведіть три тести на одній воронці одночасно, і результати нічого не сказали вам про перешкоди.
- Охоплення людей на місяць перерви для сезонного бізнесу. Подорожі та освіта повинні отримати показник охоплення протягом повного сезонного циклу або порівняно з аналогічним періодом минулого року.
- Залежності невидимі. Спільний бал, отриманий за допомогою тестового беклогу та дорожньої карти продукту, також підкреслює перевагу тієї сторони, яка має більше трафіку.
[ПОТРІБНІ ВНУТРІШНІ ДАНІ: Коефіцієнт успішності Switas за напрямками за останні 24 місяці, щоб замінити показники галузевого коефіцієнта успішності даними з перших джерел.]
[НЕОБХІДНІ ВНУТРІШНІ ДАНІ: анонімний перелік замовлень клієнтів, оцінений за двома системами, для заміни ілюстративного прикладу.]
Часті питання
Чи RICE кращий за ICE для роботи CRO?
Не за своєю суттю. RICE додає охоплення (Reach) та вставляє зусилля (Effort) у знаменник, що допомагає, коли вузьким місцем є пропускна здатність, але це зміщує сторінки з високим трафіком. Використовуйте RICE, коли часу на розробку обмаль, ICE, коли його немає.
Який бал є достатньо високим для складання тесту?
Жоден з чотирьох варіантів не має абсолютного порогу. Бали є порядковими: вони підказують, що робити далі, а не те, чи варто щось робити. Абсолютним критерієм є доцільність. Якщо тест не може досягти значущості за вісім тижнів, його бал не має значення.
Чи можемо ми поєднати два фреймворки?
Поєднання результатів не має сенсу, оскільки шкали не пов'язані між собою. Поєднання вхідних даних – ні. Обмеження впевненості RICE питаннями доказів PXL – це добре поведений гібрид, який ми використовуємо найчастіше.
Чи працює PXL для сайтів, що не належать до електронної комерції?
Питання щодо доказів можна застосувати до будь-якого продукту. Питання щодо макета передбачають маркетингову сторінку та є слабкими для потоків, що виконуються після авторизації. Замініть їх питаннями про те, як часто користувачі зустрічають елемент у потоці завдань.
Чи варто сайтам з низьким трафіком взагалі використовувати ці фреймворки?
Так, для упорядкування роботи, але перестаньте називати результат дорожньою картою тестування. На сайті, який не може забезпечити тестування, та сама вправа передбачає результати UX-аудиту, дослідницькі питання та роботу з розробки.
Хто має бути присутнім на сесії підрахунку очок?
Від трьох до п'яти людей, які бачать різні докази: аналітику, дослідження чи підтримку, а також того, хто відповідає за виконання. Одна лише оцінка призводить до самовпевненої нісенітниці; оцінка з десятьма людьми дає середні показники, які нічого не оцінюють.
Спробуйте це на власному списку завдань
Візьміть десять пунктів у верхній частині вашого списку тестів, проведіть кожен за формулою доцільності, наведеною вище, і порахуйте, скільки з них виживуть за тієї чутливості, яку ви припускали. Якщо більше половини не виживуть, ранжування ніколи не було вашою проблемою. Наш CRO та команда експериментаторів проводить цю оцінку та перевірку доцільності як перший крок у співпраці.
Джерела
- Кохаві, Р. та Лонгботам, Р. (2015). Онлайн-контрольовані експерименти та A/B-тестуванняЦитує дані Кохаві, Крука та Лонгботама (2009) щодо даних Microsoft, а дані Netflix — Морана (2007).
- Макбрайд, С. (5 січня 2018 р.). RICE: Проста пріоритезація для менеджерів продуктів, Домофон.
- Лая, П. (27 вересня 2016 р.). PXL: Кращий спосіб пріоритезації A/B-тестів, CXL.
- Структура пріоритезації PIE, Конверсія (раніше WiderFunnel), авторство Кріс Говард.
- Міністерство торгівлі Туреччини (12 травня 2026 р.). Обсяг електронної комерції досяг 4.6 трильйона лір у 2025 році.
- Міллер, Е. Калькулятор розміру вибірки.
- Світас. Калькулятор A/B-тестування.
