Ранжируйте свой список задач CRO, если ICE, PIE, PXL и RICE расходятся во мнениях.

Лишь около трети идей, протестированных на экспериментальной платформе Microsoft, улучшили показатель, для улучшения которого они были предназначены, а Netflix добился успеха примерно в одном случае из десяти.Кохави и Лонгботам, 2015Если большая часть вашего бэклога неверна, то порядок тестирования, который вы используете, принесет вам наибольшую отдачу. Это руководство предназначено для руководителей CRO и владельцев продуктов, у которых уже больше тестовых идей, чем трафика. Мы оцениваем одни и те же три идеи с помощью ICE, PIE, PXL и RICE, показываем, почему четыре ранжированных порядка не совпадают, предлагаем правило выбора между ними и добавляем критерий, которого нет у всех четырех: может ли тест достичь статистической значимости до конца квартала.

На что именно делает ставку каждая из этих платформ

Все четыре системы выдают числовое значение, и ни одна из них не измеряет одно и то же. Каждая из них представляет собой не столько систему подсчета баллов, сколько сжатое мнение о том, что делает тест целесообразным для проведения.

Прежде чем принять одну из них, учтите два момента. PXL был разработан как атака на другие фреймворки CRO: аргумент Ладжи заключается в том, что если бы вы могли заранее с уверенностью предсказать потенциал или степень доверия, вам не понадобился бы тест. А на канонической странице PIE определены критерии, но не опубликованы ни шкала, ни формула, поэтому каждая команда придумывает свою собственную. Домен widerfunnel.com теперь перенаправляет на conversion.com, поэтому у фреймворка, на который ссылается большинство презентаций по CRO, нет поддерживаемой основной спецификации.

Тот же самый объем невыполненных задач, оцененный четырьмя способами.

Три варианта тестирования на примере розничной сети среднего размера. Приведенные цифры являются иллюстративными и не отражают данные клиента.

• A. Детализация платежей (таксит) в блоке цены на странице товара. 180 000 просмотров страниц товаров в месяц, что подтверждается аналитикой и отзывами клиентов.
• B. Удалите принудительное создание учетной записи при оформлении заказа. 12 000 заказов в месяц, подтвержденных сессиями тестирования удобства использования, записями, аналитикой и обращениями в службу поддержки.
• C. Перепишите заголовок на главной странице. 220 000 посещений главной страницы в месяц, без подтверждающих исследований, предложение было выдвинуто на семинаре.

В рамках как минимум одной из методологий каждый тест оказывается успешным. Разногласия возникают из-за того, что эти методологии выполняют свою работу:

• RICE ставит A на первое место Потому что Reach — это простое количество пользователей. Он затмит собой работу по оформлению заказа и созданию аккаунта на любой обычной воронке продаж.
• ICE ставит Б на первое место Потому что опытный специалист оценивает принудительное создание учетных записей на 9 баллов по шкале Impact, 9 баллов по шкале Confidence, а ICE умножает мнение за мнением. Измените оценщика, измените план действий.
• PIE ставит C на первое место Потому что главная страница имеет самый ценный трафик, а текст легко загружается. PIE был создан для того, чтобы делать выбор. страниц; попросили ранжировать измененияЭто поощряет недорогие правки важных шаблонов.
• PXL ставит C на последнее место. Потому что вариант C получает ноль баллов по всем четырем вопросам, касающимся доказательств. Это единственная модель, которая структурно наказывает за догадки, вместо того чтобы доверять честности оценщика в отношении уверенности.

Какой из них использовать: выберите в соответствии с вашим ограничением привязки.

Ворота отсутствуют у всех четырех участников: сможет ли это испытание завершиться?

Охват — это не обнаруживаемость. Перед оценкой проверьте осуществимость, используя нормальное приближение для двустороннего теста при уровне значимости 95% и мощности 80%:

n per variant ≈ 15.7 × p × (1 - p) / d²

в котором p это базовый уровень показателя, который вы перемещаете, и d Это тот самый абсолютный прирост, который вы хотите обнаружить. Применительно к приведенному выше списку задач:

Тест RICE, занявший первое место, невозможно прочитать в течение квартала при той чувствительности, которую предполагает большинство команд, в то время как тест RICE, занявший последнее место, завершается через месяц. A находится на базовом уровне 2%, а B — на базовом уровне 55%, а размер выборки определяется p(1-p)/d²а не по количеству просмотров страницы. Это также становится осуществимым в тот момент, когда вы объявляете 10% наименьшим приростом, на который стоит обратить внимание, что превращает ваш минимально обнаруживаемый эффект в решение о приоритетах, а не в статистическую деталь. Примите это решение на том же совещании, что и оценку, и выберите один калькулятор для всего, поскольку разные приближения дисперсии не всегда точно совпадают: Эван Миллер и Калькулятор A/B-тестирования Switas Оба варианта приемлемы.

Категории осуществимости

• Две недели или меньше. Зеленый. Забить гол и бежать.
• Две-четыре недели. Эмбер. Запустите его отдельно, охватив как минимум два полных недельных цикла.
• Четыре-восемь недель. Красный цвет обозначает стандартный A/B-тест. Увеличьте MDE, перейдите на более высокий базовый показатель или используйте последовательный дизайн с предварительно зарегистрированным правилом остановки.
• Более восьми недель. Не проводите A/B-тестирование. Выпускайте продукт, основываясь на собственном мнении и используя четкие метрики, или проведите качественное исследование.

Этот аспект здесь имеет большее значение, чем предполагается в англоязычной литературе по оптимизации конверсии. Объем электронной коммерции в Турции в 2025 году достиг 4.567 триллиона лир, охватывая примерно 634 000 предприятий.Министерство торговли, 12 мая 2026 г.В среднем около 7.2 миллиона лир на один бизнес в год, и распределение смещено в сторону нескольких маркетплейсов, поэтому типичный продавец находится значительно ниже этой суммы. Сайт, обрабатывающий несколько сотен заказов в месяц, не может обеспечить тестирование оформления заказа на каком-либо полезном MDE. Для таких сайтов честным результатом приоритизации является план исследований и измерений, а не план тестирования.

Чтобы результаты имели смысл

1. Сначала напишите ключевые моменты, а затем выставляйте оценки. Показатель Impact 3 в системе RICE должен иметь значение в вашей валюте, например, «повышает конверсию покупок более чем на 5% в относительном выражении». Без привязок показатели будут колебаться в течение одной сессии.
2. Повышайте уровень уверенности в зависимости от уровня доказательств. Нет ограничений по исследованиям — 50%, только по аналитике — 80%, аналитика плюс качественные исследования плюс соответствующий предыдущий успех — 100%. Это позволяет перенести принципы PXL в RICE.
3. Подсчитывайте очки вслепую, сначала сопоставьте ставки с наибольшим разрывом. Если три человека независимо друг от друга проводят оценку, а затем обсуждают только те пункты, которые отличаются на три балла или более, на тридцать пунктов уходит около сорока минут.
4. Сравним прогнозируемый результат с фактическим. После десяти измерений проверьте, коррелируют ли показатели Impact вообще с наблюдаемыми эффектами. Если нет, то шкала является лишь декорацией, и вам следует перейти на PXL.
5. Никогда не сравнивайте результаты, полученные с помощью разных фреймворков. Значение RICE, равное 144 000, и значение PXL, равное 10, не имеют никакой взаимосвязи.

Где это происходит сбой

Эти фреймворки ранжируют идеи, а не улучшают их. Слабая гипотеза, получившая 11 баллов из 12 на PXL, всё ещё слабая, и ни одна модель не укажет вам, что реальная проблема находится выше по потоку, чем страница, которую вы тестируете. Конкретные ограничения:

• Приложенные усилия — наименее надежный показатель, и никто его не пересчитывает. Знаменатель RICE — это число, вероятность ошибки которого вдвое выше, и это влияет на порядок ранжирования сильнее, чем неправильная оценка Impact.
• Взаимодействие между четырьмя моделями отсутствует. Проведите три теста на одной воронке одновременно, и результаты ничего не скажут о помехах.
• Перерывы в показателе охвата аудитории в месяц для сезонных предприятий. В сфере туризма и образования следует оценивать охват аудитории за полный сезонный цикл или по сравнению с аналогичным периодом прошлого года.
• Зависимости невидимы. Общий балл, полученный как в рамках списка задач тестирования, так и в рамках дорожной карты продукта, также выгоден той стороне, у которой больше трафика.

[ТРЕБУЮТСЯ ВНУТРЕННИЕ ДАННЫЕ: Показатель успешности сделок Switas по отдельным направлениям за последние 24 месяца, чтобы заменить данные о показателях успешности в отрасли на собственные данные.]

[ТРЕБУЮТСЯ ВНУТРЕННИЕ ДАННЫЕ: анонимизированный список невыполненных задач от клиентов, оцененный по двум системам, для замены иллюстративного примера.]

Часто задаваемые вопросы

RICE лучше, чем ICE, для работы в CRO?

Не обязательно. RICE добавляет показатель охвата и помещает показатель трудозатрат в знаменатель, что помогает, когда узким местом является пропускная способность, но при этом он смещается в сторону страниц с высоким трафиком. Используйте RICE, когда времени на разработку мало, ICE — когда оно достаточно.

Какой балл считается достаточным для проведения теста?

Ни один из четырех методов не имеет абсолютного порога. Результаты являются порядковыми: они указывают, что нужно делать дальше, а не стоит ли вообще что-либо делать. Абсолютным критерием является осуществимость. Если тест не может достичь статистической значимости за восемь недель, его результат не имеет значения.

Можно ли объединить две фреймворка?

Объединение результатов бессмысленно, поскольку шкалы не связаны между собой. Объединение входных данных — нет. Сочетание шкалы уверенности RICE с вопросами-доказательствами PXL — это хорошо зарекомендовавший себя гибрид, который мы используем чаще всего.

Подходит ли PXL для сайтов, не занимающихся электронной коммерцией?

Вопросы, касающиеся подтверждения данных, применимы к любому продукту. Вопросы, касающиеся структуры страницы, предполагают наличие маркетинговой страницы и не подходят для сценариев с авторизованными пользователями. Замените их вопросами о том, как часто пользователи сталкиваются с тем или иным элементом в процессе выполнения задачи.

Стоит ли вообще использовать эти фреймворки на сайтах с низкой посещаемостью?

Да, для упорядочивания работы, но перестаньте называть результат дорожной картой тестирования. На сайте, где нет возможности проводить тестирование, тот же процесс упорядочивает результаты UX-аудита, исследовательские вопросы и работу над разработкой.

Кто должен присутствовать на подведении итогов?

От трех до пяти человек, которые видят разные данные: аналитики, исследователи или специалисты службы поддержки, а также те, кто отвечает за доставку. Оценка сама по себе дает уверенные, но бессмысленные результаты; оценка с участием десяти человек дает средние значения, которые ничего не значат.

Попробуйте это на своем собственном списке задач.

Возьмите десять пунктов из верхней части вашего тестового списка, пропустите каждый из них через приведенную выше формулу осуществимости и посчитайте, сколько из них выживают при предполагаемом вами уровне чувствительности. Если более половины не выживают, значит, проблема была не в ранжировании. Наш Команда CRO и группа экспериментаторов Эта оценка и анализ целесообразности проводятся в качестве первого этапа взаимодействия.

Источники

• Кохави, Р. и Лонгботам, Р. (2015). Онлайн-контролируемые эксперименты и A/B-тестированиеВ качестве примера компании Microsoft приводится работа Кохави, Крука и Лонгботэма (2009), а в качестве примера Netflix — работа Морана (2007).
• Макбрайд, С. (5 января 2018 г.). RICE: Простая расстановка приоритетов для менеджеров по продуктам.Домофон.
• Лая, П. (27 сентября 2016 г.). PXL: Более эффективный способ расстановки приоритетов для A/B-тестов., CXL.
• Структура приоритезации PIEConversion (ранее WiderFunnel), авторство Криса Говарда.
• Министерство торговли Турции (12 мая 2026 г.). Объем электронной коммерции достигнет 4.6 триллиона лир в 2025 году..
• Миллер, Э. Калькулятор размера выборки.
• Свитас. Калькулятор A/B-тестов.