Ограждение (метрическое)

Контрольный показатель — это мера, отслеживаемая во время эксперимента не для определения того, победит ли вариант, а для выявления того, не нанесет ли он неприемлемый ущерб в другом месте. Основной показатель отвечает на вопрос, для которого был разработан тест; контрольные показатели отвечают на вопрос, который никто не задавал, но который должны задать все. Эксперимент по оптимизации процесса оформления заказа для завершенных заказов может включать контрольные показатели по средней стоимости заказа, проценту возвратов, количеству обращений в службу поддержки, времени загрузки страницы и частоте ошибок, любой из которых может ухудшиться таким образом, что номинальный успех станет коммерчески отрицательным.

Ограничения существуют потому, что оптимизация создает сильные стимулы для изменения одного показателя, и почти любой показатель можно изменить за счет другого. Удаление информации о стоимости доставки со страницы товара может повысить процент добавления в корзину, но при этом увеличить процент отказов. Агрессивные сообщения, создающие ощущение срочности, могут повысить мгновенную конверсию, но при этом подорвать доверие и увеличить количество возвратов. Упрощение формы путем удаления квалификационных вопросов может увеличить объем лидов, но при этом настолько снизить их качество, что объем продаж упадет. В каждом случае основной показатель улучшается, а бизнес ухудшается, и только ограничение может это предотвратить.

Эффективные контрольные параметры выбираются целенаправленно для каждого эксперимента, а не применяются в виде общего списка, хотя стандартный набор параметров полезен в качестве базового. Стандартный набор обычно охватывает техническое состояние, включая частоту ошибок и производительность страниц, а также состояние бизнеса, включая доход на посетителя и стоимость заказа. Контрольные параметры, специфичные для конкретного теста, охватывают вероятные способы, которыми это конкретное изменение может нанести вред, и на этот вопрос лучше всего ответят люди, которые понимают последствия: служба поддержки клиентов, отдел выполнения заказов, отдел продаж и финансовый отдел, ни с кем из которых обычно не консультируются при разработке теста.

Контрольные показатели анализируются иначе, чем основные метрики. Основная метрика проверяется на предмет значительного улучшения; контрольные показатели проверяются на отсутствие значительного вреда, что является вопросом не меньшей эффективности, а не превосходства. На практике команды заранее определяют допустимый уровень, например, не более одного процента относительного снижения средней стоимости заказа, и рассматривают нарушение как основание для отклонения варианта независимо от основного результата. Поскольку одновременно проверяется несколько контрольных показателей, целесообразно учитывать множественные сравнения, иначе большой набор контрольных показателей будет иногда случайным образом выявлять вред.

Некоторые показатели невозможно измерить в течение тестового периода. Коэффициент возврата, отток подписчиков, повторные покупки и пожизненная ценность клиента — все эти показатели снижаются через несколько недель или месяцев после окончания эксперимента. Для их оценки требуется отсрочка после запуска или последующий анализ с задержкой, и тот факт, что их нельзя оценить немедленно, является поводом для большей осторожности в отношении тех изменений, которые могут на них повлиять, а не поводом для их игнорирования.

Установление допустимых значений требует четкого обсуждения того, какой масштаб ущерба будет неприемлемым, и это обсуждение проще, если оно ведется в коммерческих, а не статистических терминах. Снижение средней стоимости заказа на один процент при большом объеме выручки может обойтись дороже, чем повышение конверсии, и указание обоих показателей в денежном эквиваленте делает компромисс очевидным для всех присутствующих. Автоматизация делает защитные механизмы эффективными на практике: ручная проверка в конце теста слишком запоздала для варианта, который наносил ущерб выручке в течение трех недель, поэтому полезным решением является непрерывный мониторинг небольшого набора критически важных показателей с достаточно свободными пороговыми значениями для оповещения, чтобы избежать постоянных ложных срабатываний, и согласованным порядком эскалации в случае срабатывания оповещения. Оповещение должно поступать к лицу, уполномоченному немедленно остановить тест.

Определение контрольных точек — один из наиболее очевидных моментов, где работа по оптимизации должна быть связана с остальной частью бизнеса, а не выполняться как изолированная специализация. Услуги CRO Как правило, в процессе подготовки устанавливается основной норматив, а на каждом этапе определения приоритетов пересматриваются критерии, специфичные для конкретного теста, с учетом мнения оперативных заинтересованных сторон. электронная коммерция В условиях, когда связь с выполнением заказов и возвратами имеет особое значение, наиболее заманчивые варианты конверсии часто заключаются в переносе затрат в логистику, где команда по оптимизации их никогда не видит.