Некоторые изменения, оказывающие наибольшее влияние на выручку, нельзя разделить по категориям пользователей. Порог бесплатной доставки, прайс-лист, состав курьеров, радиоперевозки, изменение порядка оплаты возвратов: они либо затрагивают всех, либо никого. Команды обычно либо пропускают этап измерения, либо проводят сравнение «до» и «после» и считают разницу положительным результатом.
Оба варианта дороги. В одном опубликованном исследовании, посвященном геоэкспериментам, стандартный коэффициент оценки показал, что прирост отдачи от рекламных расходов находится в 95%-ном интервале [-1.26, 5.69]; усеченный коэффициент оценки на тех же данных дал [0.25, 1.74] (Чен и Ау, 2019). Одна из них содержит ноль и ничего не говорит.
Это руководство предназначено для руководителей отделов роста, CRO и аналитики, которым необходимо оценить внесение изменений, которые нельзя рандомизировать для каждого пользователя. К концу вы сможете выбрать один из четырех вариантов дизайна, понять, что требуется для его работы, и определить, какой из них может ввести вас в заблуждение в местах концентрации спроса в одном городе.
Каждый из четырех дизайнов описан в одном предложении.
Рандомизированный парный географический эксперимент (географическая контрольная группа). Разделите географические единицы на экспериментальную и контрольную, сопоставив их по реакции до начала эксперимента, а затем сравните группы. Вавер и Кёлер (2011) Ранжировать географические регионы по их предварительному показателю, разделить этот список на группы размером M и случайным образом выбрать один географический регион из каждой группы для обработки.
Переключение на обратную сторону (разделение по времени). Внедрите изменения во всей компании, включайте и выключайте их блоками, рассматривая эти блоки как случайные единицы. Божинов, Симчи-Леви и Чжао (2023) разработать оптимальные схемы экспериментов, исходя из предположений о том, как долго сохраняется эффект после переключения, а также найти основанный на данных способ оценки этой продолжительности эффекта.
Синтетический контроль. Создайте взвешенную комбинацию необработанных рынков, которая отслеживает поведение обработанного рынка до начала периода, а затем считайте разрыв после запуска. Это Абади, Даймонд и Хайнмюллер (2010)и движок внутри Meta ГеоЛифт.
Прерванный временной ряд. Смоделируйте, как бы выглядела последовательность событий, и сравните результаты без контрольной группы. Байесовская структурная версия временных рядов выглядит следующим образом: Бродерсен и др. (2015)Это самый слабый из четырех вариантов, и тот, который чаще всего используется по ошибке: "сравните с прошлым месяцем" — это тот же дизайн, но без моделирования.
Сравните их по восьми критериям.
| Критерий | Геологическая позиция | Switchback | Синтетический контроль | Прерванный временной ряд |
|---|---|---|---|---|
| Необходимые единицы | Много сопоставимых географических регионов (например, 210 зон охвата в США). | Один бизнес, множество временных промежутков | 1-5 рынков, охваченных программой, плюс пул доноров (GeoLift: 40 городов) | Один сериал |
| Данные за предшествующий период | Псевдопродолжительность теста на соответствие периоду до эксперимента (14 дней в примере). | Достаточно данных, чтобы оценить эффект переноса. | В примере GeoLift используются данные за 90 дней. | Долгая, стабильная история |
| Пережил национальный шок | Да, удар приходится по обеим рукам. | Нет, удар внутри блока становится следствием | В большинстве случаев, если доноры поделятся этой информацией. | Нет |
| Допускает существование одного доминирующего рынка | плохо | Да, география не имеет значения. | Да, это его основное предназначение. | Да |
| Риск распространения | Реальность: трансграничные покупки, национальные СМИ | Географическое отсутствие, высокая временная зависимость | Реально, то же самое, что и географическое отклонение | Непригодный |
| Реалистичный минимально обнаруживаемый эффект | Средние однозначные числа с достаточным количеством географических данных | Незначительный эффект, если он проявляется быстро. | В GeoLift по умолчанию используется энергосеть с загрузкой 5%. | Обычно двузначные числа |
| Пора приступить к полезному чтению. | Несколько недель плюс задержка ответа | Дни в недели | Недели | Несколько недель, но безрезультатно |
| Чего оно не может вам рассказать | Отслеживается поведение каждого пользователя отдельно; не ведется мониторинг отдельных лиц. | Эффекты замедления развития, такие как частота повторения. | Подходит ли размер, а не просто близок по размеру. | Изменилось ли что-нибудь еще? |
Когда побеждает каждый
- Геологическая позиция Когда изменения можно целенаправленно проводить географически, у вас есть несколько десятков сопоставимых единиц, и вам нужно обоснованное число для бюджетного аргумента. Это единственный из четырех методов, в котором присутствует реальная рандомизация, поэтому он единственный, который защищает вас от предвзятости, о которой вы не подумали.
- Switchback Когда изменение носит глобальный характер (правило ценообразования, алгоритм поиска, распределение курьерских отправлений) и эффект проявляется быстро, это не срабатывает. Проблема возникает, когда эффект проявляется позже, чем длина блока.
- Синтетический контроль Когда вам удаётся изменить только один или два рынка, обычно потому, что запуск продукта или регулирование вынуждают вас разделить их. Это наблюдение: вы утверждаете, что пул доноров отслеживал бы рынок, на который распространяется действие программы, а не доказываете это.
- Прерванный временной ряд Только в тех случаях, когда нигде не существует единицы сравнения, результат указывается в виде оценки с подробным перечислением других перемещенных объектов.
Если изменения внедряются на разных рынках в разное время, вы попадаете в область поэтапного разностного анализа, где наивная двухфакторная регрессия с фиксированными эффектами оказывается смещенной. Используйте оценки из Каллауэй и Сант'Анна (2021).
Почему региональная структура рынка нарушает стандартное географическое разделение?
Географический дизайн предполагает, что спрос распределен между множеством объектов примерно одинакового размера. В Турции это не так. В отчете Министерства торговли о развитии электронной коммерции в 2025 году общий объем составляет 4.57 триллиона турецких лир в рамках 5.94 миллиарда транзакций, а в период проведения кампании в ноябре 2025 года на торговых площадках Стамбул занимает 31% рынка по местоположению покупателя и 67% по местоположению продавца.TC Ticaret BakanligiОбратите внимание на ограничения: один месяц кампании, только на торговых площадках. Это правильный порядок величины, а не постоянная величина.
Это число определяет ваш дизайн. При наличии 81 провинции, но примерно трети спроса сосредоточено в одной, случайное распределение по провинциям даст результат, в основном зависящий от того, в какой ветви окажется Стамбул. Три варианта ответа:
- Исключить доминирующий элемент на основе рандомизации и проанализируйте это отдельно. Скажите так; тогда результат будет применим к остальной части страны, а не ко всей книге.
- Разделите его на подблоки. (районы, курьерские зоны), поэтому это добавляет несколько единиц. Работает только в том случае, если платформа и аналитика могут одновременно нацеливаться на этот уровень детализации и формировать отчеты на нем.
- Свернуть провинции в статистические регионы, которые уже используются в ваших отчетах: например, IBBS Duzey 2 в Турции или NUTS-2 для рынков ЕС. Меньшее количество сбалансированных единиц превосходит множество неравных.
То же самое относится ко всем городам, где спрос концентрируется в одном мегаполисе. Дизайн, заимствованный из примеров американского рынка, не подойдет для других регионов.
Пример решения задачи: изменение порога бесплатной доставки.
- Сначала запишите решение. «Если маржа прибыли с каждой сессии не снизится более чем на 2%, мы запустим программу». Проект, который не может обнаружить снижение на 2%, — это неправильный проект, и теперь вы знаете это ещё до начала его разработки.
- Подсчитайте свои единицы. Предположим, после исключения Стамбула и объединения провинций с объемом продаж ниже минимального значения, осталось 24 пригодных для использования региона. Этого недостаточно для парного географического теста с эффектом в 2%. Это и есть ответ, а не препятствие.
- Конструкция переключателя. Пороговое значение — это правило ценообразования, поэтому подходит механизм переключения: чередуйте его еженедельно на всем сайте в течение восьми блоков, оценивая переносимый эффект на основе того, сколько времени требуется для стабилизации размера корзины после каждого переключения.
- Назовите ограждение. Коэффициент заказов и средняя стоимость корзины будут двигаться в противоположных направлениях. Выберите основной показатель до запуска, а не после.
- Проверьте расписание на наличие факторов, искажающих результаты. Если неделя кампании попадает в определенный блок, этот блок считается загрязненным. Лучше отбросить его, чем пытаться моделировать ситуацию вокруг него.
- Сначала проверьте сантехнику. Проведите однодневный пилотный проект, чтобы убедиться, что платформа и аналитические инструменты нацелены на выбранный тип зерна и отображают результаты именно в этом диапазоне, а также расширьте окно измерений за пределы изменения на величину задержки реакции.
[ТРЕБУЮТСЯ ВНУТРЕННИЕ ДАННЫЕ: Собственное распределение объемов заказов Switas по провинциям для репрезентативного клиента электронной коммерции, чтобы "24 пригодных региона" можно было заменить реальным количеством и минимальным объемом.]
Где это происходит сбой
Ни один из этих методов не измеряет эффект на одного пользователя. Они измеряют то, что произошло с рынком или временным блоком. Если вопрос звучит так: «Какой сегмент отреагировал?», то географический подход не сможет на него ответить, и никто не должен читать данные по сегментам, выделенным из одного сегмента.
Метод обратного вывода зависит от предположения о переносе, и в исходной статье прямо указано, что неправильное указание порядка переноса ухудшает результат. Если вы не можете оценить это на основе истории, вы просто гадаете.
Синтетический контроль не предусматривает рандомизации, поэтому его достоверность полностью зависит от соответствия предварительным условиям, а хорошее соответствие является необходимым, а не достаточным условием. В документации GeoLift отмечается, что его масштабированный показатель дисбаланса L2 несопоставим для разных KPI или количества периодов, поэтому обнадеживающее значение в одном исследовании ничего не значит в другом. В той же документации указано, что GeoLift «не является продуктом Meta. Только для исследовательских целей».
Все решения, основанные на географическом таргетинге, предполагают точное определение местоположения и ограниченное перемещение за пределы страны. Трансграничные покупки, использование VPN и трансляция на национальном уровне нарушают это правило, и простого способа его исправления нет: нужно ограничить утечку и указать на это. Данное руководство не охватывает A/B-тестирование на уровне пользователей или помехи между параллельными тестами.
FAQ
Сколько географических единиц мне нужно для контрольного теста с учетом географических особенностей?
Опубликованного минимального значения нет, и в основных источниках оно намеренно не указывается. Вавер и Кёлер рекомендуют смоделировать ожидаемую ширину доверительного интервала для вашего фактического набора географических объектов-кандидатов и доли тестовых объектов. На практике ответ обычно звучит так: «больше, чем у вас есть», поэтому и существуют методы обратного переключения и синтетического контроля.
Можно ли сравнить этот месяц с прошлым?
Это прерванный временной ряд без моделирования: он приписывает каждое сезонное, конкурентное и макроэкономическое движение в рассматриваемом окне вашим изменениям. Если это все, что у вас есть, используйте структурную модель временного ряда, укажите интервал, а не точку, и перечислите все остальные изменения.
Действительно ли помогает стратификация географических регионов перед рандомизацией?
Да, это измеримо. Вавер и Кёлер сообщают, что группировка географических регионов по размеру перед распределением сократила доверительный интервал для рентабельности рекламных расходов на 10% и более по сравнению с неограниченной рандомизацией. Это практически бесплатно, так что воспользуйтесь.
Почему усеченный оценщик окажется лучше очевидного?
При наличии всего нескольких десятков единиц данные на географическом уровне имеют «тяжелый хвост» распределения, поэтому одна плохо подобранная пара может доминировать в оценке. В симуляциях с использованием метода усеченного сопоставления (Trimmed Match) с 50 парами и логарифмически нормальными географическими координатами среднеквадратичная ошибка составила 1.96 для усеченной оценки против 20.09 для оценки стандартного отношения, а мощность составила 60% против 16%.
Какой должна быть продолжительность блока переключения?
Достаточно долго, чтобы эффект стабилизировался до окончания блока, поэтому его продолжительность определяется длиной переносимого периода, а не удобством. Оцените переносимый период, исходя из того, сколько времени требуется показателю для стабилизации после исторического изменения, а затем сделайте блоки длиннее этого значения. Еженедельные блоки — распространенный вариант для розничной торговли, поскольку они также поглощают эффекты дня недели.
Как мне справиться с городом, который составляет треть моего спроса?
Прежде чем проводить рандомизацию, примите решение: исключите этот регион и распространите вывод на остальную часть страны, разделите его на районы или зоны доставки, если ваш набор зерновых поддерживает этот вид, или используйте синтетический контроль, используя этот город в качестве исследуемого рынка. Все три варианта оправданы. Рандомизация 81 провинции, как если бы они были равными, — нет.
Запустите это при следующем изменении, которое невозможно протестировать.
Проанализируйте ваше следующее непроверяемое изменение, используя восемь критериев, указанных выше, и посмотрите, какой вариант дизайна окажется удачным. Если ответ «ни один, с имеющимися у нас образцами», это стоит знать, прежде чем тратить на это квартал. Команда CRO и группа экспериментаторов Эти тесты разрабатываются для клиентов из сферы электронной коммерции, туризма и здравоохранения в Турции и регионе, в том числе в случаях, когда рандомизация на уровне пользователя невозможна.
[ТРЕБУЮТСЯ ВНУТРЕННИЕ ДАННЫЕ: одно анонимизированное сообщение о взаимодействии с компанией Switas по вопросам геолокации или обратной связи, с указанием выбранного дизайна и принятого решения.]
Источники
- Вавер, Дж. и Кёлер, Дж. (2011). Измерение эффективности рекламы с помощью географических экспериментов. Исследование Google. PDF.
- Чен, А. и Ау, Т. (2019). Надежный причинно-следственный анализ для оценки дополнительной отдачи от рекламных расходов с помощью рандомизированных парных географических экспериментов.. архив: 1908.02922.
- Ау, Т. (2021). Упрощенная схема сопоставления для рандомизированных парных географических экспериментов. архив: 2105.07060.
- Божинов И., Симчи-Леви Д. и Чжао Дж. (2023). Разработка и анализ экспериментов с обратным ходомНаука управления 69(7), 3759-3777. Препринт: Arxiv: 2009.00148.
- Абади А., Даймонд А. и Хайнмюллер Дж. (2010). Методы синтетического контроля для сравнительных тематических исследованийЖурнал Американской статистической ассоциации.
- Бродерсен, К. и др. (2015). Определение причинно-следственной связи с использованием байесовских структурных моделей временных рядов.Анналы прикладной статистики.
- Каллауэй, Б. и Сант'Анна, П. (2021). Метод разностей разностей с несколькими временными периодамиЖурнал эконометрики.
- Meta Open Source. Обзор GeoLift.
- TC Ticaret Bakanligi. Turkiye'de E-Ticaretin Горунуму Рапору.
- ТУИК. Адрес Даяли Нуфус Кайит Системы Сонуклари, 2025 г.Опубликовано 9 февраля 2026 года.
- Евростат. Публикации по классификации NUTS.







