Четири дизайна за тестване на промяна, която не можете да разделите по потребители, и кога всеки един от тях ви подвежда

Четири дизайна за тестване на промяна, която не можете да разделите по потребители, и кога всеки един от тях ви подвежда

Някои от промените с най-големи последици за приходите не могат да бъдат разделени по потребители. Праг за безплатна доставка, ценова листа, куриерски микс, радио полет, промяна в това кой плаща за връщане: те се отнасят за всички или за никого. Екипите обикновено или пропускат измерването, или правят „преди и след“ и наричат ​​разликата „лифт“.

И двете са скъпи. В едно публикувано проучване на географски експеримент, стандартният коефициент за оценка е определил инкременталната възвръщаемост на рекламните разходи в 95% интервал от [-1.26, 5.69]; съкратен коефициент за оценка върху същите данни е върнал [0.25, 1.74] (Чен и Ау, 2019 г.). Едно от тях съдържа нула и не ви казва нищо.

Това ръководство е за ръководители в областта на растежа, CRO и анализите, които трябва да определят числова характеристика на промяна, която не могат да бъдат рандомизирани за всеки потребител. До края ще можете да избирате между четири дизайна, да знаете от какво се нуждае всеки, преди да проработи, и да знаете кой ще ви подведе, когато търсенето е концентрирано в един град.

Четирите дизайна в по едно изречение всеки

Рандомизиран сдвоен географски експеримент (географско задържане). Разделете географските единици на третирани и контролни, след като ги съпоставите по отношение на отговора преди периода, след което сравнете групите. Вейвър и Кьолер (2011) класирайте географските области по техния метричен показател преди теста, разделете този списък на групи с размер M и изберете на случаен принцип по една географска област на група за третиране.

Switchback (разделяне на времето). Приложете промяната в целия бизнес, включвайте и изключвайте я на блокове и третирайте блоковете като рандомизирани единици. Божинов, Симчи-Леви и Джао (2023) извеждане на оптимални проекти при допускания за това колко дълго се запазва ефектът след превключване, плюс базиран на данни начин за оценка на продължителността на пренасяне.

Синтетичен контрол. Създайте претеглена комбинация от нетретирани пазари, която проследява поведението на третирания пазар преди периода, след което прочетете разликата след стартирането. Това е Abadie, Diamond и Hainmueller (2010)и двигателят вътре в Meta Геолифт.

Прекъснати времеви серии. Моделирайте какво би направила серията и отчетете разликата, без контролна група. Байесовата версия на структурните времеви серии е Бродерсен и др. (2015 г.)Това е най-слабият от четирите и най-често използваният случайно: „сравни с миналия месец“ е този дизайн без моделирането.

Сравнете ги по осем критерия

критерийГеографско отдръпванестръмно шосе с остри завоиСинтетичен контролПрекъснати времеви серии
Необходими единициМного сравними географски области (примерен източник: 210 DMA в САЩ)Един бизнес, много времеви блокове1-5 третирани пазара плюс донорски пул (GeoLift: 40 града)Една серия
Данни от предходния периодПсевдо продължителност на теста за съвпадение преди менструация (14 дни в примера)Достатъчно история, за да се оцени пренасянетоПримерът на GeoLift използва 90 дни дневни данниДълга, стабилна история
Преживява национален шокДа, удря и двете ръцеНе, шок вътре в блок се превръща в ефект.Най-вече, ако дарителите го споделятНе
Толерира един доминиращ пазарлошоДа, географията е без значениеДа, основният му случай на употребаДа
Риск от преливанеРеално: трансгранично пазаруване, национални медииНяма географски, силно времевоРеално, същото като гео задържанеНе е приложимо
Реалистичен минимален откриваем ефектСредни едноцифрени стойности с достатъчно геолокацииМалък, ако ефектът е бързСтандартната електрическа мрежа на GeoLift започва от 5%Обикновено двуцифрени числа
Време е за полезно четивоСедмици плюс забавяне на реакциятаДни до седмициседмициСедмици, никога окончателни
Какво не може да ти кажеПоведение на всеки потребител; не се проследяват отделни лицаБавно натрупващи се ефекти, като например честота на повторениеДали съвпадението е правилно, а не близкоДали се е променило и нещо друго

Когато всеки печели

  • Географско отдръпване Когато промяната може да бъде насочена географски, имате няколко десетки сравними единици и се нуждаете от защитимо число за аргумент за бюджета. Това е единственото от четирите с истинска рандомизация, така че единственото, което ви предпазва от пристрастия, за които не сте се сетили.
  • стръмно шосе с остри завои когато промяната е глобална по природа (правило за ценообразуване, алгоритъм за търсене, разпределение на куриер) и ефектът е бърз. Тя се проваля, когато ефектът се прояви по-бавно от дължината на блока.
  • Синтетичен контрол когато можете да промените само един или два пазара, обикновено защото пускане на пазара или регулация налага разделянето. Това е наблюдение: вие твърдите, че донорският пул би проследил третирания пазар, а не го демонстрирате.
  • Прекъснати времеви серии само когато никъде не съществува сравнителна единица, се отчита като оценка с ясен списък на това, което още се е преместило.

Ако промяната се разпространи на различни пазари по различно време, вие се намирате в територия на разпръснати разлики в разликите, където наивната двупосочна регресия с фиксирани ефекти е пристрастна. Използвайте оценките в Калауей и Сант'Анна (2021).

Защо регионалната пазарна структура нарушава стандартното географско разделение

Географските дизайни предполагат, че търсенето е разпределено в много единици с подобен размер. В Турция това не е така. Докладът на Министерството на търговията за електронната търговия през 2025 г. определя общия обем на 4.57 трилиона турски лири при 5.94 милиарда транзакции, а за периода на кампанията през ноември 2025 г. на пазарите се посочва, че Истанбул е с 31% от обема по местоположение на купувача и 67% по местоположение на продавача.ТЦ Тиджарет Баканлъги). Обърнете внимание на ограниченията: един месец на кампанията, само на пазарите. Това е правилният порядък на величината, а не константа.

Това число определя вашия дизайн. С 81 провинции, но приблизително една трета от търсенето в една от тях, произволното разделяне на провинциите води до резултат, определен до голяма степен от това в кой район се е озовал Истанбул. Три отговора:

  • Изключете доминиращата единица от рандомизацията и да се анализира отделно. Да кажем така; резултатът тогава се обобщава за останалата част от страната, а не за цялата книга.
  • Разделете го на подединици (райони, куриерски зони), така че допринася с няколко единици. Работи само ако платформата и анализите могат едновременно да се насочват и да отчитат на тази нишка.
  • Обобщете провинциите в статистическите региони, които вече използвате във вашето отчитане: турския IBBS Duzey 2 или NUTS-2 за пазарите на ЕС. По-малко балансирани единици преодоляват много неравностойни.

Същото важи и за случаите, когато търсенето е концентрирано в един метрополис. Дизайн, заимстван от примери за DMA в САЩ, няма да се прехвърли.

Работен пример: преместване на прага за безплатна доставка

  1. Първо напишете решението. „Ако маржът на приноса на сесия не падне с повече от 2%, го внедряваме.“ Дизайн, който не може да открие 2%, е грешен дизайн и вече знаете това, преди да го изградите.
  2. Пребройте си единиците. След изключване на Истанбул и обединяване на провинции под прага на обема, да предположим, че остават 24 използваеми региона. Твърде малко са за тест по двойки географски данни с 2% ефект. Това е отговорът, а не неуспех.
  3. Дизайн на превключвателя. Прагът е правило за ценообразуване, така че превключването е подходящо: редувайте го седмично в целия сайт в рамките на осем блока, като оценявате пренасянето от това колко време отнема на размера на кошницата да се установи след всяко превключване.
  4. Назовете предпазния парапет. Процентът на поръчките и средната стойност на кошницата ще се движат в противоположни посоки. Изберете основния показател преди пускането на продукта, а не след това.
  5. Проверете графика за евентуални несъответствия. Ако дадена кампания попадне в блок, този блок е замърсен. Откажете се от него, вместо да се моделира около него.
  6. Първо проверете водопроводната инсталация. Потвърдете с еднодневен пилотен проект, че платформата и анализите едновременно се насочват и отчитат за избраното зърно, и удължете прозореца за измерване отвъд промяната със закъснението на реакцията.

[НЕОБХОДИМИ ВЪТРЕШНИ ДАННИ: Собствено разпределение на обема на поръчките на Switas по провинции за представителен клиент за електронна търговия, така че „24 използваеми региона“ може да бъде заменено с реален брой и минимален обем.]

Къде се разпада това

Нито един от тези дизайни не измерва ефекта за всеки потребител. Те измерват какво се е случило с даден пазар или времеви блок. Ако въпросът е „кой сегмент е реагирал“, гео дизайнът не може да му отговори и никой не бива да чете сегмент, отделен от един такъв.

Изводът за превключване зависи от предположението за пренос, а в оригиналната статия е изрично посочено, че неправилното посочване на реда на пренос влошава резултата. Ако не можете да го оцените от историята, значи гадаете.

Синтетичният контрол няма рандомизация, така че неговата валидност се основава изцяло на предпериодното съответствие, а доброто съответствие е необходимо, а не достатъчно. Документацията на GeoLift отбелязва, че мащабираният му показател за L2 дисбаланс не е сравним между различни KPI или брой периоди, така че успокояващо число в едно проучване не означава нищо в друго. Същите документи посочват, че GeoLift „не е мета продукт. Само за изследователски цели“.

Всички геодизайни предполагат точно геотаргетиране и ограничено движение през граница. Трансграничното пазаруване, използването на VPN и националното излъчване нарушават това и няма ясна корекция: ограничете изтичането и го кажете. Това ръководство не обхваща A/B тестването на потребителско ниво или интерференцията между едновременните тестове.

Често задавани въпроси

Колко гео единици са ми необходими за тест за гео задържане?

Няма публикуван минимум и първичните източници умишлено избягват да го посочват. Вейвър и Кьолер препоръчват симулиране на очакваната ширина на доверителния интервал за вашия действителен кандидат за географски набор и тестова фракция. На практика отговорът обикновено е „повече, отколкото имате“, поради което съществуват switchback и синтетичен контрол.

Мога ли просто да сравня този месец с миналия?

Това е прекъснат времеви ред с пропуснато моделиране: то приписва всяко сезонно, конкурентно и макро движение в прозореца на вашата промяна. Ако това е всичко, което имате, използвайте структурен модел на времеви ред, отчитайте интервал, а не точка, и избройте какво друго се е променило.

Стратифицирането на географските райони преди рандомизацията наистина ли помага?

Да, измеримо. Вейвър и Кьолер съобщават, че групирането на географски области по размер преди присвояване е намалило доверителния интервал за възвръщаемост на рекламните разходи с 10% или повече спрямо неограничена рандомизация. Почти е безплатно, така че направете го.

Защо една съкратена оценка би била по-добра от очевидната?

Данните на географско ниво са нестабилни, когато имате само няколко десетки единици, така че една лошо съвпадаща двойка може да доминира в оценката. В симулациите с подрязано съвпадение с 50 двойки и логаритмично нормални геолокации, средноквадратичната грешка беше 1.96 за подрязаната оценка спрямо 20.09 за стандартната оценка на съотношението, а мощността беше 60% спрямо 16%.

Колко дълъг трябва да бъде блокът за превключване?

Достатъчно дълго, за да се установи ефектът преди края на блока, така че се определя от дължината на пренасяне, а не от удобството. Оценете пренасянето от това колко време отнема на метриката да се стабилизира след историческа промяна, след което направете блоковете по-дълги от това. Седмичните блокове са често срещан старт в търговията на дребно, защото те също така абсорбират ефектите от дните от седмицата.

Как да се справя с град, който представлява една трета от търсенето ми?

Решете, преди да рандомизирате: изключете го и обхванете останалата част от страната, разделете го на областни или куриерски зони, ако вашият стек поддържа това зърно, или използвайте синтетичен контрол с този град като третиран пазар. И трите са защитими. Рандомизирането на 81 провинции, сякаш са равни, не е.

Изпълнете това при следващата си непроверима промяна

Разработете следващата си непроверима промяна, като използвате осемте критерия по-горе и вижте кой дизайн ще оцелее. Ако отговорът е „няма, с устройствата, които имаме“, струва си да знаете това, преди да похарчите една четвърт за нея. Нашите CRO и екип за експериментиране проектира тези тестове за клиенти в областта на електронната търговия, пътуванията и здравеопазването в Турция и региона, включително случаите, в които рандомизацията на ниво потребител е изключена.

[НЕОБХОДИМИ ВЪТРЕШНИ ДАННИ: едно анонимизирано ангажиране на Switas geo или switchback, с избрания дизайн и решението за приключването му.]

Източници


Инджи Диндар
Написано от

Инджи Диндар

С опит в разработката на софтуер, тя е ръководила екипи за дизайн, UX и продукти във финтех, медии, електронна търговия и пътувания. През последните три години е консултант на пълен работен ден по UX и дизайн — включително като външен UX консултант за глобална консултантска компания за мениджмънт, помагаща на марки и стартиращи компании с одити, оптимизация на конверсиите и дизайнерски процеси.


Свързани статии

Свитас, както се вижда на

Magnify: Мащабиране на инфлуенсър маркетинга с Енгин Юртдакул

Вижте нашия казус за яснота на Microsoft

Откроихме Microsoft Clarity като продукт, създаден с практични, реални случаи на употреба от хора, работещи с реални продукти, които разбират предизвикателствата, пред които са изправени компании като Switas. Функции като кликвания, предизвикани от ярост, и проследяване на грешки в JavaScript се оказаха безценни при идентифицирането на потребителски фрустрации и технически проблеми, което позволи целенасочени подобрения, които пряко повлияха на потребителското изживяване и процентите на конверсия.