Niektórych zmian o największych konsekwencjach dla przychodów nie da się podzielić na poszczególnych użytkowników. Próg darmowej wysyłki, cennik, wybór kurierów, przelot radiowy, zmiana w sposobie płacenia za zwroty: dotyczą one wszystkich albo nikogo. Zespoły zazwyczaj pomijają pomiary lub przeprowadzają analizę przed i po, nazywając różnicę „wzrostem”.
Oba są drogie. W jednym opublikowanym studium przypadku eksperymentu geo, standardowy estymator ilorazowy umieścił przyrostowy zwrot z wydatków na reklamy w przedziale 95% [-1.26, 5.69]; estymator ograniczony do tych samych danych zwrócił [0.25, 1.74] (Chen i Au, 2019). Jeden z nich zawiera zero i nic ci nie mówi.
Ten przewodnik jest przeznaczony dla liderów wzrostu, współczynnika konwersji (CRO) i analityki, którzy muszą określić liczbę zmian, których nie mogą losowo przypisać do poszczególnych użytkowników. Po jego zakończeniu będziesz w stanie wybrać jeden z czterech projektów, poznać potrzeby każdego z nich, zanim zaczną działać, i wiedzieć, który z nich wprowadzi Cię w błąd, gdy popyt koncentruje się w jednym mieście.
Cztery projekty w jednym zdaniu każdy
Randomizowany eksperyment geoparowy (geo-climate). Podziel jednostki geograficzne na grupę leczoną i kontrolną po dopasowaniu ich pod kątem odpowiedzi przed okresem, a następnie porównaj ramiona. Vaver i Koehler (2011) uporządkować obszary geograficzne według metryki wstępnego testu, podzielić tę listę na grupy o rozmiarze M i losowo wybrać jeden obszar geograficzny z każdej grupy do analizy.
Switchback (podział czasu). Zastosuj zmianę w całej firmie, włączaj i wyłączaj ją blokami i traktuj bloki jako losowe jednostki. Bojinov, Simchi-Levi i Zhao (2023) wyprowadzić optymalne projekty w oparciu o założenia dotyczące tego, jak długo efekt utrzymuje się po przełączeniu, a także sposób oparty na danych, aby oszacować ten czas przeniesienia.
Kontrola syntetyczna. Zbuduj ważoną kombinację rynków nieobjętych leczeniem, która śledzi zachowanie rynku objętego leczeniem przed okresem, a następnie odczytaj lukę po uruchomieniu. To jest Abadie, Diament i Hainmueller (2010)i silnik wewnątrz Meta GeoLift.
Przerwane szeregi czasowe. Zbuduj model, który pozwoliłby na wykonanie serii i odczytaj różnicę, bez grupy kontrolnej. Wersja bayesowska oparta na strukturalnych szeregach czasowych to Brodersen i wsp. (2015)Jest to najsłabszy z czterech i najczęściej używany przypadkowo: „porównaj z poprzednim miesiącem” to projekt, w którym pominięto modelowanie.
Porównaj je według ośmiu kryteriów
| Kryterium | Geo holdout | Switchback | Kontrola syntetyczna | Przerwane szeregi czasowe |
|---|---|---|---|---|
| Potrzebne jednostki | Wiele porównywalnych obszarów geograficznych (przykład źródła: 210 DMA w USA) | Jeden biznes, wiele bloków czasowych | 1-5 rynków poddanych leczeniu plus pula dawców (GeoLift: 40 miast) | Jedna seria |
| Dane przedokresowe | Długość testu dopasowania pseudo-przedokresowego (w przykładzie 14 dni) | Wystarczająca ilość historii do oszacowania przeniesienia | Przykład GeoLift wykorzystuje 90-dniowe dane dzienne | Długa, stabilna historia |
| Przetrwał szok narodowy | Tak, uderza w oba ramiona | Nie, wstrząs wewnątrz bloku staje się efektem | W większości przypadków, jeśli darczyńcy się tym dzielą | Nie |
| Toleruje jeden dominujący rynek | Słabo | Tak, geografia nie ma znaczenia | Tak, to jego główny przypadek użycia | Tak |
| Ryzyko rozprzestrzeniania się | Rzeczywistość: zakupy transgraniczne, media krajowe | Brak geograficzny, wysoki czas | Prawdziwe, takie samo jak geograficzne wstrzymanie | Nie dotyczy |
| Realistyczny minimalny wykrywalny efekt | Średnie jednocyfrowe wartości z wystarczającą liczbą geos | Mały, jeśli efekt jest szybki | Domyślna sieć energetyczna GeoLift zaczyna się od 5% | Zwykle dwucyfrowe |
| Czas na użyteczną lekturę | Opóźnienie reakcji trwające ponad tydzień | Dni do tygodni | tygodni | Tygodnie, nigdy nie rozstrzygające |
| Czego nie może ci powiedzieć | Zachowanie na użytkownika; nie śledzi żadnych osób | Efekty powolnego budowania, takie jak częstotliwość powtarzania | Czy dopasowanie jest odpowiednie, czy raczej za ciasne | Czy coś jeszcze się zmieniło? |
Gdy każdy wygrywa
- Geo holdout Kiedy zmiana może być ukierunkowana geograficznie, masz kilkadziesiąt porównywalnych jednostek i potrzebujesz uzasadnionej liczby, aby uzasadnić budżet. To jedyny z czterech, który oferuje prawdziwą losowość, a więc jedyny, który chroni przed błędami, o których nie pomyślałeś.
- Switchback Gdy zmiana ma charakter globalny (reguła cenowa, algorytm wyszukiwania, alokacja kurierska), a efekt jest szybki, błąd występuje, gdy efekt pojawia się dłużej niż długość bloku.
- Kontrola syntetyczna Kiedy można zmienić tylko jeden lub dwa rynki, zazwyczaj dlatego, że wprowadzenie na rynek lub regulacja wymusza podział. To obserwacja: twierdzisz, że grupa darczyńców śledziła rynek objęty leczeniem, a nie to demonstrujesz.
- Przerwane szeregi czasowe tylko wtedy, gdy nie istnieje żadna jednostka porównawcza, podawane jako szacunek z wyraźną listą innych elementów poruszających się.
Jeśli zmiana zostanie wdrożona na różnych rynkach w różnym czasie, znajdujesz się w obszarze stopniowej różnicy w różnicach, gdzie naiwna dwukierunkowa regresja z efektami stałymi jest obciążona. Użyj estymatorów w Callaway i Sant'Anna (2021).
Dlaczego regionalna struktura rynku łamie domyślny podział geograficzny
Projekty geograficzne zakładają rozłożenie popytu na wiele jednostek o zbliżonej wielkości. W Turcji tak nie jest. Raport Ministerstwa Handlu dotyczący handlu elektronicznego w 2025 roku szacuje całkowity wolumen na 4.57 biliona ton w 5.94 miliarda transakcji, a w okresie kampanii na rynkach w listopadzie 2025 roku Stambuł odnotował 31% wolumenu według lokalizacji kupujących i 67% według lokalizacji sprzedających (TC Ticaret Bakanligi). Zwróć uwagę na ograniczenia: jeden miesiąc kampanii, tylko rynki. To właściwy rząd wielkości, a nie stała.
Ta liczba decyduje o Twoim projekcie. Przy 81 prowincjach, ale około jednej trzeciej popytu w jednej, losowy podział prowincji daje wynik w dużej mierze zależny od tego, w którym oddziale wylądował Stambuł. Trzy odpowiedzi:
- Wyklucz jednostkę dominującą z randomizacji i analizować je oddzielnie. Powiedz tak; wynik będzie wtedy uogólniany na resztę kraju, a nie na całą książkę.
- Podziel to na podjednostki (dzielnice, strefy kurierskie), więc angażuje kilka jednostek. Działa tylko wtedy, gdy platforma i analityka mogą zarówno celować, jak i raportować na podstawie tego ziarna.
- Zwiń prowincje do regionów statystycznych, z których korzystasz już w swoich raportach: turecki IBBS Duzey 2 lub ORZECHY-2 dla rynków UE. Mniej zrównoważonych jednostek pokonuje wiele nierównych.
To samo dotyczy sytuacji, gdy popyt koncentruje się w jednym obszarze metropolitalnym. Projekt zapożyczony z przykładów DMA w USA nie zostanie przeniesiony.
Przykład praktyczny: przesunięcie progu bezpłatnej wysyłki
- Najpierw napisz decyzję. „Jeśli marża kontrybucyjna na sesję nie spadnie o więcej niż 2%, wdrożymy ją”. Projekt, który nie wykrywa 2%, jest błędny i teraz wiesz o tym, zanim go zbudujesz.
- Policz swoje jednostki. Po wykluczeniu Stambułu i połączeniu prowincji poniżej minimalnego limitu wolumenu, załóżmy, że pozostały 24 użyteczne regiony. Zbyt mało, aby przeprowadzić sparowany test geograficzny przy wpływie 2%. To jest odpowiedź, a nie porażka.
- Projekt przełącznika. Próg jest regułą cenową, więc pasuje do niej funkcja przełączania: stosuj ją naprzemiennie co tydzień w całej witrynie przez osiem bloków, szacując przeniesienie na podstawie czasu potrzebnego na ustalenie się rozmiaru koszyka po każdej zmianie.
- Podaj nazwę bariery ochronnej. Wskaźnik zamówień i średnia wartość koszyka będą się zmieniać w przeciwnych kierunkach. Wybierz główny wskaźnik przed uruchomieniem, a nie po nim.
- Sprawdź harmonogram pod kątem zakłóceń. Jeśli tydzień kampanii wyląduje w bloku, blok ten zostanie zanieczyszczony. Porzuć go, zamiast go modelować.
- Najpierw sprawdź instalację hydrauliczną. Potwierdź za pomocą jednodniowego pilota, że platforma i analityka są ukierunkowane na wybrane ziarno i generują dla niego raporty, a także wydłuż okno pomiarowe poza zmianę o opóźnienie reakcji.
[POTRZEBNE DANE WEWNĘTRZNE: Własna dystrybucja firmy Switas dotycząca wielkości zamówień według prowincji dla reprezentatywnego klienta e-commerce, dzięki czemu „24 użyteczne regiony” można zastąpić rzeczywistą liczbą i minimalnym wolumenem.]
Gdzie to się psuje
Żaden z tych projektów nie mierzy efektu na użytkownika. Mierzą one to, co wydarzyło się na rynku lub w bloku czasowym. Jeśli pytanie brzmi „który segment zareagował”, projekt geograficzny nie może na nie odpowiedzieć i nikt nie powinien odczytywać segmentu wydzielonego z jednego.
Wnioskowanie o przełączeniu wstecznym opiera się na założeniu przeniesienia, a w artykule źródłowym wyraźnie zaznaczono, że błędne określenie kolejności przeniesienia pogarsza wynik. Jeśli nie można tego oszacować na podstawie danych historycznych, to znaczy, że zgadujesz.
Kontrola syntetyczna nie jest randomizowana, więc jej trafność opiera się wyłącznie na dopasowaniu przed okresem, a dobre dopasowanie jest konieczne, a nie wystarczające. W dokumentacji GeoLift zaznaczono, że skalowana metryka nierównowagi L2 nie jest porównywalna między różnymi KPI ani liczbami okresów, więc uspokajająca wartość w jednym badaniu nic nie znaczy w innym. W tej samej dokumentacji stwierdzono, że GeoLift „nie jest produktem meta. Wyłącznie do celów badawczych”.
Wszystkie projekty geolokalizacyjne zakładają precyzyjne geotargetowanie i ograniczony ruch transgraniczny. Zakupy transgraniczne, korzystanie z VPN i transmisja krajowa naruszają te zasady, a nie ma na to jednoznacznej korekty: ogranicz wyciek i powiedz, że tak jest. Niniejszy przewodnik nie obejmuje testów A/B na poziomie użytkownika ani interferencji między testami równoległymi.
FAQ
Ile jednostek geograficznych potrzebuję do testu z wykorzystaniem jednostek geograficznych?
Nie ma opublikowanego minimum, a źródła pierwotne celowo go unikają. Vaver i Koehler zalecają symulację oczekiwanej szerokości przedziału ufności dla rzeczywistego zbioru geograficznego kandydatów i frakcji testowej. W praktyce odpowiedź brzmi zazwyczaj „więcej niż masz”, dlatego istnieją metody switchback i kontrola syntetyczna.
Czy mogę porównać ten miesiąc z poprzednim?
To przerwany szereg czasowy z pominięciem modelowania: przypisuje on każdą zmianę sezonową, konkurencyjną i makro w oknie do Twojej zmiany. Jeśli to wszystko, co masz, użyj strukturalnego modelu szeregów czasowych, podaj przedział zamiast punktu i wypisz, co jeszcze uległo zmianie.
Czy stratyfikacja geograficzna przed randomizacją faktycznie pomaga?
Tak, mierzalnie. Vaver i Koehler donoszą, że grupowanie lokalizacji geograficznych według rozmiaru przed przypisaniem zmniejszyło przedział ufności zwrotu z nakładów na reklamę o 10% lub więcej w porównaniu z nieograniczoną losowością. Jest to prawie darmowe, więc zrób to.
Dlaczego przycięty estymator miałby być lepszy od oczywistego?
Dane na poziomie geograficznym są „ciężkoogonowe”, gdy dostępnych jest zaledwie kilkadziesiąt jednostek, więc jedna źle dopasowana para może zdominować estymację. W symulacjach Trimmed Match z 50 parami i logarytmiczno-normalnymi danymi geograficznymi, pierwiastek średniego błędu kwadratowego wyniósł 1.96 dla estymatora przyciętego w porównaniu z 20.09 dla estymatora standardowego, a moc 60% w porównaniu z 16%.
Jak długa powinna być blokada zwrotna?
Na tyle długi, że efekt ustabilizował się przed końcem bloku, więc jest on ustalany na podstawie długości przeniesienia, a nie wygody. Oszacuj przeniesienie na podstawie czasu potrzebnego na stabilizację metryki po historycznej zmianie, a następnie stwórz bloki dłuższe niż ten czas. Bloki tygodniowe są powszechnym początkiem sprzedaży detalicznej, ponieważ absorbują one również efekty dnia tygodnia.
Jak sobie poradzić z miastem, które stanowi jedną trzecią mojego zapotrzebowania?
Zdecyduj przed losowaniem: wyklucz je i rozszerz wniosek na resztę kraju, podziel na jednostki dystryktu lub strefy kurierskiej, jeśli twój stos obsługuje to zboże, albo użyj kontroli syntetycznej z tym miastem jako rynkiem docelowym. Wszystkie trzy opcje są możliwe do obrony. Losowanie 81 prowincji, tak jakby były równe, nie jest możliwe.
Uruchom to przy następnej niemożliwej do przetestowania zmianie
Przeanalizuj swoją kolejną, niemożliwą do przetestowania zmianę, biorąc pod uwagę osiem powyższych kryteriów i sprawdź, który projekt się sprawdzi. Jeśli odpowiedź brzmi „żadna, przy naszych jednostkach”, warto to wiedzieć, zanim wydasz na to kwartał. Nasze Zespół ds. współczynnika konwersji i eksperymentów projektuje te testy dla klientów z branży e-commerce, podróży i opieki zdrowotnej w Turcji i regionie, uwzględniając również przypadki, w których randomizacja na poziomie użytkownika nie wchodzi w grę.
[POTRZEBNE DANE WEWNĘTRZNE: jedno zanonimizowane zaangażowanie w geografię lub interwały Switas, z wybranym projektem i decyzją o jego zamknięciu.]
Źródła
- Vaver, J. i Koehler, J. (2011). Pomiar skuteczności reklam za pomocą eksperymentów geograficznych. Badania Google. PDF.
- Chen, A. i Au, T. (2019). Solidne wnioskowanie przyczynowe dla dodatkowego zwrotu z wydatków na reklamy z wykorzystaniem losowych eksperymentów geograficznych z wykorzystaniem par. Xiv:1908.02922.
- Au, T. (2021). Przycięty projekt dopasowania dla losowych eksperymentów geograficznych z parami. Xiv:2105.07060.
- Bojinov, I., Simchi-Levi, D. i Zhao, J. (2023). Projektowanie i analiza eksperymentów Switchback. Nauki o zarządzaniu 69(7), 3759-3777. Przedruk: arXiv: 2009.00148.
- Abadie, A., Diamond, A. i Hainmueller, J. (2010). Metody kontroli syntetycznej w studiach przypadków porównawczych. Czasopismo Amerykańskiego Towarzystwa Statystycznego.
- Brodersen, K. i wsp. (2015). Wnioskowanie o wpływie przyczynowym przy użyciu bayesowskich modeli szeregów czasowych strukturalnychRoczniki Statystyki Stosowanej.
- Callaway, B. i Sant'Anna, P. (2021). Różnica w różnicach z wieloma okresami czasu. Czasopismo Ekonometrii.
- Meta Open Source. Przewodnik GeoLift.
- TC Ticaret Bakanligi. Turkiye'de E-Ticaretin Gorunumu Raporu.
- TUIK. Adres Dayali Nufus Kayit Sistemi Sonuclari, 2025, opublikowano 9 lutego 2026 r.
- Eurostatu. Publikacje dotyczące klasyfikacji NUTS.







