Alcuni dei cambiamenti con le maggiori conseguenze sul fatturato non possono essere suddivisi per utente. Una soglia per la spedizione gratuita, un listino prezzi, un mix di corrieri, un volo via radio, una modifica a chi paga i resi: si applicano a tutti o a nessuno. I team di solito o evitano di effettuare misurazioni o eseguono un confronto prima-dopo e considerano la differenza come un incremento.
Entrambi sono costosi. In uno studio di caso geo-esperimento pubblicato, lo stimatore del rapporto standard ha collocato il ritorno incrementale sulla spesa pubblicitaria in un intervallo del 95% di [-1.26, 5.69]; uno stimatore troncato sugli stessi dati ha restituito [0.25, 1.74] (Chen e Au, 2019Uno di questi contiene zero e non ti dice nulla.
Questa guida è pensata per i responsabili della crescita, del CRO e dell'analisi dati che devono quantificare un cambiamento che non possono essere randomizzati per ogni utente. Al termine, sarete in grado di scegliere tra quattro modelli, di sapere cosa serve a ciascuno affinché funzioni e di riconoscere quale potrebbe trarvi in inganno laddove la domanda si concentra in una singola città.
I quattro modelli in una frase ciascuno
Esperimento geografico randomizzato a coppie (test di validazione geografico). Suddividere le unità geografiche in gruppi di trattamento e di controllo dopo averle abbinate in base alla risposta precedente al periodo di studio, quindi confrontare i due gruppi. Vaver e Koehler (2011) Classifica le aree geografiche in base alla loro metrica pre-test, suddividi tale elenco in gruppi di dimensione M e seleziona casualmente un'area geografica per gruppo da sottoporre al trattamento.
Switchback (divisione temporale). Applica la modifica a livello aziendale, attivala e disattivala a blocchi e tratta i blocchi come unità randomizzate. Bojinov, Simchi-Levi e Zhao (2023) ricavare progetti ottimali in base a ipotesi sulla durata di un effetto dopo un cambiamento, oltre a un metodo basato sui dati per stimare tale durata di persistenza.
Controllo sintetico. Costruisci una combinazione ponderata di mercati non trattati che traccia il comportamento del mercato trattato nel periodo precedente, quindi leggi il divario dopo il lancio. Questo è Abadie, Diamante e Hainmueller (2010)e il motore all'interno di Meta GeoLift.
Serie temporali interrotte. Modella ciò che la serie avrebbe fatto e leggi la differenza, senza gruppo di controllo. La versione bayesiana delle serie temporali strutturali è Brodersen et al. (2015)È la più debole delle quattro, e quella che più spesso viene usata per errore: "rispetto al mese scorso" è proprio questa formulazione, ma senza la modellazione.
Confrontali in base a otto criteri
| Criterio | Rifiuto geografico | Switchback | Controllo sintetico | Serie temporale interrotta |
|---|---|---|---|---|
| Unità necessarie | Molte aree geografiche comparabili (esempio: 210 DMA statunitensi) | Un'unica attività, molteplici fasce orarie. | Da 1 a 5 mercati trattati più un bacino di donatori (GeoLift: 40 città) | Una serie |
| Dati del periodo precedente | Durata del test di corrispondenza pseudo-pre-periodo (14 giorni nell'esempio) | Storia sufficiente per stimare il trascinamento | L'esempio di GeoLift utilizza 90 giorni di dati giornalieri | Una lunga e stabile storia |
| Sopravvive a uno shock nazionale | Sì, colpisce entrambe le braccia | No, uno shock all'interno di un blocco diventa l'effetto | Nella maggior parte dei casi, se i donatori lo condividono | Nodo |
| Tollera un mercato dominante | male | Sì, la geografia è irrilevante. | Sì, è il suo caso d'uso principale | Si |
| rischio di ricaduta | Reale: shopping transfrontaliero, media nazionali | Nessuno geografico, elevato temporale | Reale, uguale a geo holdout | Non applicabile |
| Effetto minimo rilevabile realistico | Cifre medie a una cifra con abbastanza geos | Piccolo, se l'effetto è rapido | La rete elettrica predefinita di GeoLift parte dal 5% | Di solito a due cifre |
| È ora di una lettura utilizzabile | Settimane e oltre di ritardo nella risposta | Giorni a settimane | Settimane | Settimane, mai conclusive |
| Ciò che non può dirti | Comportamento del singolo utente; non traccia alcun individuo | Effetti a sviluppo lento come la frequenza di ripetizione | Se la vestibilità è giusta piuttosto che stretta | Se anche qualcos'altro è cambiato |
Quando ognuno vince
- Rifiuto geografico Quando il cambiamento può essere mirato geograficamente, si hanno a disposizione alcune decine di unità comparabili e serve un numero difendibile per una giustificazione di bilancio. È l'unico dei quattro con una vera randomizzazione, quindi l'unico che protegge da distorsioni a cui non si era pensato.
- Switchback Quando la modifica è di natura globale (una regola di prezzo, un algoritmo di ricerca, un'assegnazione di corriere) e l'effetto è rapido, si verifica un errore. L'errore si verifica quando l'effetto impiega più tempo a manifestarsi rispetto alla lunghezza del blocco.
- Controllo sintetico Quando si ha la possibilità di modificare solo uno o due mercati, di solito perché un lancio o una normativa impone la suddivisione. Si tratta di un'osservazione: si afferma che il bacino dei donatori avrebbe seguito il mercato trattato, non lo si dimostra.
- Serie temporale interrotta solo quando non esiste alcuna unità di confronto da nessuna parte, viene riportato come una stima con un elenco esplicito di cos'altro è stato spostato.
Se la modifica viene implementata in mercati diversi in momenti diversi, ci si trova nel territorio delle differenze scaglionate nelle differenze, dove la regressione ingenua a effetti fissi bidirezionali è distorta. Utilizzare gli stimatori in Callaway e Sant'Anna (2021).
Perché la struttura del mercato regionale infrange la suddivisione geografica predefinita
I modelli geografici presuppongono una domanda distribuita su molte unità di dimensioni ampiamente simili. In Turchia non è così. Il rapporto del Ministero del Commercio sull'e-commerce del 2025 stima un volume totale di 4.57 trilioni di lire turche su 5.94 miliardi di transazioni e, per il periodo della campagna di novembre 2025 sui marketplace, riporta Istanbul al 31% del volume per posizione dell'acquirente e al 67% per posizione del venditore (TC Ticaret Bakanligi). Si notino i limiti: un mese di campagna, solo sui marketplace. È l'ordine di grandezza corretto, non una costante.
Quel numero determina il tuo progetto. Con 81 province, ma circa un terzo della domanda concentrata in una sola, una divisione casuale delle province produce un risultato determinato principalmente dal braccio in cui si trova Istanbul. Tre risposte:
- Escludi l'unità dominante dalla randomizzazione e analizzarla separatamente. Dillo; il risultato si generalizza quindi al resto del paese, non all'intero libro.
- Dividilo in sottounità (distretti, zone di consegna) quindi contribuisce con diverse unità. Funziona solo se la piattaforma e l'analisi possono entrambe individuare e segnalare i dati a quel livello di dettaglio.
- Arrotolate le province nelle regioni statistiche che già utilizzate per la vostra rendicontazione: IBBS Duzey 2 della Turchia, oppure DADI-2 per i mercati dell'UE. Un numero minore di unità bilanciate è superiore a un numero elevato di unità disuguali.
Lo stesso principio si applica ovunque la domanda si concentri in un'unica area metropolitana. Un modello mutuato da esempi di aree metropolitane statunitensi non è applicabile in questo contesto.
Un esempio pratico: spostare la soglia per la spedizione gratuita
- Scrivi prima la decisione. "Se il margine di contribuzione per sessione non diminuisce di oltre il 2%, procediamo con l'implementazione." Un progetto che non è in grado di rilevare una diminuzione del 2% è un progetto sbagliato, e ora lo sai prima ancora di realizzarlo.
- Conta le tue unità. Dopo aver escluso Istanbul e accorpato le province al di sotto di una determinata soglia di volume, supponiamo che rimangano 24 regioni utilizzabili. Troppo poche per un test geografico accoppiato su un effetto del 2%. Questa è la risposta, non una battuta d'arresto.
- Progettazione dell'interruttore. Una soglia è una regola di prezzo, quindi il meccanismo switchback è adatto: alternarlo settimanalmente su tutto il sito per otto blocchi, stimando il riporto in base al tempo necessario affinché la dimensione del carrello si stabilizzi dopo ogni cambio.
- Indica il nome del guardrail. Il tasso di ordini e il valore medio del carrello si muoveranno in direzioni opposte. Scegliete la metrica principale prima del lancio, non dopo.
- Verificare la presenza di fattori confondenti nel programma. Se una settimana di campagna cade all'interno di un blocco, quel blocco è contaminato. Meglio eliminarlo piuttosto che cercare di aggirarlo.
- Verifica prima l'impianto idraulico. Confermare con un progetto pilota di un giorno che la piattaforma e gli strumenti di analisi siano in grado di individuare e segnalare il tipo di dato selezionato, ed estendere la finestra di misurazione oltre la variazione, in base al ritardo di risposta.
[DATI INTERNI NECESSARI: Distribuzione interna di Switas del volume degli ordini per provincia per un cliente e-commerce rappresentativo, in modo che "24 regioni utilizzabili" possa essere sostituito con un conteggio reale e un volume minimo.]
Dove questo si interrompe
Nessuno di questi modelli misura l'effetto per singolo utente. Misurano ciò che è accaduto a un mercato o a un intervallo di tempo. Se la domanda è "quale segmento ha risposto?", un modello geografico non può fornire una risposta, e nessuno dovrebbe analizzare un segmento derivato da un segmento più ampio.
L'inferenza switchback dipende dall'ipotesi di riporto, e l'articolo originale specifica esplicitamente che una errata indicazione dell'ordine di riporto compromette il risultato. Se non è possibile stimarlo dai dati storici, si tratta di una supposizione.
Il controllo sintetico non prevede randomizzazione, quindi la sua validità si basa interamente sull'adattamento pre-periodo, e un buon adattamento è necessario, non sufficiente. La documentazione di GeoLift rileva che la sua metrica di squilibrio L2 scalata non è confrontabile tra diversi KPI o numeri di periodi, quindi un valore rassicurante in uno studio non ha alcun significato in un altro. La stessa documentazione afferma che GeoLift "non è un prodotto Meta. Solo a scopo di ricerca".
Tutte le strategie di geolocalizzazione presuppongono un targeting geografico accurato e una limitazione degli spostamenti transfrontalieri. Gli acquisti transfrontalieri, l'utilizzo di VPN e le trasmissioni nazionali violano questo principio, e non esiste una soluzione semplice: bisogna limitare le perdite e dichiararlo apertamente. Questa guida non tratta i test A/B a livello utente o le interferenze tra test simultanei.
FAQ
Di quante unità geografiche ho bisogno per un test di validazione geografica?
Non esiste un valore minimo pubblicato e le fonti primarie evitano deliberatamente di indicarlo. Vaver e Koehler raccomandano di simulare l'ampiezza prevista dell'intervallo di confidenza per il set geografico di candidati e la frazione di test effettivi. In pratica, la risposta è solitamente "maggiore di quella disponibile", ed è per questo che esistono il controllo switchback e sintetico.
Posso confrontare i dati di questo mese con quelli del mese scorso?
Si tratta di una serie temporale interrotta senza la modellazione: attribuisce ogni movimento stagionale, competitivo e macroeconomico all'interno della finestra temporale alla tua variazione. Se è tutto ciò che hai a disposizione, utilizza un modello di serie temporale strutturale, riporta un intervallo anziché un punto e elenca gli altri elementi che hanno subito variazioni.
La stratificazione geografica prima della randomizzazione è effettivamente utile?
Sì, in modo misurabile. Vaver e Koehler riportano che raggruppare le aree geografiche in base alle dimensioni prima dell'assegnazione ha ridotto l'intervallo di confidenza per il ritorno sulla spesa pubblicitaria del 10% o più rispetto alla randomizzazione non vincolata. È quasi gratuito, quindi fatelo.
Perché uno stimatore ottimizzato dovrebbe essere migliore di quello più ovvio?
I dati a livello geografico presentano code pesanti quando si hanno solo poche decine di unità, quindi una coppia non ben abbinata può dominare la stima. Nelle simulazioni Trimmed Match con 50 coppie e geografie log-normali, l'errore quadratico medio era di 1.96 per lo stimatore trimming contro 20.09 per lo stimatore del rapporto standard e la potenza del 60% contro il 16%.
Quanto deve essere lungo un blocco a tornanti?
Abbastanza lungo da permettere che l'effetto si stabilizzi prima della fine del blocco, quindi viene impostato in base alla durata del trascinamento piuttosto che alla comodità. Si stima il trascinamento in base al tempo necessario alla metrica per stabilizzarsi dopo un cambiamento storico, quindi si impostano blocchi più lunghi di tale periodo. I blocchi settimanali sono un punto di partenza comune nel settore della vendita al dettaglio perché assorbono anche gli effetti del giorno della settimana.
Come posso gestire una città che rappresenta un terzo della mia domanda?
Prima di procedere con la randomizzazione, decidi: escludila ed estendi la conclusione al resto del paese, dividila in distretti o zone di consegna se il tuo sistema supporta quel tipo di grano, oppure utilizza un controllo sintetico con quella città come mercato di riferimento. Tutte e tre le opzioni sono valide. Randomizzare 81 province come se fossero uguali non lo è.
Esegui questo sulla tua prossima modifica non testabile
Valuta la tua prossima modifica non testabile attraverso gli otto criteri sopra indicati e vedi quale progetto sopravvive. Se la risposta è "nessuno, con le unità che abbiamo", è bene saperlo prima di spenderci un quarto di dollaro. Il nostro CRO e team di sperimentazione Progetta questi test per clienti del settore e-commerce, viaggi e sanità in Turchia e nella regione, inclusi i casi in cui la randomizzazione a livello utente non è fattibile.
[DATI INTERNI RICHIESTI: un progetto anonimizzato di Switas geo o switchback, con il progetto scelto e la decisione presa.]
fonti
- Vaver, J. e Koehler, J. (2011). Misurare l'efficacia delle inserzioni pubblicitarie tramite esperimenti geografici.. Ricerca Google. PDF.
- Chen, A. e Au, T. (2019). Inferenza causale robusta per il ritorno incrementale sulla spesa pubblicitaria con esperimenti geografici accoppiati randomizzati.. arXiv:1908.02922.
- Au, T. (2021). Progettazione di abbinamenti troncati per esperimenti geografici randomizzati a coppie.. arXiv:2105.07060.
- Bojinov, I., Simchi-Levi, D. e Zhao, J. (2023). Progettazione e analisi di esperimenti a zig-zag. Management Science 69(7), 3759-3777. Preprint: arXiv: 2009.00148.
- Abadie, A., Diamond, A. e Hainmueller, J. (2010). Metodi di controllo sintetico per studi di caso comparativiRivista dell'Associazione Statistica Americana.
- Brodersen, K. et al. (2015). Inferire l'impatto causale utilizzando modelli bayesiani di serie temporali strutturali.Annali di statistica applicata.
- Callaway, B. e Sant'Anna, P. (2021). Differenze nelle differenze con periodi di tempo multipliRivista di Econometria.
- Meta Open Source. Guida dettagliata all'installazione di GeoLift.
- TC Ticaret Bakanligi. Turkiye'de E-Ticaretin Gorunumu Raporu.
- TUIK. Adrese Dayali Nufus Kayit Sistemi Sonuclari, 2025pubblicato il 9 febbraio 2026.
- Eurostat. Pubblicazioni sulla classificazione NUTS.







