Algumas das mudanças com maior impacto na receita não podem ser divididas por usuário. Um valor mínimo para frete grátis, uma lista de preços, uma combinação de entregadores, um voo de resposta rápida, uma mudança em quem paga pelas devoluções: essas mudanças se aplicam a todos ou a ninguém. As equipes geralmente pulam a etapa de mensuração ou realizam um teste antes e depois e consideram a diferença como um aumento de receita.
Ambos são caros. Em um estudo de caso publicado de um experimento geográfico, o estimador de razão padrão colocou o retorno incremental sobre o gasto com publicidade em um intervalo de 95% de [-1.26, 5.69]; um estimador truncado nos mesmos dados retornou [0.25, 1.74] (Chen e Au, 2019Um deles contém zero e não lhe diz nada.
Este guia é para líderes de crescimento, otimização da taxa de conversão (CRO) e análise de dados que precisam quantificar uma mudança que não podem ser aleatorizadas para cada usuário. Ao final, você será capaz de escolher entre quatro designs, entender o que cada um precisa para funcionar e saber qual deles pode te enganar, considerando a concentração de demanda em uma determinada cidade.
Os quatro designs em uma frase cada
Experimento geográfico pareado randomizado (experimento geográfico de validação). Divida as unidades geográficas em grupos de tratamento e controle após o pareamento com base na resposta pré-período e, em seguida, compare os grupos. Vaver e Koehler (2011) Classifique os locais geográficos de acordo com sua métrica pré-teste, divida essa lista em grupos de tamanho M e escolha aleatoriamente um local geográfico por grupo para o tratamento.
Switchback (divisão de tempo). Aplique a alteração em toda a empresa, ative-a e desative-a em blocos e trate os blocos como unidades aleatórias. Bojinov, Simchi-Levi e Zhao (2023) Derivar projetos ótimos sob hipóteses sobre a duração de um efeito após uma mudança, além de uma maneira baseada em dados para estimar esse período de efeito residual.
Controle sintético. Crie uma combinação ponderada de mercados não tratados que acompanhe o comportamento do mercado tratado antes do período de implementação e, em seguida, analise a diferença após o lançamento. Isso é Abadie, Diamond e Hainmueller (2010)e o motor dentro do Meta GeoLift.
Séries temporais interrompidas. Modele o que a série teria feito e observe a diferença, sem grupo de controle. A versão bayesiana de séries temporais estruturais é Brodersen et al. (2015)É o mais fraco dos quatro e o que é usado com mais frequência por engano: "comparar com o mês passado" é este modelo sem a modelagem.
Compare-os com base em oito critérios.
| Critério | Resistência geográfica | Retorno | Controle sintético | Série temporal interrompida |
|---|---|---|---|---|
| Unidades necessárias | Muitas regiões geográficas comparáveis (exemplo de fonte: 210 áreas de mercado designadas nos EUA) | Um negócio, vários blocos de tempo | 1-5 mercados tratados mais um grupo de doadores (GeoLift: 40 cidades) | Uma série |
| Dados do período anterior | Duração do teste de correspondência pré-período pseudo (14 dias no exemplo) | Histórico suficiente para estimar o saldo a pagar. | O exemplo da GeoLift utiliza dados diários de 90 dias. | História longa e estável |
| Sobrevive a um choque nacional | Sim, atinge os dois braços. | Não, um choque dentro de um bloco se torna o efeito. | Principalmente se os doadores compartilharem. | Não |
| Tolera um mercado dominante | Mal | Sim, a geografia é irrelevante. | Sim, esse é seu principal caso de uso. | Sim |
| risco de contágio | Real: compras transfronteiriças, mídia nacional | Nenhuma geográfica, alta temporal | Real, igual a retenção geográfica | Não aplicável |
| Efeito mínimo detectável realista | Dígitos médios com geografias suficientes | Pequeno, se o efeito for rápido. | A rede elétrica padrão do GeoLift começa em 5%. | Geralmente em dois dígitos |
| Hora de uma leitura útil | Semanas de atraso na resposta | Dias a semanas | semanas | Semanas, nunca conclusivas. |
| O que não pode te dizer | Comportamento por usuário; não rastreia indivíduos. | Efeitos de desenvolvimento lento, como a taxa de repetição | O importante é que a combinação seja adequada, e não apenas aproximada. | Se alguma outra coisa também mudou. |
Quando cada um ganha
- Resistência geográfica Quando a mudança pode ser direcionada geograficamente, você tem algumas dezenas de unidades comparáveis e precisa de um número defensável para uma justificativa orçamentária. É o único dos quatro métodos com aleatorização real, sendo, portanto, o único que protege você de vieses que você não havia considerado.
- Retorno Quando a mudança é global por natureza (uma regra de precificação, um algoritmo de busca, uma alocação de entregadores) e o efeito é rápido, o método falha. Ele ocorre quando o efeito demora mais para aparecer do que o comprimento do bloco.
- Controle sintético Quando você só pode alterar um ou dois mercados, geralmente porque um lançamento ou uma regulamentação força a divisão, trata-se de uma observação: você está afirmando que o conjunto de doadores teria acompanhado o mercado tratado, não demonstrando isso.
- Série temporal interrompida Somente quando não houver nenhuma unidade de comparação disponível, será relatado como uma estimativa com uma lista explícita dos demais itens que foram alterados.
Se a mudança for implementada em diferentes mercados em momentos diferentes, você estará no território de diferenças em diferenças escalonadas, onde a regressão ingênua de efeitos fixos bidirecional é enviesada. Use os estimadores em Callaway e Sant'Anna (2021).
Por que a estrutura do mercado regional rompe com a divisão geográfica padrão?
Os modelos de geolocalização pressupõem uma demanda distribuída por muitas unidades de tamanho semelhante. Na Turquia, isso não ocorre. O relatório do Ministério do Comércio sobre o comércio eletrônico em 2025 estima um volume total de 4.57 trilhões de liras turcas em 5.94 bilhões de transações, e, para o período de campanhas de novembro de 2025, aponta Istambul como responsável por 31% do volume por localização do comprador e 67% por localização do vendedor.TC Ticaret BakanligiObserve as limitações: um mês de campanha, apenas em marketplaces. É uma estimativa da ordem de grandeza, não uma constante.
Esse número define seu plano. Com 81 províncias, mas aproximadamente um terço da demanda concentrada em uma só, uma divisão aleatória entre elas produz um resultado determinado principalmente pelo braço sísmico em que Istambul ficou. Três respostas:
- Exclua a unidade dominante a partir da randomização e analisá-la separadamente. Digamos assim; o resultado então se generaliza para o resto do país, não para o livro inteiro.
- Divida-o em subunidades (distritos, zonas de entrega), portanto, contribui com várias unidades. Só funciona se a plataforma e a análise puderem segmentar e gerar relatórios nesse nível de detalhamento.
- Enrole as províncias até o topo nas regiões estatísticas que seus relatórios já utilizam: IBBS Duzey 2 da Turquia, ou NUTS-2 Para os mercados da UE. Menos unidades equilibradas superam muitas unidades desiguais.
O mesmo se aplica sempre que a demanda se concentra em uma única região metropolitana. Um modelo copiado de exemplos de áreas metropolitanas designadas (DMA) dos EUA não será aplicável.
Um exemplo prático: alterar o limite para frete grátis
- Primeiro, redija a decisão. "Se a margem de contribuição por sessão não cair mais de 2%, implementamos a mudança." Um design que não consegue detectar 2% é um design inadequado, e você já sabe disso antes mesmo de implementá-lo.
- Conte suas unidades. Após excluir Istambul e fundir províncias abaixo de um determinado limite de volume, suponha que restem 24 regiões utilizáveis. São poucas demais para um teste geográfico pareado com um efeito de 2%. Essa é a resposta, não um revés.
- Design do interruptor. Um limite é uma regra de precificação, então o modelo de alternância se encaixa: alterne-o semanalmente em todo o site ao longo de oito blocos, estimando o saldo remanescente com base no tempo que o tamanho do carrinho leva para se estabilizar após cada alternância.
- Dê um nome ao guarda-corpo. A taxa de pedidos e o valor médio do carrinho de compras seguirão direções opostas. Escolha a métrica principal antes do lançamento, não depois.
- Verifique o cronograma em busca de fatores de confusão. Se uma semana de campanha eleitoral ocorrer dentro de um bloco, esse bloco estará contaminado. Descarte-o em vez de modelar em torno dele.
- Verifique primeiro o encanamento. Confirme, por meio de um teste piloto de um dia, se a plataforma e as análises conseguem segmentar e reportar os dados na granularidade escolhida, e se o período de medição foi estendido além da mudança, considerando o atraso de resposta.
[SÃO NECESSÁRIA A DADOS INTERNOS: Distribuição do volume de pedidos por província, realizada pela própria Switas, para um cliente representativo de comércio eletrônico, de forma que "24 regiões utilizáveis" possam ser substituídas por uma contagem real e um volume mínimo.]
Onde isso falha
Nenhum desses modelos mede o efeito por usuário. Eles medem o que aconteceu com um mercado ou um período de tempo. Se a pergunta é "qual segmento respondeu", um modelo geográfico não pode respondê-la, e ninguém deveria estar analisando um segmento a partir de outro.
A inferência de switchback depende da suposição de carryover, e o artigo original é explícito ao afirmar que especificar incorretamente a ordem de carryover prejudica o resultado. Se você não consegue estimá-la a partir do histórico, está apenas supondo.
O controle sintético não possui randomização, portanto sua validade depende inteiramente do ajuste pré-período, e um bom ajuste é necessário, mas não suficiente. A documentação do GeoLift observa que sua métrica de desequilíbrio L2 escalonada não é comparável entre diferentes KPIs ou números de períodos, portanto, um número tranquilizador em um estudo não significa nada em outro. A mesma documentação afirma que o GeoLift "não é um produto Meta. Apenas para fins de pesquisa."
Todos os projetos de geolocalização pressupõem segmentação geográfica precisa e movimentação transfronteiriça limitada. Compras internacionais, uso de VPN e transmissões nacionais violam essa premissa, e não há uma solução simples: basta limitar o vazamento e deixar isso claro. Este guia não aborda testes A/B em nível de usuário nem interferência entre testes simultâneos.
Perguntas frequentes
Quantas unidades de Geografia eu preciso para um teste de validação de Geografia?
Não existe um mínimo publicado, e as fontes primárias evitam deliberadamente fornecer um. Vaver e Koehler recomendam simular a largura esperada do intervalo de confiança para o seu conjunto geográfico candidato e fração de teste reais. Na prática, a resposta geralmente é "maior do que você tem", razão pela qual existem o controle de alternância e o controle sintético.
Posso comparar este mês com o mês passado?
Trata-se de uma série temporal interrompida, sem modelagem: ela atribui cada movimento sazonal, competitivo e macroeconômico no período analisado à sua variação. Se for a única opção disponível, utilize um modelo de série temporal estrutural, apresente um intervalo em vez de um ponto e liste os demais fatores que apresentaram variação.
Estratificar os dados geográficos antes da randomização realmente ajuda?
Sim, de forma mensurável. Vaver e Koehler relatam que agrupar regiões geográficas por tamanho antes da atribuição reduziu o intervalo de confiança para o retorno sobre o investimento em publicidade em 10% ou mais em comparação com a randomização irrestrita. É praticamente gratuito, então faça isso.
Por que um estimador otimizado seria melhor do que o óbvio?
Os dados em nível geográfico apresentam caudas pesadas quando se tem apenas algumas dezenas de unidades, de modo que um par mal correspondente pode dominar a estimativa. Nas simulações de Correspondência Aparada com 50 pares e geolocalizações log-normais, o erro quadrático médio foi de 1.96 para o estimador aparado contra 20.09 para o estimador de razão padrão, e o poder estatístico foi de 60% contra 16%.
Qual deve ser o comprimento de um quarteirão em ziguezague?
O período é suficientemente longo para que o efeito se estabilize antes do término do bloco, sendo definido pela duração do efeito residual e não pela conveniência. Estime o efeito residual com base no tempo que a métrica leva para se estabilizar após uma mudança histórica e, em seguida, defina blocos com duração superior a esse período. Blocos semanais são uma prática comum no varejo, pois também absorvem os efeitos do dia da semana.
Como lidar com uma cidade que representa um terço da minha demanda?
Antes de randomizar, decida: exclua a província em questão e estenda a conclusão ao resto do país, divida-a em unidades de distrito ou zona de correio se sua estrutura de produção suportar esse grão, ou use controle sintético com essa cidade como mercado afetado. Todas as três opções são defensáveis. Randomizar 81 províncias como se fossem iguais, não é.
Execute este comando na sua próxima alteração não testável.
Analise sua próxima alteração não testável com base nos oito critérios acima e veja qual projeto sobrevive. Se a resposta for "nenhum, com as unidades que temos", vale a pena saber disso antes de investir um trimestre inteiro nisso. CRO e equipe de experimentação A empresa desenvolve esses testes para clientes dos setores de comércio eletrônico, viagens e saúde na Turquia e na região, incluindo os casos em que a randomização em nível de usuário não é viável.
[DADOS INTERNOS NECESSÁRIOS: um contato anônimo da Switas, seja por geolocalização ou ziguezague, com o projeto escolhido e a decisão tomada.]
Fontes
- Vaver, J. e Koehler, J. (2011). Medindo a eficácia da publicidade por meio de experimentos geográficosPesquisa do Google. PDF.
- Chen, A. e Au, T. (2019). Inferência Causal Robusta para Retorno Incremental sobre Investimento em Publicidade com Experimentos Geográficos Pareados Aleatorizados. arXiv:1908.02922.
- Au, T. (2021). Desenho de correspondência truncada para experimentos geográficos pareados aleatorizados. arXiv:2105.07060.
- Bojinov, I., Simchi-Levi, D. e Zhao, J. (2023). Projeto e análise de experimentos de ziguezague. Management Science 69(7), 3759-3777. Pré-publicação: arXiv: 2009.00148.
- Abadie, A., Diamond, A. e Hainmueller, J. (2010). Métodos de controle sintético para estudos de caso comparativosRevista da Associação Americana de Estatística.
- Brodersen, K. et al. (2015). Inferindo o impacto causal usando modelos bayesianos de séries temporais estruturais.Anais de Estatística Aplicada.
- Callaway, B. e Sant'Anna, P. (2021). Diferença em diferenças com múltiplos períodos de tempoRevista de Econometria.
- Meta Open Source. Guia passo a passo do GeoLift.
- TC Ticaret Bakanligi. Turkiye'de E-Ticaretin Gorunumu Raporu.
- TUIK. Endereço Dayali Nufus Kayit Sistemi Sonuclari, 2025, publicado em 9 de fevereiro de 2026.
- Eurostat. Publicações de classificação NUTS.







