Se você verificar um teste A/B todas as manhãs e interrompê-lo na primeira vez que o painel ficar verde, sua taxa real de falsos positivos não será de 5%. Em uma simulação que testava a significância após cada observação, Evan Miller a mediu em 26.1%, mais de cinco vezes o nível em que a maioria das equipes acredita estar jogando (Como NÃO executar um teste A/BUma em cada quatro "vitórias" que não se repetem não é um problema estatístico. É um problema de planejamento.
Este guia destina-se a equipes de crescimento e otimização da taxa de conversão (CRO) que realizam testes em tráfego de e-commerce ou de viagens, que é sazonal demais para ficar parado por quatro semanas. Ao final, você será capaz de planejar um cronograma de visualizações antes do lançamento, ler o limite para cada visualização em uma tabela, dimensionar o teste considerando a pequena amostra extra que o planejamento acarreta e identificar quando o método deixa de ser válido.
Por que espiar quebra um teste de horizonte fixo
Um teste de horizonte fixo gasta todo o seu orçamento de erro de 5% apenas uma vez, com um tamanho de amostra predefinido. Cada análise adicional representa uma nova chance de ultrapassar o limite. O problema não está em analisar os dados em si, mas sim em analisá-los com um limiar calculado para uma única análise. A tabela de Miller apresenta o nível de significância necessário para manter uma taxa de 5% real, caso se insista em realizar um número determinado de análises:
| Número de olhares | Significância estatística necessária para atingir 5% de precisão. |
|---|---|
| 1 | 2.9% |
| 2 | 2.2% |
| 3 | 1.8% |
| 5 | 1.4% |
| 10 | 1.0% |
Em outras palavras: dê uma olhada dez vezes e o que você lê como 1% de significância é, na verdade, 5%. Bruto, mas honesto. Os métodos abaixo fazem o mesmo trabalho de forma mais eficiente.
Três maneiras de parar mais cedo e o preço de cada uma.
| Abordagem | Corrigir antes do lançamento | Custo versus teste fixo | Use-o quando |
|---|---|---|---|
| Horizonte fixo | Tamanho da amostra, uma data de análise | Nenhuma, mas também não é permitido parar mais cedo. | Trânsito estável, janela de tempo curta |
| Grupo sequencial (gastos alfa) | Amostra máxima, número e intervalo de observações | A amostra máxima aumenta cerca de 3% (O'Brien-Fleming) para cerca de 20% (Pocock), 4 observações. | O tamanho da amostra é estimável. |
| Sempre válido (mSPRT) | Nada, em princípio. | A maior perda de potência entre as três, na mesma amostra. | O tamanho da amostra não pode ser estimado. |
A terceira linha é importante porque é o que a maioria das plataformas comerciais utiliza. Na simulação de Georgi Georgiev, com uma amostra máxima fixa de 7,045 por grupo, um teste de horizonte fixo atingiu 83.3% de poder estatístico, o teste AGILE sequencial em grupo atingiu sua meta de 80%, o SPRT cerca de 73% e a inferência sempre válida 62.4%. Para atingir 80% de poder estatístico, a inferência sempre válida precisava de aproximadamente 85% a mais de amostra do que o projeto sequencial em grupo (Kit de ferramentas de análise, 2022Os engenheiros do Spotify chegaram à mesma conclusão de forma independente: os testes sequenciais em grupo são "sistematicamente melhores ou comparáveis a abordagens sempre válidas" quando o tamanho da amostra pode ser estimado (Schultzberg e Ankargren, 2023).
Vale a pena corrigir isso, porque a abordagem do fornecedor funciona de maneira oposta. A documentação da Optimizely diz para "pular o trabalho pré-experimental, como calcular o tamanho da amostra antes de iniciar o experimento" (Suporte OptimizelyO controle de erros é real e a pesquisa subjacente é sólida (Johari e outros, Inferência sempre válidaO que a formulação omite é a conta de luz. O Statsig, que implementa a mesma família de métodos, afirma isso claramente: "Se você precisa de uma medição precisa do tamanho do efeito, espere pelo poder estatístico total estimado pelo seu cálculo de poder pré-experimento" (Documentação StatsigInterprete "não é necessário tamanho de amostra" como uma afirmação sobre validade, nunca sobre eficiência.
O método, passo a passo
Exemplo prático: uma loja de roupas testando o processo de finalização da compra. Taxa de conversão da sessão inicial: 2.4%, efeito desejado: +10% relativo (2.64%), alfa bilateral: 5%, poder estatístico: 80%, aproximadamente 5,000 sessões por dia.
1. Escolha o tamanho como se você nunca fosse espiar.
O dimensionamento em duas proporções proporciona 66,943 sessões por braço, totalizando 133,886. Isso não é um custo indireto opcional só porque você planeja parar mais cedo; é a base sobre a qual o cronograma é construído.
2. Escolha quantos looks e quando.
De três a cinco looks capturam quase todos os benefícios disponíveis; além disso, cada look adicional aumenta o custo máximo da amostra com pouco retorno. Alinhe os looks a semanas inteirasIsso ocorre porque a composição do dia da semana é uma grande fonte de variação no tráfego de varejo. Com 5,000 sessões por dia, quatro visualizações semanais resultam em cerca de 140,000 sessões, cobrindo o máximo planejado.
3. Escolha uma função de gastos e anote os limites.
Uma função de gasto alfa decide quanto do orçamento de 5% cada look pode consumir, em função da quantidade de dados acumulados (Penn State STAT 509As duas opções clássicas, com quatro looks igualmente espaçados e alfa bilateral de 0.05:
| olhar | Proporção da amostra planejada | O'Brien-Fleming: pare se p | Pocock: pare se p |
|---|---|---|---|
| 1 (fim da semana 1) | 25% | 0.0001 | 0.0179 |
| 2 (fim da semana 2) | 50% | 0.0055 | 0.0179 |
| 3 (fim da semana 3) | 75% | 0.0216 | 0.0184 |
| 4 (fim da semana 4) | 100% | 0.0411 | 0.0188 |
| Amostra máxima versus teste fixo | + 3% | + 20% |
Esses valores foram calculados com as funções de gasto de Lan-DeMets e correspondem à caracterização publicada: O'Brien-Fleming usa "limiares muito rigorosos no início, mas o limiar da análise final está próximo do típico p < 0.05", enquanto Pocock mantém um limiar quase constante em torno de p < 0.016 (Ciolino, Kaizer e Bonner, 2023).
O'Brien-Fleming é um seguro barato: quase nunca é acionado na primeira tentativa, custa cerca de 3% a mais em termos de amostra máxima e seu limite final é pouco mais rigoroso que 0.05. Pocock interrompe o teste muito mais cedo, mas cobra 20% a mais em tráfego. Para métricas relacionadas à receita, use O'Brien-Fleming por padrão.
4. Escreva a regra no ticket antes do lançamento.
Uma frase, visível para todos que podem interromper o teste: "Analisamos o final das semanas 1 a 4, declaramos um vencedor apenas se o valor p bicaudal para [métrica primária] estiver abaixo do limite dessa análise e, caso contrário, continuamos até a semana 4." Uma regra que existe apenas na cabeça de alguém não é uma regra.
5. Defina também o limite da futilidade.
A maioria das equipes implementa apenas limites de eficácia, interrompendo os vencedores precocemente e permitindo que os perdedores completem o período, o que é inverso em termos de custo de oportunidade. Um limite de futilidade não vinculativo — interromper o experimento quando uma vitória significativa se torna implausível — é onde se encontra a maior parte da economia de tempo. Com quatro observações de O'Brien-Fleming, a amostra esperada sob um efeito verdadeiro cai para aproximadamente 83% da exigência de horizonte fixo.
6. Não reporte a estimativa pontual inicial como o tamanho do efeito.
Um teste que para cedo para Porque O valor observado para a elevação foi excepcionalmente grande, portanto a estimativa está enviesada para cima devido à construção. Use-a para a decisão sobre o navio, não para a previsão de receita. Statsig: "Decisões antecipadas geralmente produzem estimativas de elevação com baixa precisão e alta incerteza."
Lista de verificação de pré-lançamento
- Uma métrica principal, declarada por escrito antes do lançamento.
- Data máxima de amostra e data final do calendário definidas.
- Parece ter números e horários fixos, alinhados a semanas inteiras.
- Função de gasto escolhida, limites definidos no bilhete.
- Regra da futilidade definida, não apenas a regra da eficácia.
- A SRM verificou cada detalhe, antes o valor p é lido
- As métricas do guarda-corpo são monitoradas separadamente, fora da regra de parada.
- Todos que podem impedir o teste sabem que olhares não planejados são proibidos.
Ajustando isso para a Turquia e a região.
A Turquia registrou 5.94 bilhões de transações de comércio eletrônico em 2025, num volume de 4.57 trilhões de liras turcas, segundo o Relatório de Perspectivas do Comércio Eletrônico do Ministério do Comércio, apresentado em maio de 2026 (Daily Sabah, 12 de maio de 2026É um mercado grande, composto principalmente por lojas de médio porte, então janelas de quatro semanas são rotineiras — tempo suficiente para coincidir com uma campanha.
O período de descontos do final de novembro, conhecido localmente como Efsane Cuma, e o evento 11.11 que o antecede, mudam que O importante não é apenas a quantidade de visitantes no site, mas sim a quantidade em si. Visitantes atraídos por descontos convertem por uma lógica diferente, portanto, um cronograma que cruza o limite de uma campanha não mede a mesma população. Nossa regra: termine antes da campanha ou comece depois dela. Se um teste precisar ser executado durante uma campanha, trate a semana da campanha como um estrato à parte e não tome nenhuma decisão de interrupção durante esse período.
Um segundo ajuste se aplica em toda a UE e aos banners de consentimento alinhados com a KVKK na Turquia: se as análises forem condicionadas ao consentimento, parte do seu tráfego não será monitorada. Tamanho e programação em observado sessões, ou cada look chega mais tarde do que o previsto no calendário.
[SÃO NECESSÁRIAS DADOS INTERNOS: mediana de sessões diárias e mediana da duração real dos testes entre os clientes de comércio eletrônico da Switas, para substituir o valor ilustrativo de 5,000 sessões/dia por uma distribuição real.]
Onde isso falha
- Mudança na composição. Os métodos sequenciais pressupõem que o fluxo de entrada seja intercambiável ao longo do tempo. Uma mudança em uma campanha ou em mídia paga quebra essa premissa, e interromper os bloqueios iniciais em qualquer semana que fosse incomum.
- Novidade e primazia. A leitura da primeira semana mede a reação, não o comportamento estabelecido. Se a mudança for visível para os clientes que retornam, não estabeleça nenhum limite de eficácia para a primeira avaliação.
- Métricas de cauda pesada. A receita por sessão é dominada por pedidos grandes e raros, e as aproximações normais são pouco confiáveis em amostras intermediárias pequenas. Pare na taxa de conversão e leia a receita em paralelo, ou aplique a técnica de winsorização e indique isso.
- Múltiplas métricas. Esses limites controlam o erro para um Métrica. Cinco métricas com cinco regras de parada e nenhuma correção adicional te levam de volta ao ponto de partida.
- Instrumentação avariada. Um teste sequencial pode facilmente ultrapassar os limites de dados corrompidos. Ele não substitui uma verificação SRM.
- Não abordado aqui: Regras de parada Bayesianas, bandidos multiarmados e redução de variância como o CUPED. Cada um interage com a parada precoce de maneiras que exigem tratamento separado.
Perguntas frequentes
Marque esta seção com o esquema FAQPage.
Posso simplesmente usar um valor p mais rigoroso em vez de uma função de gastos?
Sim, se você definir o número de looks com antecedência e forem poucos. A tabela de Miller fornece o limite. É mais conservador do que o gasto alfa, então você paga mais pela amostra do que o necessário, mas não precisa de novas ferramentas.
O teste sequencial significa que posso ignorar o cálculo do tamanho da amostra?
Não. A validade é preservada sem uma estimativa do tamanho da amostra; o poder estatístico, não. Tanto as simulações de Georgiev quanto as do Spotify mostram o mesmo padrão: quando é possível estimar o tamanho da amostra, um delineamento sequencial em grupo predomina.
E se eu estiver observando uma regressão em vez de uma melhora?
Isso é monitoramento de segurança, não teste de hipóteses. Observe as métricas de segurança e erros continuamente sob uma regra separada e menos rigorosa, e deixe a regra principal de parada intacta. Eliminar uma variante que está prejudicando os usuários não precisa de cerimônia.
Os testes Bayesianos são imunes à espiada?
Não. Interromper a decisão no momento em que a probabilidade posterior cruza um limiar altera as características de funcionamento da regra de decisão, a menos que a regra tenha sido projetada para parada opcional. A probabilidade a priori altera a forma do problema, não a sua existência.
O'Brien-Fleming ou Pocock?
O'Brien-Fleming em quase todos os casos comerciais. Escolha Pocock apenas quando uma resposta inicial tiver valor concreto, você puder absorver aproximadamente 20% a mais da amostra máxima e alguém estiver pronto para enviar o resultado na primeira semana.
Posso adicionar um look que não planejei?
Com uma função de gasto alfa, sim, desde que a decisão de verificar não seja motivada pelos dados que você está prestes a ver. Adicionar uma verificação porque o painel "pareceu próximo" depende do momento dos dados e invalida a garantia.
Trabalhe conosco nisso
Se você realiza experimentos em uma plataforma de e-commerce turca ou regional e a regra de parada atual é "verificar todas as manhãs", nós a reconstruiremos com você: dimensionamento, cronograma de verificação, limites, regra de futilidade e controle de acesso SRM, tudo incorporado ao seu modelo de experimento para que o próximo teste o herde. Fale com a Switas sobre o seu programa de experimentação..
Fontes
- Evan Miller, Como NÃO executar um teste A/B
- Johari, Pekelis, Walsh e Koomen, Inferência sempre válida: monitoramento contínuo de testes A/B; publicado em Pesquisa Operacional 70 (3), 2022
- Georgi Georgiev, Comparação do poder estatístico de testes sequenciais, Analytics-Toolkit, novembro de 2022 (atualizado em março de 2023)
- Schultzberg e Ankargren, Escolhendo uma estrutura de teste sequencial, Engenharia do Spotify, março de 2023
- De forma otimizada, Visão geral dos métodos de análise estatística
- Statsig, Teste Sequencial Frequentista
- Ciolino, Kaizer e Bonner, Orientações sobre métodos de análise interina em ensaios clínicos, J Clin Transl Sci 7(1):e124, 2023
- Penn State STAT 509, abordagem da Função de Gastos Alfa
- rpact, Definindo os limites sequenciais do grupo
- O volume de comércio eletrônico da Turquia deverá aumentar mais de 52% em 2025., Daily Sabah, 12 de maio de 2026, reportando o Relatório de Perspectivas do Comércio Eletrônico do Ministério do Comércio
