A maioria dos testes A/B falha antes mesmo de um único visitante os visualizar. Não porque a hipótese fosse fraca ou o design fosse ruim, mas porque ninguém verificou se o teste seria capaz de gerar uma resposta.
O padrão é familiar. Uma equipe lança uma variante, observa o painel de controle e, após dez dias, vê a versão concorrente subir 6% com um valor p de 0.14. Alguém diz: "Está em tendência positiva, vamos esperar mais uma semana". Passa-se mais uma semana. Agora, a taxa de crescimento é de 4%, com um valor p de 0.09. O teste é considerado um "sucesso direcional" e lançado, ou é descartado por ser inconclusivo. De qualquer forma, três semanas de tráfego não geraram nenhum conhecimento — e esse resultado foi totalmente determinado antes do lançamento por quatro números que ninguém verificou.
Este artigo trata desses quatro números.
As quatro entradas
O tamanho da amostra não é uma questão de julgamento. Ele depende de quatro parâmetros, e todo programa de experimentação sério os define antes do lançamento, e não depois.
| Entrada | O que significa | Valor típico |
|---|---|---|
| Taxa de conversão de base | A taxa atual da métrica que você está testando, medida na página e para o público exatos em que o teste será executado. | Independentemente do que seus dados digam. |
| Efeito mínimo detectável (EMD) | A menor alteração que você deseja que o teste seja capaz de detectar. | 5–20% relativo, dependendo do tráfego |
| Nível de significância (α) | Sua tolerância para declarar um vencedor que não é real. | 0.05 |
| Poder estatístico (1−β) | Sua probabilidade de detectar um efeito que is tua escola | 0.80 |
Forneça esses quatro valores a uma calculadora e ela retornará o número de visitantes necessário. por variante. Nossos agentes de calculadora de teste A/B gratuita Faz exatamente isso, e leva cerca de trinta segundos — que é o objetivo. O motivo pelo qual as equipes pulam essa etapa não é porque ela seja difícil. É porque a resposta costuma ser indesejável.
MDE é o input que todo mundo erra.
O efeito mínimo detectável é o parâmetro que causa o maior dano, pois seu nome sugere algo que ele não é.
MDE é não O aumento esperado. Não é uma previsão, uma meta ou uma estimativa. É um limite mínimo de detecção: o menor efeito real que seu teste tem 80% de chance de detectar. Defina o MDE para 5% e você estará dizendo: "se a melhoria real for menor que 5%, aceito que este teste provavelmente não a detectará."
Seguem-se duas consequências, e ambas são importantes.
Um teste só pode responder à pergunta para a qual foi elaborado. Se você dimensionar o teste para um efeito de magnitude mínima (MDE) de 20% e o efeito real for de 7%, o teste provavelmente retornará "nenhuma diferença significativa". Isso não é evidência de que a variante não faz nada. É evidência de que seu teste não conseguiu detectar efeitos dessa magnitude — uma afirmação completamente diferente, e que as equipes frequentemente interpretam erroneamente como "nós testamos, não funcionou".
Os termos MDE relativo e absoluto não são intercambiáveis. Uma base de referência de 2.5% com 10% relativo MDE significa detectar uma mudança para 2.75% — um absoluto Uma diferença de 0.25 pontos percentuais. Digite 10 em um campo de calculadora esperando obter pontos percentuais absolutos e você acabou de solicitar a detecção de uma variação de 2.5% para 12.5%, e a ferramenta responderá prontamente que 400 visitantes serão suficientes. Verifique qual convenção sua calculadora utiliza. Essa simples confusão invalida mais planos de teste do que qualquer outro erro que observamos.
Um exemplo prático
Um cliente de e-commerce quer testar um novo layout para a página de detalhes do produto. A taxa de conversão inicial nessa página é de 2.5%. Eles querem detectar uma melhoria relativa de 10% — chegando a 2.75%.
Com α = 0.05 e potência de 80%, a exigência é aproximadamente de 64,000 visitantes por varianteou cerca de 128,000 no total.
Essa página recebe 40,000 visitantes por mês. Portanto, o teste precisa de um pouco mais de três meses para atingir o tamanho da amostra para o qual foi projetado.
É esse número que muda a conversa. Não porque três meses seja impossível, mas porque agora é uma decisão tomada abertamente — antes do lançamento, com as vantagens e desvantagens visíveis — em vez de uma decepção gradual descoberta no 21º dia.
Agora altere uma entrada. Mantenha a mesma linha de base, mas ajuste o tamanho para um aumento relativo de 20% em vez de 10%:
| MDE (relativo) | Diferença absoluta | Visitantes por variante | Tempo a 40 mil/mês |
|---|---|---|---|
| 5% | 0.125 pp | ~ 256,000 | ~ 13 meses |
| 10% | 0.25 pp | ~ 64,000 | ~ 3.2 meses |
| 20% | 0.5 pp | ~ 16,800 | ~ 25 dias |
| 30% | 0.75 pp | ~ 7,700 | ~ 12 dias |
Reduzir o MDE pela metade quadruplica aproximadamente o tamanho da amostra. Essa relação não é uma peculiaridade desses números — o tamanho da amostra é proporcional ao inverso do quadrado do tamanho do efeito. É o aspecto mais útil a ser internalizado sobre o planejamento de experimentos, pois indica onde está a alavancagem: Aumentar o tamanho da mudança é muito mais barato do que atrair mais tráfego.
Uma variante tímida que move um botão dois pixels precisa de uma amostra que nenhum site de médio porte consegue fornecer. Uma variante que reestrutura a página tem uma chance. É por isso que programas de teste cautelosos fracassam — não porque as ideias estejam erradas, mas porque são pequenas demais para serem medidas.
Onde o trânsito realmente está
A outra alavanca oculta na aritmética é a taxa basal. Os requisitos de tamanho da amostra diminuem drasticamente à medida que a taxa basal aumenta.
Utilize a mesma taxa de entrega estimada (MDE) relativa de 10%, mas aplique-a na etapa de envio do checkout, onde 40% das entregas prosseguem para o pagamento:
- Linha de base 2.5% → Aproximadamente 64,000 por variante.
- Linha de base 40% → Aproximadamente 2,400 por variante.
Mesmo MDE, mesma confiança, mesma potência. Vinte e seis vezes menos tráfego.
É claro que essa página recebe muito menos visitantes do que a página de detalhes do produto (PDP). Mas a demanda diminui mais rápido do que o tráfego, e é por isso que os testes de funil profundo são frequentemente os únicos testes que um site com tráfego médio consegue realmente concluir. Se a conversão do seu site for de 2%, testar a página inicial exige um ano inteiro de trabalho, enquanto testar a página de finalização da compra leva apenas duas semanas.
Orientação prática: quando a calculadora retornar um número impossível, antes de ampliar o MDE (Erro Médio de Detecção), verifique se existe uma etapa posterior no funil onde a mesma hipótese possa ser testada com base em um valor mais alto.
O que realmente dá errado quando você pula essa etapa?
Existem dois modos de falha possíveis, sendo o segundo muito menos conhecido que o primeiro.
Você está perdendo melhorias reais. Um teste com poder estatístico insuficiente retorna "nenhuma diferença significativa" para uma mudança que realmente funciona. A equipe conclui que a ideia era ruim e abandona uma direção que teria sido lucrativa. Esse é o fracasso que todos conhecem, e é o menos custoso dos dois.
Seus vencedores estão inflacionados. Este é o fator que corrompe silenciosamente os números de um programa. Em um teste com poder estatístico insuficiente, a única maneira de um resultado ultrapassar o limiar de significância é se um ruído aleatório o empurrar suficientemente para longe — o que significa que os efeitos que você do Os valores declarados como significativos são sistematicamente maiores do que a verdade. Quanto menor o poder estatístico, maior o exagero.
Portanto, um programa com recursos insuficientes não apenas deixa passar oportunidades. Ele gera um registro de testes repleto de vencedores com aumentos superestimados, que são então multiplicados pelo tráfego para prever receitas que nunca se concretizam. Seis meses depois, alguém pergunta por que a soma dos vencedores não aparece no número final. Esta geralmente é a resposta.
Não é possível corrigir isso na análise. É preciso prevenir esse problema na fase de projeto.
Por variante, não no total.
O resultado da calculadora é o requisito. para cada braço do teste. Duas variantes significam o dobro do número. Isso parece óbvio e é constantemente mal interpretado, geralmente de forma otimista.
Variantes múltiplas agravam o problema duas vezes. Um teste A/B/C/D precisa de quatro vezes mais amostra do que um teste com um único componente. e Três comparações simultâneas com o grupo de controle aumentam a probabilidade de pelo menos um falso positivo muito além dos seus 5% nominais. Corrigir esse fator eleva ainda mais o requisito.
Para a maioria dos sites, a regra prática é: a menos que você tenha tráfego de sobra, execute dois testes. Um teste de quatro vias em uma página que mal consegue executar um teste de duas vias não quadruplica o aprendizado. Na verdade, não quadruplica o aprendizado, apenas o proporciona, porém, de forma mais lenta.
A duração é uma restrição separada.
Atingir o tamanho de amostra desejado é necessário, mas não suficiente.
Um teste que atinge sua meta em quatro dias analisou quatro dias de comportamento. O tráfego durante a semana e nos fins de semana converte de forma diferente. Os ciclos de pagamento são importantes no e-commerce. Campanhas pagas lançadas no meio do teste alteram o perfil do público-alvo. Novos designs também geram um efeito de novidade que se dissipa — o engajamento inicial com um layout desconhecido não é uma estimativa confiável do desempenho em regime permanente.
Execute o experimento por pelo menos uma semana completa, e de preferência duas, independentemente do que o cálculo do tamanho da amostra permita. A restrição mais longa — tamanho da amostra ou ciclo de negócios — é a que prevalece. E defina a data de término com antecedência, em vez de verificar todas as manhãs e parar quando os números parecerem bons, o que é uma maneira distinta e muito eficaz de gerar falsos positivos.
Quando o número é impossível
Às vezes, a resposta honesta é que o teste não pode ser realizado. Essa é uma informação útil, e existem cinco respostas razoáveis.
Teste uma mudança maior. A relação quadrática faz desta a opção de maior impacto, por uma ampla margem. Redesenhe o fluxo em vez do botão.
Adote uma métrica de referência mais elevada. Teste comparando a adição ao carrinho ou a finalização da compra com a conversão em compra. O tamanho do efeito é medido em uma base maior e a necessidade de amostra diminui. Aceite que você está medindo uma variável substituta e valide a relação com a receita separadamente.
Teste mais adiante no funil, como acima.
Agrupe páginas semelhantes. Executar um único teste em todas as páginas de categoria, em vez de em uma única categoria, multiplica o tráfego disponível, desde que as páginas sejam suficientemente semelhantes em termos de comportamento para que o agrupamento seja justificável.
Pare de fazer testes e comece a pesquisar. Se um site não consegue viabilizar um experimento, o teste A/B não é a ferramenta adequada. Testes de usabilidade, gravações de sessões e análises heurísticas identificarão os problemas de forma mais rápida e econômica. A validação quantitativa vem depois, quando as mudanças forem significativas o suficiente para serem mensuráveis. Não há problema algum nisso — realizar testes com poder estatístico insuficiente apenas para ter uma sensação de rigor é pior do que não realizá-los.
Lista de verificação pré-voo
Antes de qualquer lançamento de teste:
- [ ] A linha de base foi medida na página e com o público-alvo reais em que o teste será executado, não em todo o site.
- [ ] MDE declarou explicitamente, por escrito, com especificação relativa ou absoluta
- [ ] Tamanho da amostra calculado por variante e multiplicado pelo número de braços
- [ ] Duração necessária comparada com o tráfego disponível — e a resposta aceita antes do lançamento
- [ ] Data de término fixada com antecedência
- [ ] No mínimo um ciclo de negócios completo, independentemente do que os cálculos da amostra indicarem.
- [ ] A unidade de randomização corresponde à unidade de análise (atribuição ao nível do visitante, métricas ao nível do visitante)
- [ ] A divisão de tráfego foi verificada nas primeiras horas — um teste de 50/50 que resultou em 53/47 indica um problema de instrumentação, e os resultados são inutilizáveis até que ele seja encontrado.
Faça os cálculos antes de criar a variante.
Todo o cálculo leva meio minuto e altera o que você constrói. As equipes que dimensionam seus testes primeiro criam variantes mais ousadas, porque conseguem ver o custo das versões mais tímidas.
Insira sua taxa de conversão inicial, o efeito que deseja detectar e suas configurações de confiança e potência. Se o número retornado for maior que seu tráfego, isso não é motivo para lançar o teste — é o teste indicando que você precisa ajustar seu plano.
Perguntas frequentes
De quantos visitantes preciso para um teste A/B? Não existe um número universal. Depende da sua taxa de conversão inicial, do menor efeito que você deseja detectar e dos níveis de significância e poder estatístico escolhidos. Uma página com taxa de conversão de 2.5% precisa de aproximadamente 64,000 visitantes por variante para detectar uma melhoria relativa de 10%; uma etapa de finalização de compra com taxa de conversão de 40% precisa de cerca de 2,400 visitantes para o mesmo efeito relativo.
Qual seria um bom efeito mínimo detectável? O valor mínimo que seu tráfego suporta dentro de um prazo razoável. Comece com o tráfego disponível e uma duração alvo de duas a quatro semanas e, em seguida, calcule o MDE (Valor Mínimo de Evento) que melhor se encaixa. Se esse MDE for maior do que a mudança que você está testando poderia plausivelmente produzir, redesenhe o teste.
Posso interromper um teste precocemente se estiver claramente vencendo? Não com um teste padrão de horizonte fixo. Verificar repetidamente e parar no primeiro resultado significativo aumenta a taxa de falsos positivos para muito mais de 5%. Se você precisa da capacidade de parar cedo, use um método desenvolvido para isso — teste sequencial ou uma estrutura Bayesiana — e decida isso antes do lançamento, não durante.
E se meu teste atingir significância estatística antes de o tamanho da amostra ser alcançado? Trate isso com suspeita e continue correndo até o final planejado. A significância precoce em uma janela de baixa potência é exatamente o padrão que produz vencedores inflados e não reproduzíveis.
80% de potência é suficiente? É o padrão convencional e um ponto de partida razoável, mas significa aceitar uma probabilidade de 20% de não detectar um efeito real. Para decisões de alto risco — como a reformulação de um caixa ou uma alteração de preços — uma precisão de 90% justifica o aumento da amostra. Para mudanças de baixo custo e reversíveis, 80% é suficiente.
Não tem certeza se seu programa de testes está produzindo respostas reais?
Se o seu registro de testes estiver cheio de pequenas vitórias que nunca aparecem nos números principais, o problema geralmente está antes da análise. Nós revisamos programas de experimentação e indicamos claramente onde o projeto está falhando.
