Seu programa reporta um vencedor aproximadamente uma vez por mês. Some doze vitórias e o relatório anual indica que a conversão deveria ser 18% maior do que no ano passado. O departamento financeiro analisa o demonstrativo de resultados e diz que não é. Geralmente, o relatório está errado.
Na plataforma de experimentação da Microsoft, apenas cerca de um terço das ideias testadas melhorou a métrica para a qual foram projetadas, e as que são lançadas são selecionadas justamente por terem uma boa aparência, e é aí que a aritmética começa a divergir (Kohavi e Longbotham, 2015Um grupo de validação é o instrumento mais barato que mede a programa em vez do teste individual.
Este guia destina-se a líderes de CRO e responsáveis pela análise de dados que realizam pelo menos um experimento por mês. Ao final, você será capaz de dimensionar um grupo de teste que realmente detecte o efeito do seu programa, escolher uma duração e um período de análise, e identificar as falhas que invalidam o resultado antes de apresentá-lo.
O que um grupo de resistência mede que a soma das vitórias não mede?
Um grupo de teste é uma parcela selecionada aleatoriamente de usuários que permanece com a experiência anterior à mudança, enquanto todos os outros recebem todas as melhorias lançadas. Após alguns meses, você compara os dois grupos. A diferença é o efeito cumulativo e ainda presente de tudo o que você lançou — não doze estimativas de curto prazo agrupadas.
A Netflix utiliza o mesmo instrumento, descrevendo os "testes A/B de retenção" como uma forma de "compreender os efeitos a longo prazo, testar novamente antigas hipóteses em membros mais recentes e medir o valor cumulativo" (Blog de Tecnologia da Netflix).
Por que a soma das vitórias nos testes superestima o que aconteceu?
Quatro mecanismos elevam a soma acima da verdade, e esses efeitos se intensificam:
- A maldição do vencedor. Você só lança variantes que ultrapassaram a significância estatística, portanto o conjunto lançado é enriquecido com ruído ascendente. Lee e Shen, do Airbnb, formalizaram esse viés de seleção e publicaram uma correção (KDD 2018).
- Decaimento da novidade e da primazia. Janelas curtas capturam reações à novidade. Em um exemplo do Microsoft News, um aumento inicial de 28% nos cliques em um novo botão desapareceu dia após dia dentro da janela do experimento (Sadeghi et al., 2022).
- Interação e retornos decrescentes. Duas vitórias testadas independentemente na mesma etapa do funil frequentemente não se somam; elas competem pelo mesmo usuário marginal.
- Análise de folga. A observação, a alternância de métricas e a geração de relatórios seletivos a cada mudança impulsionaram ainda mais o conjunto lançado (Eppo).
Nada disso significa que seus testes foram falsos. Significa apenas que a soma é um limite superior, não uma estimativa.
Meça o tamanho do suporte antes de construí-lo.
Esta é a etapa que quase todos pulam, e é onde a maioria dos testes de validação falha. Um teste de validação é um teste com dois braços com uma divisão deliberadamente desequilibrada, e a precisão é determinada pelo braço menor. O tamanho total da amostra necessário escala com 1 / (p × (1 − p)), Onde p é a parcela de teste que representa a exceção. Portanto, uma exceção de 1% precisa de aproximadamente 25 vezes mais tráfego do que um teste equilibrado para apresentar o mesmo efeito.
Número total de usuários necessários durante o período de teste, com uma taxa de conversão inicial de 2%, poder estatístico de 80% e significância bilateral de 5%:
| Ações de resistência | Os usuários precisavam detectar +5% relativo | Os usuários precisavam detectar +10% relativo |
|---|---|---|
| 1% | 15,500,000 | 3,900,000 |
| 5% | 3,250,000 | 814,000 |
| 10% | 1,720,000 | 432,000 |
| 20% | 971,000 | 245,000 |
| 50% | 630,000 | 161,000 |
Agora compare isso com os padrões do fornecedor. A Statsig sugere "uma baixa porcentagem de resistência, na casa de um dígito, como 1% a 2%" (Estatísticas); O Optimizely emite um aviso acima de 5% (Optimizely); O GrowthBook relata que as equipes do Facebook e da X estão operando com 5% ou menos de crescimento (Livro de Crescimento).
Esses números são corretos para seus autores, mas incorretos para a maioria dos sites de mercado médio. Um site regional de e-commerce com 400,000 usuários mensais acumula 1.2 milhão em um trimestre. Com uma taxa de retenção de 1%, levaria aproximadamente uma década. Com 10%, ainda fica aquém de um aumento de 5% nas leituras. Com 20%, detecta um aumento de 5% em um trimestre e de 10% em cerca de um mês. Selecione a porcentagem com base no seu tráfego, não na porcentagem padrão do fornecedor. Se a resposta honesta for 20%, essa troca deve ser apresentada à empresa de forma clara: um quinto dos usuários espera um trimestre por novos recursos, em troca de saber se o trimestre valeu a pena.
Selecione a duração e a janela de análise.
A Statsig recomenda um período de três a seis meses antes de liberar uma operação de manutenção do ativo; a GrowthBook recomenda um período ativo de meio mês a um trimestre, seguido de um período de análise de duas a quatro semanas para que os efeitos se estabilizem e as janelas de análise retrospectiva sejam preenchidas.
Nossa regra prática: o período ativo é o maior entre o que sua tabela de dimensionamento exige e um ciclo comercial completo. Nesta região, isso significa abranger pelo menos um pico de campanha e um mês de baixa atividade, portanto, o resultado não é determinado apenas pelo dia 11/11. Em seguida, congele os indicadores e aguarde o término da janela de análise antes que alguém abra o painel.
Construa: sete coisas para fazer certo
- Aleatorizar em um Identificador persistente de usuário ou conta no servidorUm cookie que um banner de consentimento bloqueia ou que um usuário apaga deixa as pessoas sem acesso aos dados.
- Atribua o teste de resistência. uma vez, logo de cara, antes dos lançamentos que você deseja medir. Um grupo de teste criado posteriormente não é um grupo de teste.
- Encaminhe todos os vencedores lançados pelo mesmo sistema de flags, então "holdout = off" realmente significa a experiência antiga. Usuários retidos recebem os valores padrão de gate e layer, como na implementação do Statsig.
- Mantenha um explícito lista de exclusãoCorreções de segurança, adequação às normas legais e de acessibilidade, e alterações de preços serão aplicadas a todos. Documente cada exclusão com a respectiva data.
- Escolha de dois a quatro componentes duráveis. Métricas (receita por usuário, retenção, frequência de pedidos) mais sua taxa de conversão principal. Não adicione uma quinta.
- Mantenha um registro datado de cada lançamento de alteração realizada durante o período de teste, com o respectivo aumento de desempenho medido. É com esses dados que você compara o teste de validação.
- Informe à equipe de engenharia que as flags devem permanecer no código-fonte até o fechamento da janela de análise. Os sistemas que resistem à implementação falham com mais frequência devido à remoção prematura das flags do que por qualquer problema estatístico.
Leia o resultado honestamente.
Calcule a razão entre a elevação medida no dispositivo de validação e a elevação total no seu registrador de lançamento. Nossos limites de trabalho — julgamentos baseados em experiência, não em benchmarks publicados:
| Elevação de retenção ÷ elevação total | Leitura | Ação |
|---|---|---|
| ≥ 0.6, o intervalo exclui o zero | O programa é, em linhas gerais, honesto. | Reporte o número de casos de retenção externamente e mantenha as previsões atualizadas. |
| 0.3 - 0.6 | Encolhimento normal devido à seleção e interação | Aplique a proporção observada como um desconto em futuros casos de negócios. |
| < 0.3, ou o intervalo inclui zero | A soma não é prova | Pare de citar o ganho de elevação somado; reexamine os critérios de vitória e as regras de parada. |
| estimativa pontual negativa | Algo enviado está custando dinheiro. | Realizar testes reversos dos maiores lançamentos, um de cada vez, em ordem inversa. |
Uma ressalva regional sobre as equipes alternativas que buscam a primeira colocação. Se você planeja ignorar a situação atual e comparar este trimestre com o do ano passado, observe que a inflação anual de preços ao consumidor na Turquia foi de 31.51% em agosto de 2026 (Dados da TÜİK, publicados em 3 de setembro de 2026.A receita por usuário em liras não é comparável entre períodos nessa taxa, e deflacioná-la adiciona suas próprias suposições. A randomização simultânea contorna esse problema: ambos os grupos operam na mesma economia, no mesmo dia.
[DADOS INTERNOS NECESSÁRIOS: um exemplo de cliente Switas — duração do programa, escala de tráfego, ganho de teste somado versus ganho medido pelo grupo de validação e a porcentagem de validação utilizada.]
Seis maneiras pelas quais um resistente se rende silenciosamente
- Contaminação. Dispositivos compartilhados, sessões encerradas e redefinições de identificadores movem usuários entre os braços do sistema. Meça a sobreposição de usuários; acima de aproximadamente 2%, a estimativa não é confiável.
- Vazamento silencioso. Uma alteração enviada fora do sistema de sinalização (uma regra de CDN, uma edição de CMS, um novo modelo) também chega ao servidor de teste e reduz a diferença para perto de zero.
- Expansão gradual da exclusão. Cada decisão do tipo "este tem que ir para todos" remove um lançamento da sua análise. Dez dessas decisões e você não estará analisando nada.
- Incompatibilidade na proporção da amostra. A divisão se desvia da proporção pretendida. Verifique semanalmente; um teste de resistência com SRM é tão inválido quanto qualquer outro teste com SRM.
- Liberação prematura. Os períodos de espera globais nativos do Optimizely não podem ser pausados, apenas encerrados. Considere isso como regra: encerrar antes do prazo significa perder a janela de espera.
- Com desempenho insuficiente desde o primeiro dia. A falha mais comum. Um resultado nulo em um teste de validação cruzada de 2% não diz nada sobre o seu programa, mas sim sobre o dimensionamento da amostra.
Onde esse método falha
Um teste de validação cruzada fornece a magnitude do efeito combinado, não qual lançamento o produziu. A atribuição ainda precisa de testes individuais. Ela não consegue mensurar nada que precise ser distribuído para todos, então o trabalho de conformidade fica fora de seu escopo. É uma abordagem inadequada quando os mesmos usuários não retornam dentro do período analisado, e não diz nada sobre a marca ou o impacto offline entre as diferentes versões do produto. Abaixo de aproximadamente 100,000 usuários mensais, não há participação de mercado que seja simultaneamente detectável e defensável; nessa escala, leituras cuidadosamente controladas de antes e depois, juntamente com validação qualitativa, são a alternativa mais honesta, embora suas limitações sejam explicitadas.
Perguntas frequentes
Qual deve ser o tamanho de um grupo de resistência?
Suficientemente grande para detectar o efeito cumulativo esperado, o que é um cálculo e não uma convenção. Com uma base de referência de 2% e uma meta relativa de +5%, um grupo de teste de 5% precisa de cerca de 3.25 milhões de usuários, enquanto um grupo de teste de 20% precisa de cerca de 971,000.
Por quanto tempo deve durar um período de resistência?
Os fornecedores sugerem um período ativo de três a seis meses, além de uma janela de análise de duas a quatro semanas. Acrescente-se a restrição de que essa janela abranja pelo menos um pico de campanha e um mês normal, para que um único evento de vendas não determine o resultado.
Por que meu levantamento no período de validação cruzada é menor que a soma das minhas vitórias no período de teste?
Esse é o resultado esperado, não um erro. A maldição do vencedor, a perda de novidade, a interação entre as mudanças e a folga na análise inflacionam a soma. O número obtido com a validação cruzada é o que está mais próximo da realidade.
Posso criar um ambiente de teste após já ter lançado o produto?
Não para esses lançamentos — todos já os receberam. Um período de teste só mede as alterações bloqueadas a partir da data de início. Você ainda pode iniciar um hoje para os próximos dois trimestres.
Restringir o acesso dos usuários prejudica a receita?
Ligeiramente, se os seus lançamentos realmente funcionarem, esse custo é limitado pela parcela de teste multiplicada pelo aumento real. Se não funcionarem, o teste não custa nada e evita que você precise repeti-lo.
E se o resultado do teste de validação for nulo?
Verifique primeiro a potência em relação à sua tabela de dimensionamento e, em seguida, a faixa de crossover e a fuga de corrente. Um resultado genuinamente plano e com potência adequada significa que dois quartos do material enviado não alteraram a métrica: caro aprender, mais caro ainda não aprender.
Próxima etapa
Se você realiza experimentos e não consegue determinar o valor de um ano de resultados positivos, faça um teste comparativo com seu próprio tráfego esta semana — ou peça para que nós o dimensionemos, criemos e analisemos como parte de um projeto. engajamento de CRO.
Fontes
- Kohavi & Longbotham, "Experimentos controlados online e testes A/B" (2015)
- Lee & Shen (Airbnb), "A Maldição do Vencedor", KDD 2018
- Sadeghi et al. (Microsoft), "Novidade e Primazia", Technometrics, 2022
- Blog de Tecnologia da Netflix, "Aplicações de Inferência Causal na Netflix"
- Documentos Statsig, "Resistentes"
- GrowthBook, "Resistentes no GrowthBook"
- Suporte da Optimizely, "Resistências globais"
- Eppo, "O todo é menor que a soma das partes"
- Diretoria de Estratégia e Orçamento — TÜİK CPI, agosto de 2026
