Valor P

O valor p é a probabilidade de observar um resultado pelo menos tão extremo quanto o medido, assumindo que a mudança testada não teve efeito real. É o número que fundamenta a maioria dos veredictos de significância em experimentos de conversão: um valor p abaixo de 0.05 é convencionalmente tratado como evidência contra a hipótese de ausência de efeito, e o resultado é considerado significativo ao nível de 95%.

A definição contém uma condicional que é rotineiramente omitida na prática, e omiti-la causa a maior parte da confusão em torno do conceito. Um valor p de 0.03 não significa que haja uma probabilidade de 3% de que a mudança não tenha tido efeito, nem que haja uma probabilidade de 97% de que a variante seja melhor. Ele descreve o quão surpreendentes os dados seriam em um mundo onde a mudança não tivesse efeito algum. Traduzir isso em uma probabilidade sobre a própria hipótese requer informações adicionais, especificamente o quão plausível a hipótese era antes do teste, que é precisamente o que os métodos Bayesianos explicitam e os valores p frequentistas omitem.

Isso é importante comercialmente porque altera a forma como os resultados devem ser ponderados. Um valor p de 0.04 em uma hipótese bem fundamentada, baseada no comportamento observado do usuário, é uma evidência muito mais forte do que o mesmo valor p em uma mudança arbitrária testada por capricho, mesmo que os dois números sejam idênticos. Programas que testam grandes volumes de ideias de baixa qualidade acumularão resultados significativos aproximadamente na taxa que o limite implica, um em vinte por puro acaso, e depois terão dificuldade em entender por que seu impacto comercial agregado não corresponde à soma dos sucessos relatados.

O próprio limiar de 0.05 não tem base científica; é uma convenção herdada das práticas estatísticas do início do século XX e adotada integralmente pela indústria de otimização. Tratá-lo como uma linha divisória rígida incentiva um tipo específico de raciocínio falho, em que um valor p de 0.049 é considerado um sucesso e 0.051 um fracasso, quando os dois resultados são praticamente idênticos. Uma prática melhor é apresentar o valor p juntamente com a magnitude do efeito e o intervalo de confiança, permitindo que a decisão reflita o quadro completo, incluindo o custo da mudança e as consequências de um erro.

Diversas práticas comuns inflacionam os valores p de maneiras que são invisíveis no relatório final. Verificar repetidamente os resultados e interromper a análise quando o limite é ultrapassado aumenta drasticamente a taxa real de falsos positivos. Testar muitas métricas e relatar apenas aquela que atingiu significância estatística produz o mesmo efeito. Segmentar os dados após visualizar os totais é o mesmo erro, porém em uma escala maior. Existem métodos de correção para comparações múltiplas e projetos de teste sequenciais para monitoramento contínuo, mas a proteção mais confiável é um plano de análise pré-registrado que define a métrica principal, os segmentos e a regra de interrupção antes da chegada de quaisquer dados.

Analisar a distribuição dos valores p ao longo do histórico de um programa é um diagnóstico revelador que poucas equipes realizam. Se os experimentos fossem conduzidos e analisados ​​corretamente, e se a maioria das ideias testadas não tivesse efeito real, os valores p em todo o portfólio estariam distribuídos de forma aproximadamente uniforme, com cerca de um em cada vinte ficando abaixo do limite convencional. Uma distribuição fortemente concentrada logo abaixo do limite é um forte indicador de que as regras de interrupção são guiadas pelos números em vez do planejamento, já que os testes interrompidos no momento em que cruzam uma linha se acumulam exatamente nessa linha. Revisar um ano de experimentos passados ​​dessa maneira leva algumas horas e frequentemente explica uma discrepância que intrigava uma empresa há muito mais tempo, ou seja, por que um portfólio de sucessos relatados não impactou as métricas que a liderança realmente acompanha.

Para uma consultoria, a contribuição útil geralmente não se resume a calcular corretamente os valores p, algo que todas as plataformas de teste fazem automaticamente, mas sim a orientar como eles são usados. Serviço CRO Normalmente, o engajamento estabelece um protocolo de análise por escrito, define métricas primárias e secundárias por experimento e relata os resultados em um formato consistente que inclui o tamanho do efeito e o intervalo, em vez de um veredicto isolado. Em organizações maiores, esse protocolo torna-se parte integrante da forma como o análise de dados A função certifica os resultados antes que sejam citados nos relatórios para a diretoria, o que impede que um portfólio de vitórias estatisticamente frágeis seja apresentado como uma previsão de receita confiável.