Teste A/B Bayesiano

O teste A/B Bayesiano é uma abordagem de análise experimental que indica a probabilidade de uma variante ser melhor que outra, considerando os dados observados e quaisquer informações prévias fornecidas. Ele se diferencia da abordagem frequentista, que indica o quão surpreendentes os dados seriam se a variante não tivesse efeito algum. A diferença prática reside no resultado: os métodos Bayesianos produzem afirmações como "há 93% de probabilidade de a variante B superar o controle, com uma perda esperada de 0.2% se escolhermos errado", que se aplicam diretamente às decisões de negócios.

O método funciona combinando uma distribuição a priori, que representa crenças sobre o efeito provável antes do teste, com os dados observados para produzir uma distribuição a posteriori de efeitos plausíveis. Essa distribuição a posteriori pode então ser consultada da maneira que a decisão exigir: a probabilidade de qualquer melhoria, a probabilidade de uma melhoria acima de um limite comercialmente significativo ou o custo esperado de uma decisão errada. Diversas plataformas de teste amplamente utilizadas adotaram a geração de relatórios Bayesianos como padrão exatamente por esse motivo, pois os resultados exigem menos interpretação antes que uma parte interessada possa agir com base neles.

A vantagem mais frequentemente citada é que os resultados Bayesianos são mais robustos ao monitoramento contínuo. Como a distribuição posterior é atualizada à medida que os dados chegam e não se baseia na suposição de uma amostra fixa, a análise repetida dos resultados não infla as taxas de erro da mesma forma que ocorre com os valores p frequentistas ingênuos. Isso é realmente útil em contextos comerciais, onde as partes interessadas consultam os painéis de controle independentemente do que o protocolo de análise diga. No entanto, isso não significa que se deva interromper um teste no momento em que um número parece bom: interromper o teste com base na métrica que está sendo monitorada ainda enviesa a estimativa do tamanho do efeito para cima, e testes curtos ainda deixam de detectar ciclos semanais e efeitos de novidade, independentemente da estrutura estatística.

A distribuição a priori é tanto o ponto forte do método quanto sua fonte mais comum de controvérsia. Uma distribuição a priori pouco informativa, que é o que a maioria das plataformas usa por padrão, tem pouca influência no resultado depois que uma quantidade razoável de dados é acumulada. Uma distribuição a priori forte, derivada do histórico de experimentos anteriores da própria organização, pode melhorar significativamente as estimativas, principalmente para testes com baixo tráfego, ao trazer efeitos observados implausivelmente grandes de volta para a faixa que a experiência considera realista. Mas uma distribuição a priori escolhida para sustentar uma conclusão desejada é indefensável, e é por isso que as distribuições a priori devem ser documentadas e acordadas antes do lançamento de um teste, em vez de serem selecionadas durante a análise.

Nenhuma das duas estruturas consegue salvar um experimento mal projetado. A análise Bayesiana de um teste com randomização falha, erro de rastreamento, discrepância na proporção da amostra ou uma métrica que não reflete o valor para o negócio produzirá uma resposta precisa e confiável para a pergunta errada. A escolha entre as estruturas é uma questão de relato e teoria da decisão; a qualidade do projeto experimental subjacente é o que determina se a resposta tem algum valor.

O resultado que torna a estrutura realmente útil em contextos comerciais é a perda esperada, às vezes chamada de risco. Em vez de perguntar se uma variante é melhor, ela pergunta quanto seria perdido, em média, ao escolher a variante caso ela se mostre pior. Uma regra de decisão expressa como "implementar a implementação quando a perda esperada cair abaixo de um limite que a empresa considera insignificante" se aplica diretamente à forma como as decisões comerciais são tomadas na prática, já que ninguém exige certeza sobre uma mudança cujo efeito negativo é trivial. Ela também lida com a situação comum em que duas variantes têm desempenho quase idêntico: a probabilidade de uma ser melhor pode ficar em torno de 50% indefinidamente, enquanto a perda esperada é mínima em qualquer direção, o que indica corretamente que a escolha não importa e a equipe deve parar de investir recursos nela.

Em um projeto, a seleção da estrutura geralmente é definida no início e depois deixada como está, pois a mudança no meio do programa torna os resultados históricos incomparáveis. Serviço CRO A equipe geralmente padroniza a abordagem que melhor se adapta à plataforma existente do cliente e à sua cultura analítica, define os limites de decisão antecipadamente e concentra seus esforços no planejamento e na priorização de experimentos, em vez de na filosofia estatística. Quando uma organização está construindo sua própria estrutura de métricas, a escolha geralmente é feita em conjunto com a arquitetura de relatórios mais ampla gerenciada pela [nome da empresa/organização]. análise de dados função, para que os resultados dos experimentos e a inteligência de negócios compartilhem uma linguagem consistente para a incerteza.