O teste A/B é um método crucial usado na otimização de sites e aplicativos, permitindo que as empresas comparem duas versões de uma página da web ou aplicativo para determinar qual tem melhor desempenho. Compreender as principais métricas e terminologia envolvidas nos testes A/B é essencial para interpretar os resultados com precisão. Neste artigo, examinaremos importantes métricas e terminologia de testes A/B, incluindo valor p, intervalo de confiança, testes unilaterais e bilaterais, escore z, poder observado, variante, grupo de controle, receita incremental, taxa de conversão e cálculo bayesiano.
Principais métricas e terminologia de testes A/B
1 Variante
Uma variante refere-se a uma das versões que estão sendo testadas em um teste A/B. Normalmente, a versão existente é chamada de controle e a nova versão é chamada de variante.
Exemplo: Em um teste A/B de uma landing page, a Versão A (a página atual) é o controle e a Versão B (o novo design) é a variante.
2. Grupo de Controle
O grupo de controle é o grupo de usuários expostos à versão original (controle) em um teste A/B. Serve como base para comparar o desempenho da variante.
Exemplo: Se 10,000 usuários visitarem um site, 5,000 poderão ver a página de controle (grupo de controle) e 5,000 poderão ver a página variante.
3. Receita Incremental
A receita incremental refere-se à receita adicional gerada como resultado de alterações feitas durante um teste A/B. Ajuda a avaliar o impacto financeiro do teste.
Exemplo: Se a página da variante aumentar o valor médio do pedido em US$ 5 e 1,000 compras adicionais forem feitas, a receita incremental será de US$ 5,000.
4. Taxa de conversão
A taxa de conversão é a porcentagem de usuários que realizam uma ação desejada, como fazer uma compra ou se inscrever em uma newsletter, em relação ao número total de visitantes.
Exemplo: Se 100 em cada 1,000 visitantes fizerem uma compra, a taxa de conversão será de 10%.
5. Valor P
O valor p mede a probabilidade de que a diferença observada entre duas variações tenha ocorrido por acaso. Um valor p mais baixo (normalmente inferior a 0.05) indica que a diferença observada é estatisticamente significativa.
Exemplo: Suponha que um teste A/B compare duas versões de uma landing page. A versão A tem uma taxa de conversão de 5% e a versão B tem uma taxa de conversão de 7%. Se o valor p for 0.03, há 3% de chance de que a diferença observada tenha ocorrido por acaso, indicando diferença significativa entre as duas versões.
6. Intervalo de confiança
O intervalo de confiança fornece um intervalo dentro do qual se espera que o verdadeiro tamanho do efeito se encontre, com um certo nível de confiança (normalmente 95%). Ajuda a avaliar a confiabilidade dos resultados do teste.
Exemplo: No mesmo teste A/B, o intervalo de confiança de 95% para a diferença nas taxas de conversão pode ser [1%, 3%]. Isso significa que estamos 95% confiantes de que a verdadeira diferença nas taxas de conversão está entre 1% e 3%.
7. Testes unilaterais e bilaterais
Um teste unilateral avalia a direção do efeito (por exemplo, se a versão B é melhor que a versão A), enquanto um teste bilateral avalia se há alguma diferença em qualquer direção.
Exemplo de teste unilateral: Testa se a taxa de conversão da Versão B é maior que a da Versão A.
Exemplo de teste bilateral: Testa se há alguma diferença entre as taxas de conversão da Versão A e da Versão B, independentemente da direção.
8. Pontuação Z
A pontuação z mede quantos desvios padrão um elemento está da média. Nos testes A/B, é usado para determinar a significância da diferença observada entre duas variações. Níveis de confiança comuns e seus equivalentes de pontuação z:
- Intervalo de confiança 95%
- Pontuação Z bilateral: 1.96
- Pontuação Z unilateral: 1.65
- Intervalo de confiança 99%
- Pontuação Z bilateral: 2.58
- Pontuação Z unilateral: 2.33
- Intervalo de confiança 90%
- Pontuação Z bilateral: 1.64
- Pontuação Z unilateral: 1.28
Exemplo: Se a pontuação z para a diferença nas taxas de conversão entre a versão A e a versão B for 2.5, isso indica que a diferença está a 2.5 desvios padrão da média, sugerindo uma diferença estatisticamente significativa.
9. Poder observado
O poder observado refere-se à probabilidade de o teste rejeitar corretamente a hipótese nula quando há um efeito verdadeiro. Um poder observado mais alto indica uma maior probabilidade de detectar uma diferença verdadeira.
Exemplo: Em um teste A/B com poder observado de 0.8 (80%), há 80% de chance de detectar uma diferença verdadeira entre as variações, se existir.
10. Cálculo Bayesiano
O cálculo bayesiano envolve o uso do teorema de Bayes para atualizar a estimativa de probabilidade de uma hipótese à medida que evidências adicionais são adquiridas. Nos testes A/B, ele fornece uma estrutura probabilística para tomar decisões com base nos dados.
Exemplo: Usando métodos bayesianos, você pode determinar a probabilidade de uma variante ser melhor que o controle, dados os dados observados, em vez de confiar apenas nos valores p tradicionais.
11. Estatísticas Frequentistas
A estatística freqüentista é uma abordagem tradicional em testes de hipóteses que se concentra na frequência ou proporção dos dados. Baseia-se em conjuntos de dados fixos e não incorpora conhecimento prévio ou distribuições de probabilidade.
Exemplo: Em uma abordagem freqüentista para testes A/B, você usaria valores p e intervalos de confiança para determinar a significância dos resultados do teste, sem incorporar probabilidades anteriores.
Exemplos Práticos
Exemplo 1: teste A/B de campanha de e-mail
Uma empresa deseja testar duas linhas de assunto de e-mail para ver qual delas resulta em taxas de abertura mais altas.
- Linha de assunto A: 25% de taxa de abertura
- Linha de assunto B: 28% de taxa de abertura
- Valor P: 0.02 (indicando uma diferença significativa)
- Intervalo de confiança: [2%, 5%] (95% de confiança de que a verdadeira diferença nas taxas de abertura está entre 2% e 5%)
- Pontuação Z: 2.33 (sugerindo uma diferença estatisticamente significativa)
- Potência observada: 0.85 (85% de chance de detectar uma diferença verdadeira)
Exemplo 2: teste A/B da página de destino do site
Um site de comércio eletrônico testa dois designs de páginas de destino para determinar qual leva a mais compras.
- Projeto A: Taxa de conversão 4%
- Projeto B: Taxa de conversão 5%
- Valor P: 0.045 (indicando uma diferença significativa)
- Intervalo de confiança: [0.5%, 1.5%] (95% de confiança de que a verdadeira diferença nas taxas de conversão está entre 0.5% e 1.5%)
- Pontuação Z: 2.01 (sugerindo uma diferença estatisticamente significativa)
- Potência observada: 0.78 (78% de chance de detectar uma diferença verdadeira)
Teste A / B Exemplo: crie XNUMX textos de email > XNUMX pessoas na sua lista, XNUMX receberao XNUMX email e XNUMX receberão outro e veja qual email converteu mais é uma ferramenta poderosa para otimizar experiências digitais, e compreender suas principais métricas e terminologia é crucial para uma interpretação precisa. Switas sabe como conduzir de forma eficaz Testes A / B, garantindo que as empresas possam tomar decisões baseadas em dados para melhorar seu desempenho e fornecer insights confiáveis e acionáveis que impulsionam o crescimento e o sucesso.
