SwitasFale conosco

Entendendo as métricas e a terminologia dos testes A/B

Çağdaş Polat · · 5 min de leitura

O teste A/B é um método fundamental na otimização de sites e aplicativos, que permite às empresas comparar duas versões de uma página ou de um app para determinar qual delas tem melhor desempenho. Entender as principais métricas e a terminologia envolvidas nos testes A/B é essencial para interpretar os resultados com precisão. Neste artigo, examinamos as métricas e os termos mais importantes dos testes A/B, incluindo valor-p, intervalo de confiança, testes unilaterais e bilaterais, escore z, poder observado, variante, grupo de controle, receita incremental, taxa de conversão e cálculo bayesiano.

Principais métricas e terminologia dos testes A/B

1. Variante

Variante é cada uma das versões testadas em um teste A/B. Normalmente, a versão existente é chamada de controle, e a nova versão é a variante.

Exemplo: em um teste A/B de uma landing page, a Versão A (a página atual) é o controle e a Versão B (o novo design) é a variante.

2. Grupo de controle

O grupo de controle é o conjunto de usuários expostos à versão original (controle) em um teste A/B. Ele serve como linha de base para comparar o desempenho da variante.

Exemplo: se 10.000 usuários visitam um site, 5.000 podem ver a página de controle (grupo de controle) e 5.000 podem ver a página da variante.

 

Incremental-revenue.png
Fonte: https://getrecast.com/incrementality/

 

3. Receita incremental

Receita incremental é a receita adicional gerada em decorrência das mudanças feitas durante um teste A/B. Ela ajuda a avaliar o impacto financeiro do teste.

Exemplo: se a página da variante aumenta o valor médio dos pedidos em US$ 5 e 1.000 compras adicionais são realizadas, a receita incremental é de US$ 5.000.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. Taxa de conversão

A taxa de conversão é a porcentagem de usuários que realizam uma ação desejada, como fazer uma compra ou assinar uma newsletter, em relação ao total de visitantes.

Exemplo: se 100 de 1.000 visitantes fazem uma compra, a taxa de conversão é de 10%.

5. Valor-p

O valor-p mede a probabilidade de que a diferença observada entre duas variações tenha ocorrido por acaso. Um valor-p menor (normalmente abaixo de 0,05) indica que a diferença observada é estatisticamente significativa.

Exemplo: suponha que um teste A/B compare duas versões de uma landing page. A Versão A tem taxa de conversão de 5% e a Versão B, de 7%. Se o valor-p for 0,03, há 3% de chance de que a diferença observada tenha ocorrido por acaso, o que indica uma diferença significativa entre as duas versões.

 

confidence-interval-formula.jpg

 

6. Intervalo de confiança

O intervalo de confiança fornece uma faixa dentro da qual se espera que o verdadeiro tamanho do efeito esteja, com um determinado nível de confiança (geralmente 95%). Ele ajuda a avaliar a confiabilidade dos resultados do teste.

Exemplo: no mesmo teste A/B, o intervalo de confiança de 95% para a diferença nas taxas de conversão pode ser [1%, 3%]. Isso significa que temos 95% de confiança de que a verdadeira diferença nas taxas de conversão está entre 1% e 3%.

7. Testes unilaterais e bilaterais

Um teste unilateral avalia a direção do efeito (por exemplo, se a Versão B é melhor que a Versão A), enquanto um teste bilateral avalia se existe qualquer diferença, em qualquer direção.

Exemplo de teste unilateral: verifica se a taxa de conversão da Versão B é maior que a da Versão A.
Exemplo de teste bilateral: verifica se existe alguma diferença entre as taxas de conversão da Versão A e da Versão B, independentemente da direção.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. Escore z

O escore z mede a quantos desvios-padrão um elemento está da média. Nos testes A/B, é usado para determinar a significância da diferença observada entre duas variações. Níveis de confiança comuns e seus escores z equivalentes:

  • Intervalo de confiança de 95%
    • Escore z bilateral: 1,96
    • Escore z unilateral: 1,65
  • Intervalo de confiança de 99%
    • Escore z bilateral: 2,58
    • Escore z unilateral: 2,33
  • Intervalo de confiança de 90%
    • Escore z bilateral: 1,64
    • Escore z unilateral: 1,28

Exemplo: se o escore z da diferença nas taxas de conversão entre a Versão A e a Versão B for 2,5, isso indica que a diferença está a 2,5 desvios-padrão da média, sugerindo uma diferença estatisticamente significativa.

9. Poder observado

O poder observado refere-se à probabilidade de o teste rejeitar corretamente a hipótese nula quando existe um efeito real. Um poder observado maior indica maior probabilidade de detectar uma diferença real.

Exemplo: em um teste A/B com poder observado de 0,8 (80%), há 80% de chance de detectar uma diferença real entre as variações, caso ela exista.

 

bayesian-formula.png
Fonte: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. Cálculo bayesiano

O cálculo bayesiano consiste em usar o teorema de Bayes para atualizar a estimativa de probabilidade de uma hipótese à medida que novas evidências são obtidas. Nos testes A/B, ele oferece uma estrutura probabilística para tomar decisões com base nos dados.

Exemplo: com métodos bayesianos, é possível determinar a probabilidade de uma variante ser melhor que o controle, dados os resultados observados, em vez de depender apenas dos valores-p tradicionais.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
Fonte: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. Estatística frequentista

A estatística frequentista é uma abordagem tradicional de teste de hipóteses que se concentra na frequência ou na proporção dos dados. Ela depende de conjuntos de dados fixos e não incorpora conhecimento prévio nem distribuições de probabilidade.

Exemplo: em uma abordagem frequentista dos testes A/B, você usaria valores-p e intervalos de confiança para determinar a significância dos resultados, sem incorporar probabilidades prévias.

Exemplos práticos

Exemplo 1: teste A/B em campanha de e-mail

Uma empresa quer testar dois assuntos de e-mail para ver qual gera maior taxa de abertura.

  • Assunto A: taxa de abertura de 25%
  • Assunto B: taxa de abertura de 28%
  • Valor-p: 0,02 (indicando uma diferença significativa)
  • Intervalo de confiança: [2%, 5%] (95% de confiança de que a verdadeira diferença nas taxas de abertura está entre 2% e 5%)
  • Escore z: 2,33 (sugerindo uma diferença estatisticamente significativa)
  • Poder observado: 0,85 (85% de chance de detectar uma diferença real)
Exemplo 2: teste A/B em landing page de um site

Um site de e-commerce testa dois designs de landing page para determinar qual leva a mais compras.

  • Design A: taxa de conversão de 4%
  • Design B: taxa de conversão de 5%
  • Valor-p: 0,045 (indicando uma diferença significativa)
  • Intervalo de confiança: [0,5%, 1,5%] (95% de confiança de que a verdadeira diferença nas taxas de conversão está entre 0,5% e 1,5%)
  • Escore z: 2,01 (sugerindo uma diferença estatisticamente significativa)
  • Poder observado: 0,78 (78% de chance de detectar uma diferença real)

O teste A/B é uma ferramenta poderosa para otimizar experiências digitais, e entender suas principais métricas e terminologia é fundamental para interpretá-lo com precisão. A Switas sabe conduzir testes A/B eficazes, permitindo que as empresas tomem decisões baseadas em dados para melhorar seu desempenho, e oferece insights confiáveis e acionáveis que impulsionam o crescimento e o sucesso.

Artigos relacionados

Todos os artigos →

Vamos construir o próximo.

Fale conosco