Çağdaş Polat · · 5 min de leitura
O teste A/B é um método fundamental na otimização de sites e aplicativos, que permite às empresas comparar duas versões de uma página ou de um app para determinar qual delas tem melhor desempenho. Entender as principais métricas e a terminologia envolvidas nos testes A/B é essencial para interpretar os resultados com precisão. Neste artigo, examinamos as métricas e os termos mais importantes dos testes A/B, incluindo valor-p, intervalo de confiança, testes unilaterais e bilaterais, escore z, poder observado, variante, grupo de controle, receita incremental, taxa de conversão e cálculo bayesiano.
Principais métricas e terminologia dos testes A/B
1. Variante
Variante é cada uma das versões testadas em um teste A/B. Normalmente, a versão existente é chamada de controle, e a nova versão é a variante.
Exemplo: em um teste A/B de uma landing page, a Versão A (a página atual) é o controle e a Versão B (o novo design) é a variante.
2. Grupo de controle
O grupo de controle é o conjunto de usuários expostos à versão original (controle) em um teste A/B. Ele serve como linha de base para comparar o desempenho da variante.
Exemplo: se 10.000 usuários visitam um site, 5.000 podem ver a página de controle (grupo de controle) e 5.000 podem ver a página da variante.

3. Receita incremental
Receita incremental é a receita adicional gerada em decorrência das mudanças feitas durante um teste A/B. Ela ajuda a avaliar o impacto financeiro do teste.
Exemplo: se a página da variante aumenta o valor médio dos pedidos em US$ 5 e 1.000 compras adicionais são realizadas, a receita incremental é de US$ 5.000.

4. Taxa de conversão
A taxa de conversão é a porcentagem de usuários que realizam uma ação desejada, como fazer uma compra ou assinar uma newsletter, em relação ao total de visitantes.
Exemplo: se 100 de 1.000 visitantes fazem uma compra, a taxa de conversão é de 10%.
5. Valor-p
O valor-p mede a probabilidade de que a diferença observada entre duas variações tenha ocorrido por acaso. Um valor-p menor (normalmente abaixo de 0,05) indica que a diferença observada é estatisticamente significativa.
Exemplo: suponha que um teste A/B compare duas versões de uma landing page. A Versão A tem taxa de conversão de 5% e a Versão B, de 7%. Se o valor-p for 0,03, há 3% de chance de que a diferença observada tenha ocorrido por acaso, o que indica uma diferença significativa entre as duas versões.

6. Intervalo de confiança
O intervalo de confiança fornece uma faixa dentro da qual se espera que o verdadeiro tamanho do efeito esteja, com um determinado nível de confiança (geralmente 95%). Ele ajuda a avaliar a confiabilidade dos resultados do teste.
Exemplo: no mesmo teste A/B, o intervalo de confiança de 95% para a diferença nas taxas de conversão pode ser [1%, 3%]. Isso significa que temos 95% de confiança de que a verdadeira diferença nas taxas de conversão está entre 1% e 3%.
7. Testes unilaterais e bilaterais
Um teste unilateral avalia a direção do efeito (por exemplo, se a Versão B é melhor que a Versão A), enquanto um teste bilateral avalia se existe qualquer diferença, em qualquer direção.
Exemplo de teste unilateral: verifica se a taxa de conversão da Versão B é maior que a da Versão A.
Exemplo de teste bilateral: verifica se existe alguma diferença entre as taxas de conversão da Versão A e da Versão B, independentemente da direção.

8. Escore z
O escore z mede a quantos desvios-padrão um elemento está da média. Nos testes A/B, é usado para determinar a significância da diferença observada entre duas variações. Níveis de confiança comuns e seus escores z equivalentes:
- Intervalo de confiança de 95%
- Escore z bilateral: 1,96
- Escore z unilateral: 1,65
- Intervalo de confiança de 99%
- Escore z bilateral: 2,58
- Escore z unilateral: 2,33
- Intervalo de confiança de 90%
- Escore z bilateral: 1,64
- Escore z unilateral: 1,28
Exemplo: se o escore z da diferença nas taxas de conversão entre a Versão A e a Versão B for 2,5, isso indica que a diferença está a 2,5 desvios-padrão da média, sugerindo uma diferença estatisticamente significativa.
9. Poder observado
O poder observado refere-se à probabilidade de o teste rejeitar corretamente a hipótese nula quando existe um efeito real. Um poder observado maior indica maior probabilidade de detectar uma diferença real.
Exemplo: em um teste A/B com poder observado de 0,8 (80%), há 80% de chance de detectar uma diferença real entre as variações, caso ela exista.

10. Cálculo bayesiano
O cálculo bayesiano consiste em usar o teorema de Bayes para atualizar a estimativa de probabilidade de uma hipótese à medida que novas evidências são obtidas. Nos testes A/B, ele oferece uma estrutura probabilística para tomar decisões com base nos dados.
Exemplo: com métodos bayesianos, é possível determinar a probabilidade de uma variante ser melhor que o controle, dados os resultados observados, em vez de depender apenas dos valores-p tradicionais.

11. Estatística frequentista
A estatística frequentista é uma abordagem tradicional de teste de hipóteses que se concentra na frequência ou na proporção dos dados. Ela depende de conjuntos de dados fixos e não incorpora conhecimento prévio nem distribuições de probabilidade.
Exemplo: em uma abordagem frequentista dos testes A/B, você usaria valores-p e intervalos de confiança para determinar a significância dos resultados, sem incorporar probabilidades prévias.
Exemplos práticos
Exemplo 1: teste A/B em campanha de e-mail
Uma empresa quer testar dois assuntos de e-mail para ver qual gera maior taxa de abertura.
- Assunto A: taxa de abertura de 25%
- Assunto B: taxa de abertura de 28%
- Valor-p: 0,02 (indicando uma diferença significativa)
- Intervalo de confiança: [2%, 5%] (95% de confiança de que a verdadeira diferença nas taxas de abertura está entre 2% e 5%)
- Escore z: 2,33 (sugerindo uma diferença estatisticamente significativa)
- Poder observado: 0,85 (85% de chance de detectar uma diferença real)
Exemplo 2: teste A/B em landing page de um site
Um site de e-commerce testa dois designs de landing page para determinar qual leva a mais compras.
- Design A: taxa de conversão de 4%
- Design B: taxa de conversão de 5%
- Valor-p: 0,045 (indicando uma diferença significativa)
- Intervalo de confiança: [0,5%, 1,5%] (95% de confiança de que a verdadeira diferença nas taxas de conversão está entre 0,5% e 1,5%)
- Escore z: 2,01 (sugerindo uma diferença estatisticamente significativa)
- Poder observado: 0,78 (78% de chance de detectar uma diferença real)
O teste A/B é uma ferramenta poderosa para otimizar experiências digitais, e entender suas principais métricas e terminologia é fundamental para interpretá-lo com precisão. A Switas sabe conduzir testes A/B eficazes, permitindo que as empresas tomem decisões baseadas em dados para melhorar seu desempenho, e oferece insights confiáveis e acionáveis que impulsionam o crescimento e o sucesso.




