Switas문의하기

A/B 테스트 지표와 용어 이해하기

Çağdaş Polat · · 읽는 데 3분

A/B 테스트는 웹사이트와 애플리케이션을 최적화하는 데 사용되는 핵심 방법으로, 기업이 웹페이지나 앱의 두 가지 버전을 비교하여 어느 쪽이 더 나은 성과를 내는지 판단할 수 있게 해줍니다. 결과를 정확하게 해석하려면 A/B 테스트와 관련된 핵심 지표와 용어를 이해하는 것이 필수적입니다. 이 글에서는 p-값, 신뢰구간, 단측 검정과 양측 검정, z-점수, 관측 검정력, 베리언트, 대조군, 증분 매출, 전환율, 베이지안 계산을 포함한 주요 A/B 테스트 지표와 용어를 살펴보겠습니다.

주요 A/B 테스트 지표와 용어

1. 베리언트(Variant)

베리언트는 A/B 테스트에서 테스트 중인 버전 중 하나를 가리킵니다. 일반적으로 기존 버전을 대조군(컨트롤)이라 하고, 새로운 버전을 베리언트라고 합니다.

예시: 랜딩 페이지 A/B 테스트에서 버전 A(현재 페이지)는 대조군이고, 버전 B(새 디자인)는 베리언트입니다.

2. 대조군

대조군은 A/B 테스트에서 원래 버전(컨트롤)에 노출되는 사용자 집단입니다. 베리언트의 성과를 비교하는 기준선 역할을 합니다.

예시: 웹사이트에 10,000명의 사용자가 방문한다면 5,000명은 대조 페이지(대조군)를, 나머지 5,000명은 베리언트 페이지를 볼 수 있습니다.

 

Incremental-revenue.png
출처: https://getrecast.com/incrementality/

 

3. 증분 매출

증분 매출은 A/B 테스트 중 적용한 변경의 결과로 발생한 추가 매출을 말합니다. 테스트가 재무적으로 미치는 영향을 평가하는 데 도움이 됩니다.

예시: 베리언트 페이지가 평균 주문 금액을 5달러 높이고 1,000건의 추가 구매가 발생했다면 증분 매출은 5,000달러입니다.

 

65a7d2b7e323ce3c628e0eeb_conversion-rate-formula.png

 

4. 전환율

전환율은 전체 방문자 중에서 구매나 뉴스레터 가입과 같이 목표로 하는 행동을 완료한 사용자의 비율입니다.

예시: 방문자 1,000명 중 100명이 구매했다면 전환율은 10%입니다.

5. p-값

p-값은 두 버전 간에 관찰된 차이가 우연히 발생했을 확률을 나타냅니다. p-값이 낮을수록(일반적으로 0.05 미만) 관찰된 차이가 통계적으로 유의하다는 것을 의미합니다.

예시: A/B 테스트에서 랜딩 페이지의 두 버전을 비교한다고 가정해 보겠습니다. 버전 A의 전환율은 5%, 버전 B의 전환율은 7%입니다. p-값이 0.03이라면 관찰된 차이가 우연히 발생했을 확률이 3%라는 뜻이며, 두 버전 사이에 유의한 차이가 있음을 나타냅니다.

 

confidence-interval-formula.jpg

 

6. 신뢰구간

신뢰구간은 일정한 신뢰 수준(보통 95%)에서 실제 효과 크기가 속할 것으로 기대되는 범위를 제공합니다. 테스트 결과의 신뢰성을 평가하는 데 도움이 됩니다.

예시: 같은 A/B 테스트에서 전환율 차이의 95% 신뢰구간이 [1%, 3%]일 수 있습니다. 이는 전환율의 실제 차이가 1%에서 3% 사이에 있다고 95% 신뢰할 수 있다는 의미입니다.

7. 단측 검정과 양측 검정

단측 검정은 효과의 방향(예: 버전 B가 버전 A보다 나은지)을 평가하는 반면, 양측 검정은 어느 방향이든 차이가 있는지를 평가합니다.

단측 검정 예시: 버전 B의 전환율이 버전 A보다 높은지 검정합니다.
양측 검정 예시: 방향과 관계없이 버전 A와 버전 B의 전환율에 차이가 있는지 검정합니다.

 

1_FCAkTCjZtmuADgbSNwYudA.jpg

 

8. z-점수

z-점수는 어떤 값이 평균에서 표준편차 몇 개만큼 떨어져 있는지를 나타냅니다. A/B 테스트에서는 두 버전 사이에 관찰된 차이의 유의성을 판단하는 데 사용됩니다. 일반적인 신뢰 수준과 그에 해당하는 z-점수는 다음과 같습니다.

  • 신뢰구간 95%
    • 양측 z-점수: 1.96
    • 단측 z-점수: 1.65
  • 신뢰구간 99%
    • 양측 z-점수: 2.58
    • 단측 z-점수: 2.33
  • 신뢰구간 90%
    • 양측 z-점수: 1.64
    • 단측 z-점수: 1.28

예시: 버전 A와 버전 B의 전환율 차이에 대한 z-점수가 2.5라면, 그 차이가 평균에서 표준편차 2.5개만큼 떨어져 있다는 뜻이며 통계적으로 유의한 차이가 있음을 시사합니다.

9. 관측 검정력

관측 검정력은 실제 효과가 있을 때 테스트가 귀무가설을 올바르게 기각할 확률을 뜻합니다. 관측 검정력이 높을수록 실제 차이를 감지할 가능성이 높습니다.

예시: 관측 검정력이 0.8(80%)인 A/B 테스트에서는 버전 간에 실제 차이가 존재할 경우 이를 감지할 확률이 80%입니다.

 

bayesian-formula.png
출처: https://www.freecodecamp.org/news/bayes-rule-explained/

 

10. 베이지안 계산

베이지안 계산은 추가 증거를 얻을 때마다 베이즈 정리를 사용해 가설에 대한 확률 추정치를 갱신하는 방식입니다. A/B 테스트에서는 데이터를 바탕으로 의사결정을 내릴 수 있는 확률적 프레임워크를 제공합니다.

예시: 베이지안 방식을 사용하면 기존 p-값에만 의존하지 않고, 관찰된 데이터를 바탕으로 한 베리언트가 대조군보다 나을 확률을 구할 수 있습니다.

 

ba93f062-2975-4281-8923-4374ed171a9a_1920x1080.png
출처: https://thepalindrome.org/p/is-probability-frequentist-or-bayesian

 

11. 빈도주의 통계

빈도주의 통계는 데이터의 빈도나 비율에 초점을 맞추는 전통적인 가설 검정 접근법입니다. 고정된 데이터 집합에 의존하며 사전 지식이나 확률 분포를 반영하지 않습니다.

예시: A/B 테스트에 대한 빈도주의 접근에서는 사전 확률을 반영하지 않고 p-값과 신뢰구간으로 테스트 결과의 유의성을 판단합니다.

실전 사례

사례 1: 이메일 캠페인 A/B 테스트

한 기업이 두 가지 이메일 제목 중 어느 쪽이 더 높은 오픈율을 기록하는지 테스트하려고 합니다.

  • 제목 A: 오픈율 25%
  • 제목 B: 오픈율 28%
  • p-값: 0.02(유의한 차이를 의미)
  • 신뢰구간: [2%, 5%](오픈율의 실제 차이가 2%에서 5% 사이라는 데 95% 신뢰)
  • z-점수: 2.33(통계적으로 유의한 차이를 시사)
  • 관측 검정력: 0.85(실제 차이를 감지할 확률 85%)
사례 2: 웹사이트 랜딩 페이지 A/B 테스트

한 이커머스 웹사이트가 두 가지 랜딩 페이지 디자인 중 어느 쪽이 더 많은 구매로 이어지는지 테스트합니다.

  • 디자인 A: 전환율 4%
  • 디자인 B: 전환율 5%
  • p-값: 0.045(유의한 차이를 의미)
  • 신뢰구간: [0.5%, 1.5%](전환율의 실제 차이가 0.5%에서 1.5% 사이라는 데 95% 신뢰)
  • z-점수: 2.01(통계적으로 유의한 차이를 시사)
  • 관측 검정력: 0.78(실제 차이를 감지할 확률 78%)

A/B 테스트는 디지털 경험을 최적화하는 강력한 도구이며, 정확한 해석을 위해서는 핵심 지표와 용어를 이해하는 것이 중요합니다. Switas는 효과적인 A/B 테스트를 수행하는 방법을 알고 있어, 기업이 데이터 기반 의사결정으로 성과를 높일 수 있도록 하고 성장과 성공을 이끄는 신뢰할 수 있고 실행 가능한 인사이트를 제공합니다.

관련 기사

모든 기사 →

함께 만들어 봅시다, 다음 프로젝트를.

문의하기