Çağdaş Polat · · 읽는 데 3분
A/B 테스트는 웹사이트와 애플리케이션을 최적화하는 데 사용되는 핵심 방법으로, 기업이 웹페이지나 앱의 두 가지 버전을 비교하여 어느 쪽이 더 나은 성과를 내는지 판단할 수 있게 해줍니다. 결과를 정확하게 해석하려면 A/B 테스트와 관련된 핵심 지표와 용어를 이해하는 것이 필수적입니다. 이 글에서는 p-값, 신뢰구간, 단측 검정과 양측 검정, z-점수, 관측 검정력, 베리언트, 대조군, 증분 매출, 전환율, 베이지안 계산을 포함한 주요 A/B 테스트 지표와 용어를 살펴보겠습니다.
주요 A/B 테스트 지표와 용어
1. 베리언트(Variant)
베리언트는 A/B 테스트에서 테스트 중인 버전 중 하나를 가리킵니다. 일반적으로 기존 버전을 대조군(컨트롤)이라 하고, 새로운 버전을 베리언트라고 합니다.
예시: 랜딩 페이지 A/B 테스트에서 버전 A(현재 페이지)는 대조군이고, 버전 B(새 디자인)는 베리언트입니다.
2. 대조군
대조군은 A/B 테스트에서 원래 버전(컨트롤)에 노출되는 사용자 집단입니다. 베리언트의 성과를 비교하는 기준선 역할을 합니다.
예시: 웹사이트에 10,000명의 사용자가 방문한다면 5,000명은 대조 페이지(대조군)를, 나머지 5,000명은 베리언트 페이지를 볼 수 있습니다.

3. 증분 매출
증분 매출은 A/B 테스트 중 적용한 변경의 결과로 발생한 추가 매출을 말합니다. 테스트가 재무적으로 미치는 영향을 평가하는 데 도움이 됩니다.
예시: 베리언트 페이지가 평균 주문 금액을 5달러 높이고 1,000건의 추가 구매가 발생했다면 증분 매출은 5,000달러입니다.

4. 전환율
전환율은 전체 방문자 중에서 구매나 뉴스레터 가입과 같이 목표로 하는 행동을 완료한 사용자의 비율입니다.
예시: 방문자 1,000명 중 100명이 구매했다면 전환율은 10%입니다.
5. p-값
p-값은 두 버전 간에 관찰된 차이가 우연히 발생했을 확률을 나타냅니다. p-값이 낮을수록(일반적으로 0.05 미만) 관찰된 차이가 통계적으로 유의하다는 것을 의미합니다.
예시: A/B 테스트에서 랜딩 페이지의 두 버전을 비교한다고 가정해 보겠습니다. 버전 A의 전환율은 5%, 버전 B의 전환율은 7%입니다. p-값이 0.03이라면 관찰된 차이가 우연히 발생했을 확률이 3%라는 뜻이며, 두 버전 사이에 유의한 차이가 있음을 나타냅니다.

6. 신뢰구간
신뢰구간은 일정한 신뢰 수준(보통 95%)에서 실제 효과 크기가 속할 것으로 기대되는 범위를 제공합니다. 테스트 결과의 신뢰성을 평가하는 데 도움이 됩니다.
예시: 같은 A/B 테스트에서 전환율 차이의 95% 신뢰구간이 [1%, 3%]일 수 있습니다. 이는 전환율의 실제 차이가 1%에서 3% 사이에 있다고 95% 신뢰할 수 있다는 의미입니다.
7. 단측 검정과 양측 검정
단측 검정은 효과의 방향(예: 버전 B가 버전 A보다 나은지)을 평가하는 반면, 양측 검정은 어느 방향이든 차이가 있는지를 평가합니다.
단측 검정 예시: 버전 B의 전환율이 버전 A보다 높은지 검정합니다.
양측 검정 예시: 방향과 관계없이 버전 A와 버전 B의 전환율에 차이가 있는지 검정합니다.

8. z-점수
z-점수는 어떤 값이 평균에서 표준편차 몇 개만큼 떨어져 있는지를 나타냅니다. A/B 테스트에서는 두 버전 사이에 관찰된 차이의 유의성을 판단하는 데 사용됩니다. 일반적인 신뢰 수준과 그에 해당하는 z-점수는 다음과 같습니다.
- 신뢰구간 95%
- 양측 z-점수: 1.96
- 단측 z-점수: 1.65
- 신뢰구간 99%
- 양측 z-점수: 2.58
- 단측 z-점수: 2.33
- 신뢰구간 90%
- 양측 z-점수: 1.64
- 단측 z-점수: 1.28
예시: 버전 A와 버전 B의 전환율 차이에 대한 z-점수가 2.5라면, 그 차이가 평균에서 표준편차 2.5개만큼 떨어져 있다는 뜻이며 통계적으로 유의한 차이가 있음을 시사합니다.
9. 관측 검정력
관측 검정력은 실제 효과가 있을 때 테스트가 귀무가설을 올바르게 기각할 확률을 뜻합니다. 관측 검정력이 높을수록 실제 차이를 감지할 가능성이 높습니다.
예시: 관측 검정력이 0.8(80%)인 A/B 테스트에서는 버전 간에 실제 차이가 존재할 경우 이를 감지할 확률이 80%입니다.

10. 베이지안 계산
베이지안 계산은 추가 증거를 얻을 때마다 베이즈 정리를 사용해 가설에 대한 확률 추정치를 갱신하는 방식입니다. A/B 테스트에서는 데이터를 바탕으로 의사결정을 내릴 수 있는 확률적 프레임워크를 제공합니다.
예시: 베이지안 방식을 사용하면 기존 p-값에만 의존하지 않고, 관찰된 데이터를 바탕으로 한 베리언트가 대조군보다 나을 확률을 구할 수 있습니다.

11. 빈도주의 통계
빈도주의 통계는 데이터의 빈도나 비율에 초점을 맞추는 전통적인 가설 검정 접근법입니다. 고정된 데이터 집합에 의존하며 사전 지식이나 확률 분포를 반영하지 않습니다.
예시: A/B 테스트에 대한 빈도주의 접근에서는 사전 확률을 반영하지 않고 p-값과 신뢰구간으로 테스트 결과의 유의성을 판단합니다.
실전 사례
사례 1: 이메일 캠페인 A/B 테스트
한 기업이 두 가지 이메일 제목 중 어느 쪽이 더 높은 오픈율을 기록하는지 테스트하려고 합니다.
- 제목 A: 오픈율 25%
- 제목 B: 오픈율 28%
- p-값: 0.02(유의한 차이를 의미)
- 신뢰구간: [2%, 5%](오픈율의 실제 차이가 2%에서 5% 사이라는 데 95% 신뢰)
- z-점수: 2.33(통계적으로 유의한 차이를 시사)
- 관측 검정력: 0.85(실제 차이를 감지할 확률 85%)
사례 2: 웹사이트 랜딩 페이지 A/B 테스트
한 이커머스 웹사이트가 두 가지 랜딩 페이지 디자인 중 어느 쪽이 더 많은 구매로 이어지는지 테스트합니다.
- 디자인 A: 전환율 4%
- 디자인 B: 전환율 5%
- p-값: 0.045(유의한 차이를 의미)
- 신뢰구간: [0.5%, 1.5%](전환율의 실제 차이가 0.5%에서 1.5% 사이라는 데 95% 신뢰)
- z-점수: 2.01(통계적으로 유의한 차이를 시사)
- 관측 검정력: 0.78(실제 차이를 감지할 확률 78%)
A/B 테스트는 디지털 경험을 최적화하는 강력한 도구이며, 정확한 해석을 위해서는 핵심 지표와 용어를 이해하는 것이 중요합니다. Switas는 효과적인 A/B 테스트를 수행하는 방법을 알고 있어, 기업이 데이터 기반 의사결정으로 성과를 높일 수 있도록 하고 성장과 성공을 이끄는 신뢰할 수 있고 실행 가능한 인사이트를 제공합니다.




