시작하기 전에 샘플 크기를 결정하세요: 대부분의 A/B 테스트에서 생략되는 계산입니다.

대부분의 A/B 테스트는 단 한 명의 방문자도 보기 전에 실패합니다. 가설이 부실하거나 설계가 잘못되어서가 아니라, 애초에 그 테스트가 어떤 해답을 도출할 수 있는지 아무도 파악하지 못했기 때문입니다.

이런 패턴은 낯익다. 한 팀이 변형 버전을 배포하고 대시보드를 관찰한 후, 10일 만에 경쟁 버전이 6% 상승하고 p값이 0.14인 것을 확인한다. 누군가 "긍정적인 추세이니 일주일 더 지켜보자"라고 말한다. 또 일주일이 지나고, 이제 상승률은 4%, p값은 0.09가 된다. 이 테스트는 "방향성 있는 성공"으로 간주되어 배포되거나, 결과가 불확실하다는 이유로 폐기된다. 어느 쪽이든, 3주간의 트래픽 분석은 아무런 의미도 남기지 못했고, 그 결과는 아무도 확인하지 않은 네 가지 수치에 의해 출시 전에 이미 결정되어 있었다.

이 기사는 바로 그 네 가지 숫자에 관한 것입니다.

네 가지 입력

표본 크기는 주관적인 판단의 문제가 아닙니다. 표본 크기는 네 가지 매개변수 중 하나이며, 모든 진지한 실험 프로그램은 시작 후가 아니라 시작 전에 이 매개변수들을 결정합니다.

계산기에 이 네 가지 값을 입력하면 필요한 방문자 수를 알려줍니다. 변형별를 이용할 수 있습니다. 무료 A/B 테스트 계산기 이 방법은 정확히 이 과정을 거치며, 약 30초밖에 걸리지 않습니다. 바로 그게 핵심입니다. 팀들이 이 단계를 건너뛰는 이유는 어려워서가 아닙니다. 그 결과가 종종 달갑지 않기 때문입니다.

MDE는 모두가 잘못 입력하는 부분입니다.

최소 감지 가능 효과는 이름과 실제가 다른 의미를 내포하고 있어 가장 큰 피해를 주는 매개변수입니다.

MDE는 지원 예상되는 상승폭입니다. 예측이나 목표, 전망이 아닙니다. 이는 탐지 가능성의 최소값, 즉 테스트에서 80% 확률로 포착할 수 있는 가장 작은 실제 효과입니다. MDE를 5%로 설정하면 "실제 개선 효과가 5%보다 작으면 이 테스트가 이를 놓칠 가능성이 높다는 것을 받아들인다"라고 말하는 것과 같습니다.

두 가지 결과가 따르며, 둘 다 중요합니다.

시험은 당신이 시험 범위를 정한 질문에만 답할 수 있습니다. 만약 20%의 최소 유의차(MDE)를 기준으로 표본 크기를 정했는데 실제 효과가 7%라면, 검정 결과는 대부분 "유의미한 차이 없음"으로 나올 것입니다. 이는 해당 변이체가 아무런 효과가 없다는 증거가 아닙니다. 단지 검정에서 그 정도의 효과를 확인할 수 없었다는 의미일 뿐입니다. 이는 완전히 다른 이야기이며, 많은 연구팀들이 흔히 "검토해 봤는데 효과가 없었다"라고 잘못 해석하는 경우가 많습니다.

상대적 MDE와 절대적 MDE는 서로 바꿔 쓸 수 없습니다. 기준치는 2.5%이고, 추가 비율은 10%입니다. 상대적인 MDE는 2.75%로의 변동을 감지하는 것을 의미합니다. 순수한 0.25%포인트 차이입니다. 절대 백분율을 입력해야 하는 계산기 입력란에 10을 입력하면 2.5%에서 12.5%로의 변화를 감지하도록 요청하는 것과 마찬가지이며, 계산기는 400명의 방문자면 충분하다고 알려줄 것입니다. 사용하는 계산기가 어떤 표기법을 사용하는지 확인하십시오. 이러한 사소한 혼동으로 인해 다른 어떤 오류보다 더 많은 테스트 계획이 무효화됩니다.

풀이 예시

한 전자상거래 고객이 새로운 제품 상세 페이지 레이아웃을 테스트하려고 합니다. 해당 페이지의 현재 전환율은 2.5%입니다. 고객은 전환율이 10% 향상되어 2.75%가 되는 것을 감지하고자 합니다.

유의수준 α = 0.05, 검정력 80%일 때, 요구 사항은 대략 다음과 같습니다. 변형별 방문자 수 64,000명또는 총 약 128,000명입니다.

해당 페이지는 한 달에 4만 명의 방문자가 있습니다. 따라서 테스트가 설계된 표본 크기에 도달하려면 3개월이 조금 넘게 걸립니다.

이 숫자가 대화의 흐름을 바꿉니다. 3개월이라는 기간이 불가능해서가 아니라, 이제는 21일째 되는 날에야 비로소 깨닫게 되는 실망감이 아니라, 출시 전에 장단점을 명확히 제시하며 공개적으로 결정을 내릴 수 있게 되었기 때문입니다.

이제 입력값 하나를 변경해 보겠습니다. 기준선은 그대로 유지하되, 상대적 상승률이 10%가 아닌 20%가 되도록 크기를 조정합니다.

MDE를 절반으로 줄이면 표본 크기가 대략 네 배로 늘어납니다. 이러한 관계는 이 수치들의 특이성이 아니라, 표본 크기는 효과 크기의 제곱에 반비례하여 증가한다는 사실입니다. 이는 실험 설계에서 가장 중요한 점 중 하나인데, 왜냐하면 어디에 영향력이 있는지 알려주기 때문입니다. 변화를 더 크게 만드는 것이 더 많은 트래픽을 유도하는 것보다 훨씬 저렴합니다.

버튼 위치를 2픽셀 옮기는 정도의 소극적인 변형은 중간 규모 웹사이트에서 제공할 수 없는 표본 크기가 필요합니다. 반면 페이지 구조를 완전히 바꾸는 변형은 성공 가능성이 있습니다. 신중한 테스트 프로그램이 정체되는 이유는 아이디어가 틀려서가 아니라 측정하기에 표본 크기가 너무 작기 때문입니다.

실제 교통량이 많은 곳은 어디일까요?

계산 속에 숨겨진 또 다른 변수는 기준선 비율입니다. 기준선 비율이 높아질수록 표본 크기 요구 사항은 급격히 감소합니다.

동일한 10% 상대적 MDE를 사용하되, 도착 상품의 40%가 결제 단계로 넘어가는 배송 단계에서 실행해 보겠습니다.

• 기준치 2.5% → 변형별로 약 64,000개
• 기준치 40% → 변형별로 약 2,400개

동일한 MDE, 동일한 신뢰도, 동일한 성능. 트래픽은 26배 감소.

물론 해당 페이지는 PDP(제품 상세 페이지)보다 방문자 수가 훨씬 적습니다. 하지만 요구 사항은 트래픽 감소 속도보다 훨씬 빠르게 줄어들기 때문에, 중간 정도의 트래픽을 가진 사이트에서 실제로 완료할 수 있는 테스트는 심층 퍼널 테스트뿐인 경우가 많습니다. 사이트 전체 전환율이 2%라면 홈페이지 테스트는 1년이라는 시간이 걸리고, 결제 페이지 테스트는 2주면 충분합니다.

실질적인 지침: 계산기가 불가능한 숫자를 반환할 때, 최소제곱추정치(MDE)를 넓히기 전에, 깔때기 아래쪽에서 더 높은 기준선을 사용하여 동일한 가설을 검증할 수 있는 단계가 있는지 확인하십시오.

그 부분을 건너뛰면 실제로 어떤 문제가 발생할까요?

여기에는 두 가지 고장 유형이 있는데, 두 번째 유형은 첫 번째 유형보다 훨씬 덜 알려져 있습니다.

당신은 실질적인 개선점을 놓치고 있습니다. 통계적 검정력이 부족한 테스트에서 실제로 효과가 있는 변경 사항에 대해 "유의미한 차이 없음"이라는 결과가 나옵니다. 팀은 아이디어가 잘못되었다고 결론짓고 수익성이 좋았을 방향을 포기합니다. 이는 모두가 알고 있는 실패 사례이며, 두 가지 실패 유형 중 비용이 덜 드는 유형입니다.

당첨자 수가 부풀려졌습니다. 이것이 바로 프로그램의 수치를 조용히 왜곡시키는 원인입니다. 검정력이 부족한 테스트에서 결과가 유의성 임계값을 넘으려면 무작위 노이즈가 발생하여 결과를 충분히 밀어내야 하는데, 이는 곧 여러분이 언급한 영향이 실제 결과에도 영향을 미치지 않는다는 것을 의미합니다. do 중요하다고 주장하는 것은 체계적으로 실제보다 과장되는 경향이 있다. 영향력이 낮을수록 과장은 더 심해진다.

성능이 부족한 프로그램은 단순히 무언가를 놓치는 데 그치지 않습니다. 과장된 매출 증가 효과를 가진 수많은 성공 사례를 테스트 로그에 생성하고, 이를 트래픽에 곱해 실제 매출을 예측하지만 결국 실현되지 않습니다. 6개월 후 누군가 왜 성공 사례의 합계가 최종 매출에 반영되지 않느냐고 묻습니다. 이때 대개 이런 결과가 나옵니다.

이 문제는 분석 단계에서 해결할 수 없습니다. 설계 단계에서 예방해야 합니다.

변형별 기준이며, 총합은 아닙니다.

계산기 출력값이 요구 사항입니다. 각 팔마다 테스트의 두 가지 변형은 두 배의 수를 의미합니다. 이는 당연하게 들리지만, 흔히 낙관적인 방향으로 잘못 해석되는 경우가 많습니다.

여러 변수가 존재하면 문제는 두 배로 복잡해집니다. A/B/C/D 검정은 단일 변수 검정보다 네 배나 많은 표본이 필요합니다. 대조군과의 세 가지 동시 비교는 적어도 하나의 오탐지 가능성을 명목상의 5%보다 훨씬 높게 만듭니다. 이를 보정하면 요구 조건이 다시 높아집니다.

대부분의 웹사이트에서 실용적인 규칙은 다음과 같습니다. 트래픽 여유가 충분하지 않다면 두 가지 테스트만 실행하세요. 두 가지 테스트조차 제대로 처리하지 못하는 페이지에서 네 가지 테스트를 실행하는 것은 학습 효과가 네 배가 되는 것이 아닙니다. 오히려 학습 효과가 전혀 없고, 학습 속도만 느려질 뿐입니다.

지속 시간은 별도의 제약 조건입니다.

표본 크기를 확보하는 것은 필수적이지만, 충분조건은 아닙니다.

4일 만에 목표치를 달성한 테스트는 4일간의 사용자 행동을 샘플링한 것입니다. 평일과 주말 트래픽의 전환율은 다르고, 급여일 주기 또한 전자상거래에 중요한 요소입니다. 테스트 도중 유료 캠페인을 시작하면 잠재고객 구성이 바뀔 수 있습니다. 새로운 디자인 역시 초기에는 신선함을 주지만 시간이 지나면서 그 효과가 사라집니다. 따라서 낯선 레이아웃에 대한 초기 참여도는 안정적인 성과 지표가 될 수 없습니다.

표본 크기 계산 결과와 관계없이 최소 1주일, 가능하면 2주일 동안 데이터를 분석하세요. 표본 크기와 사업 주기 중 더 긴 기간이 기준이 됩니다. 또한, 매일 아침 데이터를 확인하고 결과가 좋아 보이면 중단하는 방식은 잘못된 결과를 만들어내는 매우 효과적인 방법이므로, 종료일을 미리 정해두는 것이 좋습니다.

숫자가 불가능할 때

때로는 솔직하게 검사를 진행할 수 없다는 답변을 해야 할 수도 있습니다. 이는 유용한 정보이며, 합리적인 대응 방안은 다섯 가지가 있습니다.

더 큰 변화를 시험해 보세요. 이차 함수 관계를 고려하면 이 방법이 압도적으로 가장 효과적인 옵션입니다. 버튼을 바꾸기보다는 사용자 흐름을 재설계하세요.

더 높은 기준 지표로 이동하세요. 구매 여부가 아닌 장바구니 담기 또는 결제 단계로 진행된 시점을 기준으로 테스트하십시오. 이렇게 하면 더 큰 규모의 데이터를 기반으로 효과 크기를 측정할 수 있으므로 샘플 요구 사항이 줄어듭니다. 대리 변수를 측정하고 있음을 인지하고 매출과의 연관성을 별도로 검증하십시오.

깔때기 아래쪽을 더 자세히 테스트해 보세요.위와 같습니다.

유사한 페이지들을 그룹화하세요. 단일 카테고리가 아닌 모든 카테고리 페이지에 걸쳐 한 번의 테스트를 실행하면 페이지 간 동작이 충분히 유사하여 트래픽 통합이 타당하다는 전제 하에 사용 가능한 트래픽이 크게 증가합니다.

테스트를 멈추고 연구를 시작하세요. 사이트가 실험을 진행할 수 있는 충분한 성능을 갖추지 못했다면, A/B 테스트는 적합한 도구가 아닙니다. 사용성 테스트, 세션 녹화, 그리고 경험적 검토를 통해 문제점을 더 빠르고 저렴하게 찾아낼 수 있습니다. 정량적 검증은 변화가 측정 가능할 정도로 커진 후에 진행하면 됩니다. 이는 결코 부끄러운 일이 아닙니다. 충분한 성능을 갖추지 못한 테스트를 진행하여 엄격함을 가장하는 것은 아예 테스트를 하지 않는 것보다 더 나쁩니다.

비행 전 점검 목록

테스트 실행 전:

• [ ] 기준선은 사이트 전체가 아닌 테스트가 실행될 실제 페이지 및 사용자층을 기준으로 측정됩니다.
• [ ] MDE는 상대적 또는 절대적 값을 명시하여 서면으로 명시적으로 기재되었습니다.
• [ ] 표본 크기 계산됨 변형별 그리고 팔의 개수를 곱합니다.
• [ ] 필요한 시간과 사용 가능한 트래픽 비교 — 그리고 시작 전에 답변이 승인됩니다
• [ ] 종료일은 사전에 정해져 있습니다
• [ ] 최소한 한 번의 완전한 사업 주기(샘플 계산 결과와 관계없이)가 필요합니다.
• [ ] 무작위 배정 단위는 분석 단위와 일치합니다(방문자 수준 할당, 방문자 수준 지표).
• [ ] 첫 몇 시간 동안 트래픽 분할이 확인되었습니다. 50/50 테스트에서 53/47이 나온 것은 계측 장비 문제이며, 문제가 해결될 때까지 결과는 사용할 수 없습니다.

변형 버전을 만들기 전에 수치를 계산해 보세요.

전체 계산은 30초 정도 걸리며, 그 결과는 여러분이 구축할 제품에 영향을 미칩니다. 테스트 규모를 먼저 고려하는 팀은 더 과감한 변형을 설계할 수 있는데, 이는 소극적인 변형이 얼마나 많은 비용을 초래할지 미리 파악할 수 있기 때문입니다.

기준 전환율, 감지하고자 하는 효과, 신뢰도 및 검정력 설정을 입력하세요. 반환되는 수치가 트래픽보다 크다고 해서 무조건 출시할 이유는 없습니다. 이는 테스트를 통해 계획을 변경해야 한다는 신호입니다.

자주하는 질문

A/B 테스트를 하려면 방문자가 몇 명이나 필요합니까? 보편적인 수치는 없습니다. 이는 기준 전환율, 감지하고자 하는 최소 효과, 그리고 선택한 유의 수준 및 검정력 수준에 따라 달라집니다. 전환율이 2.5%인 페이지의 경우, 10%의 상대적 개선을 감지하려면 변형별로 약 64,000명의 방문자가 필요하고, 전환율이 40%인 결제 단계의 경우 동일한 상대적 효과를 감지하려면 약 2,400명의 방문자가 필요합니다.

적절한 최소 감지 가능 효과는 무엇일까요? 합리적인 기간 내에 트래픽이 감당할 수 있는 가장 작은 값을 찾으세요. 먼저 현재 트래픽과 2~4주라는 목표 기간을 설정한 다음, 그에 맞는 최소 변경 빈도(MDE)를 역산하세요. 만약 그 MDE가 테스트하려는 변경 사항으로 인해 발생할 수 있는 실제 변화량보다 크다면, 테스트를 다시 설계해야 합니다.

한쪽이 확실히 이기고 있다면 테스트를 조기에 중단할 수 있나요? 일반적인 고정 기간 테스트로는 불가능합니다. 반복적으로 검사하고 유의미한 결과가 나오면 중단하는 방식은 오탐률을 5%를 훨씬 넘게 만듭니다. 조기 중단이 필요한 경우, 순차 테스트나 베이지안 프레임워크와 같이 이를 위해 설계된 방법을 사용하고, 출시 도중이 아니라 출시 전에 중단 여부를 결정해야 합니다.

표본 크기에 도달하기 전에 검정 결과가 유의미해지면 어떻게 되나요? 의심스러운 눈초리로 바라보고 계획된 끝까지 계속 진행하십시오. 통계적 검정력이 부족한 시기에 나타나는 초기 유의미한 결과는 과장되고 재현 불가능한 결과를 낳는 전형적인 패턴입니다.

80% 출력으로 충분할까요? 이는 일반적인 기본값이며 합리적인 출발점이지만, 실제 효과를 놓칠 확률이 20%라는 것을 의미합니다. 계산대 디자인 변경이나 가격 조정과 같이 중요한 결정의 경우, 90%의 검정력을 확보하기 위해 추가 표본을 확보하는 것이 가치가 있습니다. 비용이 적게 들고 되돌릴 수 있는 변경의 경우에는 80%로도 충분합니다.

테스트 프로그램이 실제 결과를 도출하는지 확신이 서지 않으십니까?

테스트 로그에 최종 결과에는 나타나지 않는 작은 성과들이 많다면, 문제는 대개 분석 이전 단계에 있을 가능성이 높습니다. 저희는 실험 프로그램을 검토하여 설계상의 문제점을 명확하게 알려드립니다.

CRO 서비스에 대해 더 자세히 알아보시겠습니까?