검사 키트를 버리기 전에 5개 지점에서 샘플 비율 불일치를 진단하세요.

마이크로소프트에서 진행된 실험 중 약 6%에서 샘플 비율 불일치가 나타났는데, 연간 10,000건의 실험이 진행되는 제품에서는 하루에 약 1건의 불일치가 감지되는 셈입니다.Fabijan 외, KDD 2019테스트 횟수가 훨씬 적은 팀은 해당 수치를 거의 볼 수 없습니다. 왜냐하면 해당 플랫폼에서 실행하는 검사가 트래픽 양에서 유의미한 결과를 도출할 수 없기 때문입니다. 테스트는 문제가 없어 보이고 4% 상승을 보고하지만, 실제로는 잘못된 결과입니다.

이 가이드는 실험 결과를 읽고 출하 여부를 결정해야 하는 담당자를 위한 것입니다. 이 가이드를 마치면 불일치 검사가 의미 있는 결과를 도출할 만큼 테스트 규모가 충분한지 판단하고, 원인을 가장 빠르게 찾는 순서대로 5가지 진단 분기를 실행하며, 결과를 무효화하는 불균형과 그 불균형을 기준으로 분할하여 유지할 수 있는 불균형을 구분할 수 있게 됩니다.

SRM 알람이 실제로 알려주는 것

표본 비율 불일치는 설정한 분할 비율과 관찰된 분할 비율 간의 차이를 의미합니다. 예를 들어 50/50으로 설정했는데 50.8/49.2가 나온 경우입니다. 표준적인 검사 방법은 노출 횟수에 대한 피어슨 카이제곱 적합도 검정이며, 두 그룹 검정의 경우 자유도는 1입니다.

이는 중요한데, 사용자 이탈 메커니즘이 측정 지표에 거의 영향을 미치지 않기 때문입니다. 리디렉션으로 인해 속도가 느린 사용자가 해당 변형에서 제외되면, 더 나은 연결 상태를 가진 사용자만 남게 되고, 이들은 전환율이 더 높습니다. 데이터상으로는 전환율 향상이 분명히 존재하지만, 현실에서는 그렇지 않습니다.

대부분의 팀이 가장 먼저 오해하는 것은 업계 표준이라는 것이 없다는 점입니다. 플랫폼마다 기준치가 10배 이상 차이가 납니다.

두 가지 결과가 발생합니다. 한 플랫폼에서 오류가 감지된 테스트가 동일한 데이터를 사용하는 다른 플랫폼에서는 오류가 없는 것으로 나타나므로, "우리 도구가 경고하지 않았다"는 것은 정확한 분리의 증거가 될 수 없습니다. 또한 0.01의 임계값은 100개의 정상 테스트 중 하나만 오류를 감지합니다. 3주간의 테스트 기간 동안 매일 p값을 육안으로 확인하는 경우, 단순 독립 피크 분석법으로 계산한 오경보 발생률은 19%입니다. 연속된 날짜 간의 상관관계가 크기 때문에 실제 수치는 이보다 낮지만 1%에는 미치지 못합니다. 이것이 바로 AB Tasty가 순차적인 절차를 실행하는 이유입니다. 사용하는 플랫폼에서 고정된 시간 범위의 카이제곱 검정을 실행하는 경우, 마지막에 누적 횟수를 한 번만 확인하십시오.

테스트에서 불균형을 감지할 수 있는지 여부를 확인하십시오.

50/50 분할의 경우 카이제곱 통계량은 4n(p̂−0.5)²로 단순화되며, 여기서 n은 총 노출 횟수입니다. 이를 역수로 취하면 검사에서 감지할 수 있는 가장 작은 불균형 값을 얻을 수 있습니다.

이를 허가증이 아닌 제한으로 이해하십시오. 10,000건의 노출에서는 1.3포인트 미만의 불균형은 검사에서 감지되지 않으며, 1.3포인트의 선택 효과만으로도 전환율을 약간 높이기에 충분합니다. 이것이 이 지역 대부분에서 나타나는 구조적 문제입니다. 터키는 2025년에 약 634,000개 사업체에서 약 6억 건의 전자상거래 거래를 기록했습니다.산업통상자원부, 2026년 5월 12일평균적으로 연간 약 9,500건의 테스트가 진행되지만, 이 평균치는 소수의 마켓플레이스에 의해 크게 높아집니다. 중견 규모의 쇼핑몰이 결제 단계를 테스트할 경우 노출 횟수는 수백만 건이 아닌 수만 건에 불과하므로, SRM 검사는 심각한 오류만 잡아낼 뿐 미묘한 오류는 감지하지 못합니다.

그 정도 볼륨에서는 경보에 의존하지 마십시오. 일별 및 세그먼트별 원시 노출 횟수를 직접 추출하고, p값이 특이하지 않더라도 지속적으로 같은 방향으로 변동하는 추세는 의심스러운 것으로 간주하십시오. 플랫폼에서 이러한 노출 횟수가 어디에서 발생하는지 확실하지 않은 경우, SRM 검사기 문서 도구별로 매핑합니다.

원인을 가장 빨리 찾아내는 순서대로 다섯 가지 방법이 있습니다.

KDD 분류 체계는 SRM 원인을 할당, 실행, 로그 처리, 분석, 간섭의 생명주기 단계별로 분류합니다. 진단 순서는 가장 저렴하고 흔한 원인부터 시작하는 등 다르게 접근해야 합니다.

1. 분석 및 트리거링. 증상: 원시 노출 로그에서는 분할이 명확하게 나타나지만 스코어카드에서는 분할이 깨져 보입니다. 확인: 트리거 조건, 날짜 필터 및 메트릭 수준 조인을 제외하고 비율을 다시 계산합니다. 비율이 예상대로 돌아오면 문제가 해결된 것입니다. 해결 방법: 변이별 동작으로 인해 적격성이 변경되기 전에 양쪽 그룹에서 트리거링 조건을 동일하게 평가합니다. 가장 흔한 오경보이며, 이를 배제하는 데 10분이 소요됩니다.
2. 로그 처리 중. 증상: 두 파이프라인 간 노출 횟수가 다르거나 ETL 단계 이후에 차이가 발생합니다. 확인: 동일한 기간에 대해 SDK 측 횟수, 데이터 웨어하우스 횟수 및 보고 횟수를 비교한 다음, 각 분기별 봇 필터 제외율을 비교합니다. 이를 통해 상위 분기는 동일하지만 하위 분기는 다른지 확인할 수 있습니다. 해결 방법: 결정론적이고 동일한 방식으로 필터링합니다. 자동화된 트래픽은 2024년 51%에서 2026년 53%로 증가할 것으로 예상됩니다.임퍼바 악성 봇 보고서, 2026년 4월 29일따라서 로드 타이밍이나 사용자 에이전트 동작을 기반으로 하는 휴리스틱 필터는 변형별로 서로 다른 비율로 제외할 수 있습니다. 동의 기반 손실도 여기에 해당합니다. ad_storage 요청이 거부되면 Google의 태그 플랫폼은 광고 쿠키 설정을 중단합니다.구글 태그 플랫폼 동의 문서따라서 한 테스트에서 지역별로 거부율이 다르면 해당 식별자에 의존하는 할당 방식은 사용자를 불균등하게 잃게 됩니다.
3. 실행. 증상: 페이지 로딩 속도가 빨라질수록 불균형이 심해지거나, 모바일 환경에서 더 심각하거나, 배포 직후부터 불균형이 발생합니다. 확인: 기기, 브라우저, 연결 유형, 요일별로 비율을 나누고, 각 버전의 노출 시간을 비교합니다. 불균형이 느린 구간이나 특정 브라우저에 집중되는지 확인하여 원인을 파악합니다. 해결 방법: 리디렉션 테스트는 이 부분에서 한계를 드러냅니다. 리디렉션은 한쪽 버전에만 전체 탐색 경로를 추가하므로, 이 과정에서 이탈하는 사용자는 선택적 손실로 간주됩니다. 두 버전을 하나의 URL에서 서버 측으로 렌더링하거나, 두 버전의 비교 가능성을 배제해야 합니다.
4. 할당. 증상: 첫 한 시간부터 비율이 어긋나기 시작하여 일정한 비율만큼 차이가 지속됩니다. 확인: 동일한 할당에 대해 A/A 테스트를 실행하고 해시 솔트가 이전에 동일한 모집단에서 수행된 실험에서 재사용되지 않았는지 확인합니다. A/A 테스트에서도 불균형이 나타나면 A/A 테스트가 정답입니다. 해결 방법: 새로운 솔트를 사용하여 다시 할당하고 재시작합니다. 이전 테스트에서 남은 데이터가 이 문제의 은밀한 형태로 나타나는데, A/A 테스트를 통해서만 이를 확인할 수 있습니다.
5. 간섭. 증상: 불균형이 활동량이 많은 소수의 식별자 또는 내부 IP 범위에 집중되어 있습니다. 확인 사항: 사용자별 노출 횟수 분포와 이벤트 볼륨 기준 상위 1% 식별자를 확인합니다. 해당 식별자를 제거했을 때 비율이 복원되는지 확인하여 문제를 검증합니다. 해결 방법: 수동으로 제외하는 대신 문서화된 규칙을 사용하여 내부 트래픽과 스크립트 기반 트래픽을 제외합니다. 이렇게 하면 다음에도 동일한 제외 규칙이 적용됩니다.

실제 작업 과정

아래 수치는 예시이며 실제 고객 데이터가 아닙니다. 체크아웃 테스트 결과, 대조군 노출 61,480회, 변이형 노출 58,520회(120,000만 명 사용자 기준 51.2/48.8), 카이제곱 p값 0.001 미만으로 나타났습니다. 분기 1: 트리거 조건을 제거한 결과 60,020/59,980으로 나타나 할당은 정상이며 손실은 노출 후에 발생합니다. 분기 2: 파이프라인 카운트가 일치하고 봇 제외율은 양쪽 모두 0.9%입니다. 분기 3: 데스크톱은 50.1/49.9, 모바일은 52.4/47.6이며, 변이형의 노출까지의 중앙값 시간은 모바일에서 900ms 더 높습니다. 진단: 변이형은 렌더링을 차단하는 추가 요청을 포함하고 있으며, 모바일 사용자는 이로 인해 이탈하고, 살아남은 사용자는 더 나은 연결 상태를 보입니다. 결과는 무효입니다. 수정 사항은 성능 개선이며, 테스트는 재해석이 아닌 재실행됩니다.

무엇을 건질 수 있고 무엇을 건질 수 없는지

• 판독값을 무효화합니다 손실 메커니즘이 해당 지표와 상관관계가 있을 가능성이 있는 경우. 모든 실행 및 할당 원인이 기본적으로 해당됩니다.
• 부문별 복구 불균형이 명확하게 제외할 수 있는 세그먼트에 국한되고, 해당 세그먼트가 메트릭을 검토하기 전에 정의되었으며, 나머지 부분이 자체 SRM 검사를 통과하는 경우에만 해당됩니다. 세 가지 조건 중 두 가지만으로는 충분하지 않습니다.
• 테스트 결과를 보관하세요 원인이 순전히 분석상의 문제였고 수정된 평가표가 통과했을 때, 당신은 고정된 필터를 사용하여 동일한 데이터를 다시 읽는 것이지, 데이터를 분석하는 것이 아닙니다.
• 어떤 결과가 나오든 기록하세요. 실험의 원인 범주를 기록하세요. 분류 체계는 누적 효과를 발휘합니다. 예를 들어, 최근 10개 테스트 중 3개가 분기 3에서 실패했다면, 문제는 실험 자체가 아니라 프런트엔드 구현에 있습니다. [내부 데이터 필요: 지난 24개월 동안 Switas에서 실행한 실험 중 SRM 검사에 실패한 비율을 분류 체계 분기별로 구분하여 Microsoft의 6% 벤치마크 수치를 해당 시장의 수치로 대체해야 함]

이것이 무너지는 지점은 어디일까요?

이 트리는 고정되고 알려진 할당과 사용자 수준의 무작위 배정을 사용하는 2개 그룹 비교 시험을 가정합니다. 모든 그룹에 걸쳐 전체 카이제곱 값을 구하고 어떤 쌍이 잘못되었는지 후속 조사가 필요한 다중 그룹 비교 시험이나, 시험 기간 동안 예상 비율이 변동하는 단계적 할당 방식(누적 카이제곱 검정은 적합하지 않음)은 다루지 않습니다. 또한 단위가 사용자가 아니고 중요한 불균형이 그룹 특성에 있는 클러스터 또는 지리적 무작위 배정 설계에도 적용되지 않습니다. 이 트리는 측정 기준 정의의 정확성에 대해서는 아무런 언급도 하지 않습니다. 그리고 노출이 기록되지 않고 분할 검증이 아닌 추측에 기반한 측정 결과로부터 할당을 추론하는 경우에도 도움이 되지 않습니다.

FAQ

51/49 비율은 항상 문제인가요? 이는 전적으로 노출 횟수(n)에 달려 있습니다. 5,000회 노출에서는 일반적인 노이즈이지만, 500,000회 노출에서는 거의 확실한 결함입니다. 고정된 백분율 규칙이 아니라 검출 가능성 표를 기준으로 비율을 판단해야 합니다.

재실행하는 대신 통계적으로 각 팔의 가중치를 재조정할 수 있을까요? 아니요. 가중치 재조정은 카운트를 수정하고 선택 기준은 그대로 유지합니다. 손실된 사용자는 이미 삭제되었으며, 이들은 해당 팔의 무작위 표본이 아니었습니다.

SRM p값은 얼마나 자주 확인해야 하나요? 플랫폼에서 순차적인 절차를 실행하지 않는 한, 누적 카운트를 기준으로 한 번만 확인하면 됩니다. 고정된 기간의 카이제곱 검정을 매일 확인하는 것은 오경보를 상당히 증가시킵니다.

SRM은 가드레일 지표도 무효화하나요? 네, 같은 이유입니다. 각 지지층이 서로 다른 인구 집단을 대변한다면, 평평한 안전장치는 변동하는 주요 지표보다 더 신뢰할 수 없습니다.

A/A 테스트에서도 불일치가 나타나면 어떻게 해야 할까요? 그렇다면 문제는 할당이나 로깅 파이프라인에 있는 것이지, 처리 방식에 있는 것이 아닙니다. 다른 작업을 실행하기 전에 이 문제를 해결하십시오. 그렇지 않으면 해당 플랫폼의 모든 테스트에 영향을 미칩니다.

리다이렉트 테스트는 항상 SRM을 유발하나요? 항상 그런 것은 아니지만, 추가된 내비게이션 기능이 한쪽 팔에만 존재하기 때문에 다른 디자인에는 없는 구조적 위험을 수반합니다. 만약 반드시 사용해야 한다면, 측정값을 읽기 전에 연결 속도와 장치별 비율을 확인하십시오.

내 트래픽이 너무 적어서 그 금액은 아무 의미가 없어요. 그럼 어떻게 해야 할까요? 일일 노출량 데이터를 지속적으로 모니터링하여 변동 추이를 파악하고, 할당 계층에 대해 주기적인 A/B 분석을 실행하며, 더 광범위한 건전성 검사 목록을 사전 등록하십시오. 이는 통계적 검정력을 프로세스로 대체하는 것입니다.

봇 필터링은 과제 할당 전 또는 후에 이루어져야 할까요? 노출 기록 후, 분석 전에 두 팔 모두에 동일하게 적용되는 결정론적 규칙을 사용합니다. SDK 내의 휴리스틱 필터링이 바로 그 필터 자체가 불일치를 일으키는 원인입니다.

직접 실험 프로그램을 실행하여 점검해 보세요.

현재 실행 중인 테스트의 분할 상태에 대한 제3자의 검토가 필요하거나, 테스트가 의존하는 할당 및 로깅 계층에 대한 검토가 필요하다면, 저희가 도와드리겠습니다. CRO 및 실험 서비스 않습니다.

지우면 좋을거같음 . SM

• Fabijan, Gupchup, Gupta, Omhover, Vermeer, Dmitriev, "온라인 제어 실험에서 샘플 비율 불일치 진단: 실무자를 위한 분류 체계 및 경험 법칙", KDD 2019
• AB Tasty 문서, 샘플 비율 불일치(순차적 S-SRM, 임계값 0.01)
• Statsig, "표본 비율 불일치에 대한 빠른 가이드", 2023년 8월 31일 (카이제곱 검정, 유의수준 0.01)
• GrowthBook 문서, 실험(카이제곱 검정, 0.001 미만 경고)
• Imperva, "2026년 악성 봇 보고서: 에이전트 시대의 봇", 2026년 4월 29일
• 튀르키예 공화국 무역부, 2025년 전자상거래 통계, 2026년 5월 12일
• 구글 태그 플랫폼, 동의 모드 및 저장 동작
• SRM Checker 문서 및 FAQ, 루카스 베르메르