매일 아침 확인하는 대신, 계획된 네 가지 스타일 중에서 A/B 테스트를 조기에 종료하세요.

매일 아침 A/B 테스트를 확인하고 대시보드가 ​​처음으로 녹색으로 바뀌는 순간 테스트를 중단한다면 실제 오탐률은 5%가 아닙니다. 매 관찰 후 유의성을 검정하는 시뮬레이션에서 에반 밀러는 실제 오탐률을 다음과 같이 측정했습니다. 26.1%이는 대부분의 팀이 생각하는 실제 경기력보다 5배 이상 높은 수준입니다.A/B 테스트를 잘못 실행하는 방법). 네 번의 성공 사례 중 한 번은 재현되지 않는데, 이는 통계적인 문제가 아니라 로드맵의 문제입니다.

이 가이드는 계절적 변동이 심해 4주 동안 고정된 데이터를 유지하기 어려운 전자상거래 또는 여행 트래픽에 대한 테스트를 진행하는 성장 및 CRO 팀을 위한 것입니다. 이 가이드를 마치면 출시 전 룩 일정을 계획하고, 각 룩에 대한 임계값을 표에서 확인하고, 계획에 소요되는 추가 샘플에 맞춰 테스트 규모를 산정하고, 방법론의 유효성이 떨어지는 지점을 파악할 수 있게 됩니다.

엿보기가 고정된 시간범위 테스트를 무너뜨리는 이유는 무엇일까요?

고정 시간 범위 검정은 미리 정해진 표본 크기에서 5%의 오차 범위 전체를 한 번만 사용합니다. 추가적인 분석은 모두 오차 범위를 벗어날 가능성을 높입니다. 문제는 데이터를 분석하는 것이 아니라, 단 한 번의 분석에 맞춰 설정된 임계값을 기준으로 분석하는 데 있습니다. 밀러의 표는 정해진 횟수만큼 분석해야 하는 경우, 진정한 5% 유의수준을 유지하는 데 필요한 유의수준을 제시합니다.

달리 말하자면, 열 번 살펴보면 1% 유의미하다고 읽은 값이 실제로는 5%인 것입니다. 다소 거칠지만 솔직한 표현입니다. 아래 방법들은 같은 결과를 더 효율적으로 보여줍니다.

조기 종료하는 세 가지 방법과 각 방법의 비용

세 번째 행은 대부분의 상용 플랫폼에서 제공하는 내용이기 때문에 중요합니다. Georgi Georgiev의 시뮬레이션에서 그룹당 최대 표본 크기를 7,045로 고정했을 때, 고정 시간 범위 검정은 83.3%의 검정력을 달성했고, 그룹 순차 AGILE은 80% 목표를 달성했으며, SPRT는 약 73%, 항상 유효한 추론은 62.4%를 달성했습니다. 80%의 검정력을 달성하기 위해 항상 유효한 추론에는 대략 다음과 같은 값이 필요했습니다. 샘플 85% 증가 그룹 순차 설계보다 (분석 툴킷, 2022Spotify의 엔지니어들도 독립적으로 동일한 결론을 내렸습니다. 표본 크기를 추정할 수 있는 경우 그룹 순차 테스트는 "항상 유효한 접근 방식보다 체계적으로 더 우수하거나 유사하다"는 것입니다.슐츠버그와 앙카르그렌, 2023).

이는 정정할 필요가 있는데, 벤더 측의 설명 방식이 정반대이기 때문입니다. Optimizely의 문서에서는 "실험을 시작하기 전에 표본 크기를 계산하는 등의 사전 작업 과정을 생략하라"고 안내하고 있습니다.Optimizely 지원오류 제어는 실제로 이루어지며, 기초 연구는 타당합니다.조하리 등, 항상 유효한 추론); 하지만 이러한 틀에서 빠진 것은 전기 요금 청구서입니다. 동일한 방법론을 사용하는 Statsig는 다음과 같이 명확하게 말합니다. "효과 크기를 정확하게 측정해야 하는 경우, 실험 전 검정력 계산에서 추정한 전체 검정력을 기다리십시오."Statsig 문서"표본 크기가 필요 없다"는 말은 타당성에 대한 주장이지 효율성에 대한 주장이 아닙니다.

이 방법은 단계별로 설명됩니다.

실제 사례: 의류 소매업체의 결제 시스템 테스트. 기준 세션 전환율 2.4%, 목표 효과 +10%(상대적)(2.64%), 양측 알파 5%, 검정력 80%, 하루 약 5,000 세션.

1. 절대 엿보지 않을 것처럼 크기를 정하세요.

두 비율 크기 조정은 다음과 같습니다. 팔당 66,943회 세션총 133,886입니다. 이는 조기 종료 계획 때문에 선택적으로 발생하는 추가 비용이 아니라, 일정 수립의 기반이 되는 핵심 비용입니다.

2. 몇 가지 스타일을 언제 연출할지 선택하세요.

3~5가지 스타일이면 거의 모든 이점을 누릴 수 있습니다. 그 이상으로 스타일을 바꾸면 샘플 비용이 최대치로 증가하지만 효과는 미미합니다. 스타일을 다음과 같이 조정하세요. 몇 주 동안요일별 구성이 소매 트래픽 변동의 주요 원인이기 때문입니다. 하루 5,000회 세션 기준으로, 4주간의 요일별 구성을 적용하면 약 14만 회 세션이 발생하여 계획된 최대치를 충족합니다.

3. 지출 기능을 선택하고 임계값을 기록하세요.

알파 지출 함수는 누적된 데이터 양에 따라 각 룩이 5% 예산 중 얼마를 소비할지 결정합니다.펜 스테이트 STAT 509). 두 가지 고전적인 선택은 각각 4회씩 동일한 간격으로 관찰하고, 양측 검정 유의수준은 0.05입니다.

이 값들은 Lan-DeMets 지출 함수를 사용하여 계산되었으며 발표된 특성과 일치합니다. O'Brien-Fleming은 "초기에는 매우 엄격한 임계값을 사용하지만 최종 분석 임계값은 일반적인 p < 0.05에 가깝습니다." 반면 Pocock은 p < 0.016 부근에서 거의 일정한 임계값을 유지합니다.치올리노, 카이저, 보너, 2023).

오브라이언-플레밍은 저렴한 보험과 같습니다. 첫 번째 시도에서 실패하는 경우가 거의 없고, 최대 샘플링 비용이 약 3% 더 높으며, 최종 임계값은 0.05보다 약간 더 엄격할 뿐입니다. 포콕은 조기에 중단하는 경우가 훨씬 많지만 트래픽 비용이 20% 더 높습니다. 수익과 연관된 지표에는 오브라이언-플레밍을 기본으로 사용하는 것이 좋습니다.

4. 출시 전에 규칙을 티켓에 적어 두세요.

테스트를 중단할 수 있는 모든 사람이 볼 수 있는 단 한 문장: "1주차부터 4주차까지의 결과를 살펴보고, [주요 지표]에 대한 양측 p값이 해당 시점의 임계값보다 낮으면 승자로 선언하고, 그렇지 않으면 4주차까지 진행합니다." 누군가의 머릿속에만 있는 규칙은 규칙이 아닙니다.

5. 무익성 한계도 설정하세요

대부분의 팀은 효율성 경계만 설정하기 때문에 승자는 조기에 중단하고 패자는 끝까지 진행하게 되는데, 이는 기회비용 측면에서 잘못된 접근 방식입니다. 구속력이 없는 무효성 경계, 즉 의미 있는 승리가 불가능해지는 시점에 중단하는 방식이야말로 시간 절약의 핵심입니다. 네 번의 O'Brien-Fleming 분석을 통해 실제 효과가 있을 경우 예상되는 표본 크기는 고정 기간 요건의 약 83%까지 감소합니다.

6. 초기 점추정치를 효과 크기로 보고하지 마십시오.

조기 종료 테스트가 중단되었습니다. 때문에 관측된 양력이 비정상적으로 컸기 때문에, 추정치는 건설 과정으로 인해 과대평가되었을 가능성이 있습니다. 따라서 이 자료는 선박 구매 결정에 사용해야 하며, 수익 예측에는 사용하지 마십시오. Statsig는 "초기 결정은 종종 불확실성이 높은, 실제보다 낮은 양력 추정치를 산출한다"고 지적합니다.

출시 전 체크리스트

• 출시 전에 서면으로 명시된 주요 지표 중 하나
• 최대 샘플 수 및 일정 종료일이 정해졌습니다.
• 숫자와 시기가 고정되어 있고, 주 단위로 맞춰져 있는 것 같습니다.
• 지출 기능이 선택되었고, 한도가 티켓에 기록되었습니다.
• 효능 규칙뿐 아니라 무용성 규칙도 정의해야 합니다.
• SRM은 모든 단계에서 점검되었습니다. 전에 p값은 다음과 같이 읽힙니다.
• 정지 규칙과는 별도로 가드레일 지표가 모니터링됩니다.
• 시험을 중단시킬 수 있는 사람이라면 누구나 계획되지 않은 시선 접촉은 금지되어 있다는 것을 알고 있습니다.

이를 터키와 해당 지역에 맞게 조정합니다.

2026년 5월 상무부가 발표한 전자상거래 전망 보고서에 따르면, 튀르키예는 2025년에 59억 4천만 건의 전자상거래 거래를 기록하고, 거래액은 4조 5700억 리라에 달할 것으로 예상됩니다.데일리 사바, 2026년 5월 12일이 시장은 대부분 중형 매장으로 구성된 큰 시장이기 때문에 4주간의 판매 기간은 일반적이며, 이는 캠페인 기간과 겹치기에 충분한 기간입니다.

11월 말에 현지에서 에프산 쿠마(Efsane Cuma)로 알려진 할인 기간과 그 전에 열리는 11.11 행사는 다음과 같은 변화를 가져옵니다. 누구 사이트 방문자 수뿐만 아니라 사이트 자체의 특성도 중요합니다. 할인을 통해 유입된 방문자는 다른 논리에 따라 전환되므로, 캠페인 기간을 넘나드는 테스트 일정은 특정 고객층을 측정하는 것이 아닙니다. 따라서 저희의 원칙은 캠페인 시작 전 또는 종료 후에 테스트를 진행하는 것입니다. 만약 캠페인 기간을 반드시 거쳐야 한다면, 해당 캠페인 주간을 별도의 계층으로 간주하고 그 안에서는 테스트 중단 결정을 내리지 마십시오.

두 번째 조정 사항은 EU 전역과 터키의 KVKK 규정에 따른 동의 배너에 적용됩니다. 분석 기능에 동의가 필요한 경우 트래픽의 일부는 분석되지 않습니다. 크기 및 일정은 다음을 참조하세요. 관찰 촬영 일정이 빡빡하거나, 모든 의상이 예정된 날짜보다 늦게 도착하는 경우가 있습니다.

[내부 데이터 필요: Switas 전자상거래 고객사의 일일 평균 세션 수 및 실제 테스트 지속 시간 데이터를 제공하여, 예시로 제시된 5,000회 세션/일 수치를 실제 분포 데이터로 대체해야 합니다.]

이것이 무너지는 지점은 어디일까요?

• 구성 변화. 순차적 방식은 들어오는 스트림이 시간에 따라 교환 가능하다고 가정합니다. 캠페인이나 유료 미디어 변경은 이러한 가정을 깨뜨리고, 특정 주에 조기 고정을 중단하는 것은 이례적인 일입니다.
• 새로움과 우선권. 1주 차 측정은 변화된 행동을 측정하는 것이 아니라 고객의 반응을 측정하는 것입니다. 만약 변화가 기존 고객에게도 눈에 띄게 나타난다면, 첫 번째 측정에는 효과 검증 기준을 적용하지 않아도 됩니다.
• 꼬리가 두꺼운 분포를 따르는 지표. 세션당 수익은 드물게 발생하는 대규모 주문에 의해 좌우되며, 소규모 중간 샘플에서는 일반적인 근사치가 신뢰할 수 없습니다. 전환율에만 집중하지 말고 수익을 함께 확인하거나, 윈저라이즈(winzerying) 기법을 사용하여 이를 명시하십시오.
• 여러 지표. 이러한 경계는 오류를 제어합니다. 한 지표. 다섯 가지 지표와 다섯 가지 중단 규칙이 있으며 더 이상의 수정이 없으면 시작점으로 돌아갑니다.
• 계측 장비 고장. 순차 테스트는 손상된 데이터의 경계를 문제없이 넘어갈 수 있습니다. 하지만 이는 SRM 검사를 대체할 수 없습니다.
• 여기서 다루지 않는 내용: 베이지안 종료 규칙, 다중 팔 밴딧, CUPED와 같은 분산 감소 기법은 각각 조기 종료와 상호작용하므로 별도의 처리가 필요합니다.

FAQ

이 섹션에 FAQPage 스키마를 표시하세요.

지출 함수 대신 더 엄격한 p-값을 사용할 수 있을까요?
네, 만약 사전에 조회 횟수를 정해두고 조회 횟수가 적다면 가능합니다. 밀러의 표가 임계값을 제시합니다. 이는 알파 지출보다 보수적인 방식이므로 필요 이상으로 많은 샘플을 사용하게 되지만, 새로운 도구가 필요하지 않습니다.

순차 테스트를 하면 표본 크기 계산을 생략할 수 있다는 뜻인가요?
아니요. 표본 크기 추정 없이도 타당성은 유지되지만, 검정력은 유지되지 않습니다. 게오르기예프 시뮬레이션과 스포티파이 시뮬레이션 모두 동일한 패턴을 보여줍니다. 즉, 표본 크기를 추정할 수 있는 경우, 집단 순차 설계가 더 유리합니다.

만약 제가 수익이 아닌 수익 감소를 주시하고 있다면 어떻게 해야 할까요?
그것은 가설 검증이 아니라 안전장치 모니터링입니다. 별도의 완화된 규칙 하에 안전 및 오류 지표를 지속적으로 모니터링하고 기본 중단 규칙은 그대로 두십시오. 사용자에게 피해를 주는 변이체를 제거하는 데는 특별한 절차가 필요하지 않습니다.

베이지안 검정은 정보 유출에 영향을 받지 않나요?
아니요. 사후 확률이 임계값을 넘는 순간 멈추는 것은 규칙이 선택적 정지를 허용하도록 설계되지 않은 한, 결정 규칙의 작동 특성을 변경합니다. 사전 확률은 문제의 형태를 바꾸는 것이지 문제의 존재 자체를 바꾸는 것은 아닙니다.

오브라이언-플레밍인가, 포콕인가?
거의 모든 상업적 사례에서 O'Brien-Fleming을 선택하세요. Pocock은 조기 답변이 구체적인 가치를 지니고, 최대 샘플을 약 20% 더 흡수할 수 있으며, 누군가가 1주차 결과를 바로 배송할 준비가 되어 있을 때만 선택하세요.

계획에 없던 스타일을 추가해도 될까요?
알파 지출 기능을 사용하는 경우, 데이터를 확인하려는 결정이 곧 보게 될 데이터에 좌우되지 않는다면 가능합니다. 대시보드에서 "유사해 보인다"는 이유로 확인하는 것은 데이터에 따라 달라지는 시점이므로 보장이 무효화됩니다.

이 일에 저희와 함께 해주세요

터키 또는 지역 전자상거래 플랫폼에서 실험을 진행하고 있고 현재 종료 규칙이 "매일 아침 확인"이라면, 저희는 규모, 조회 일정, 경계, 무효화 규칙 및 SRM 게이트를 실험 템플릿에 포함하여 다시 구성해 드립니다. 이렇게 하면 다음 테스트에서 해당 규칙을 그대로 적용할 수 있습니다. 실험 프로그램에 대해 스위타스와 이야기해 보세요..

지우면 좋을거같음 . SM

• 에반 밀러, A/B 테스트를 잘못 실행하는 방법
• 조하리, 페켈리스, 월시, 쿠멘, 항상 유효한 추론: A/B 테스트의 지속적인 모니터링; 출판됨 운영 연구 70(3), 2022
• 게오르기 게오르기예프, 순차적 검정의 통계적 검정력 비교애널리틱스 툴킷, 2022년 11월 (2023년 3월 업데이트)
• 슐츠버그와 앙카르그렌, 순차적 테스트 프레임워크 선택하기Spotify 엔지니어링팀, 2023년 3월
• 최적화, 통계 분석 방법 개요
• 스타치그, 빈도주의적 순차 검사
• 치올리노, 카이저, 보너, 임상시험 중간 분석 방법 관련 지침, J Clin Transl Sci 7(1):e124, 2023
• 펜 스테이트 STAT 509, 알파 지출 함수 접근법
• rpact, 그룹 순차적 경계 정의
• 터키의 전자상거래 거래량은 2025년에 52% 이상 증가할 것으로 예상됩니다.데일리 사바, 2026년 5월 12일, 무역부의 전자상거래 전망 보고서 보도