베이지안 A/B 테스트

베이지안 A/B 테스트는 관찰된 데이터와 제공된 사전 정보를 바탕으로 한 변형이 다른 변형보다 우수할 확률을 제시하는 실험 분석 접근 방식입니다. 이는 변형이 아무런 효과가 없을 경우 데이터가 얼마나 놀라운지를 보여주는 빈도주의적 접근 방식과 대조됩니다. 실질적인 차이점은 출력 방식에 있습니다. 베이지안 방법은 "변형 B가 대조군보다 우수할 확률은 93%이며, 잘못 선택할 경우 예상되는 손실은 0.2%입니다."와 같은 명확한 결과를 도출하며, 이는 비즈니스 의사 결정에 직접적으로 활용될 수 있습니다.

이 방법은 테스트 전에 예상되는 효과에 대한 믿음을 나타내는 사전 분포와 관찰된 데이터를 결합하여 그럴듯한 효과의 사후 분포를 생성하는 방식으로 작동합니다. 그런 다음 이 사후 분포를 의사 결정에 필요한 방식으로 조회할 수 있습니다. 예를 들어, 개선이 있을 확률, 상업적으로 의미 있는 임계값 이상의 개선이 있을 확률, 또는 잘못된 결정을 내렸을 때 예상되는 비용 등을 확인할 수 있습니다. 여러 널리 사용되는 테스트 플랫폼에서 베이지안 보고 방식을 기본값으로 채택한 이유도 바로 이 때문입니다. 베이지안 방식은 이해관계자가 결과를 바로 활용하기 전에 추가적인 해석이 필요하지 않기 때문입니다.

베이지안 분석의 가장 큰 장점은 지속적인 모니터링에 대한 결과의 견고성입니다. 사후확률이 데이터가 수집됨에 따라 업데이트되고 고정된 표본 크기를 가정하지 않기 때문에, 결과를 반복적으로 확인하더라도 단순한 빈도주의적 p값처럼 오류율이 부풀려지지 않습니다. 이는 이해관계자들이 분석 프로토콜과 관계없이 대시보드를 확인하는 상업적 환경에서 특히 유용합니다. 그러나 결과가 좋아 보인다고 해서 바로 테스트를 중단해도 된다는 의미는 아닙니다. 특정 지표를 기준으로 테스트를 중단하면 추정 효과 크기가 과대평가될 수 있으며, 통계적 프레임워크와 관계없이 단기 테스트는 주간 주기나 새로운 효과를 놓칠 수 있습니다.

사전 확률은 방법론의 강점인 동시에 가장 흔한 논쟁의 원인이기도 합니다. 대부분의 플랫폼에서 기본적으로 사용하는 정보력이 약한 사전 확률은 충분한 양의 데이터가 축적되면 결과에 미치는 영향이 미미합니다. 반면, 조직 자체의 과거 실험 이력에서 도출된 강력한 사전 확률은 특히 트래픽이 적은 테스트에서 관찰된 비현실적으로 큰 효과를 경험적으로 현실적인 범위로 조정함으로써 추정치를 의미 있게 개선할 수 있습니다. 그러나 원하는 결론을 뒷받침하기 위해 선택된 사전 확률은 옹호할 수 없으므로, 사전 확률은 분석 중에 선택하는 것이 아니라 테스트 시작 전에 문서화하고 합의해야 합니다.

어떤 프레임워크도 잘못 설계된 실험을 구제할 수는 없습니다. 무작위 배정이 제대로 되지 않았거나, 추적 오류가 있거나, 표본 비율이 일치하지 않거나, 비즈니스 가치를 반영하지 않는 지표를 사용한 실험에 대한 베이지안 분석은 잘못된 질문에 대해 확신에 차고 정확한 답을 내놓을 뿐입니다. 프레임워크 선택은 보고 및 의사결정 이론에 따른 선택이며, 그 답의 가치는 결국 실험 설계의 질에 달려 있습니다.

이 프레임워크를 상업적 환경에서 진정으로 유용하게 만드는 핵심 출력값은 예상 손실, 즉 위험이라고도 불리는 값입니다. 어떤 변형이 더 나은지 묻는 대신, 해당 변형을 선택했을 때 평균적으로 얼마나 손해를 보게 되는지 묻습니다. 예상 손실이 기업에서 무시할 수 있는 임계값 아래로 떨어지면 출시한다는 의사 결정 규칙은 실제 상업적 의사 결정 방식과 정확히 일치합니다. 왜냐하면 단점이 미미한 변경에 대해서는 누구도 확신을 요구하지 않기 때문입니다. 또한 두 변형의 성능이 거의 동일한 일반적인 상황도 처리할 수 있습니다. 예를 들어, 한 변형이 더 나을 확률이 50% 안팎에서 무기한 유지되는 반면, 예상 손실은 어느 방향으로든 미미한 경우, 선택은 중요하지 않으므로 팀은 해당 변형에 트래픽을 낭비하지 않아야 한다는 것을 정확하게 나타냅니다.

프로젝트 진행 과정에서 프레임워크 선택은 일반적으로 초기에 결정되며 이후에는 변경하지 않는 것이 좋습니다. 프로그램 중간에 프레임워크를 변경하면 과거 결과를 비교할 수 없게 되기 때문입니다. CRO 서비스 팀은 일반적으로 클라이언트의 기존 플랫폼 및 분석 문화가 지원하는 접근 방식을 표준화하고, 의사 결정 임계값을 사전에 정의하며, 통계적 철학보다는 실험 설계 및 우선순위 설정에 노력을 집중합니다. 조직이 자체 측정 스택을 구축하는 경우, 선택은 일반적으로 더 광범위한 보고 아키텍처와 함께 이루어집니다. 데이터 분석 실험 결과와 비즈니스 인텔리전스가 불확실성에 대해 일관된 언어를 공유할 수 있도록 하는 기능입니다.