Switas문의하기

다변량 테스트(Multivariate Testing)

다변량 테스트(MVT)는 같은 페이지에서 둘 이상의 구성 요소에 대한 여러 변형을 동시에 테스트하고, 전환율 같은 목표 지표에 미치는 복합적인 효과를 측정하여 여러 페이지 요소가 서로 어떻게 상호작용하는지 파악하는 실험 방법입니다. 일반적인 A/B 테스트가 페이지 전체의 한 변형을 다른 변형과 비교한다면, 다변량 테스트는 예컨대 헤드라인을 두 가지, 히어로 이미지를 세 가지로 동시에 바꿔 총 여섯 가지 조합을 만들고 이를 트래픽의 서로 다른 구간에 노출합니다. 그 결과 어떤 조합이 전체적으로 가장 좋은 성과를 내는지뿐 아니라 각 요소의 개별 기여도, 그리고 한 요소의 효과가 함께 쓰인 다른 요소의 버전에 따라 달라지는 상호작용이 있는지까지 알 수 있습니다. 이 방식은 하나의 전면 리디자인이 다른 안보다 낫다는 것을 확인하는 데 그치지 않고, 페이지의 어떤 구체적 요소가 성과를 이끄는지 이해해야 할 때 유용합니다. 예를 들어 리디자인한 랜딩 페이지를 하나의 A/B 변형으로 테스트해 승리했더라도, 다변량 테스트 없이는 개선이 새 헤드라인 때문인지, 위치를 바꾼 폼 때문인지, 바뀐 이미지 때문인지 알 수 없습니다. 이 정보는 얻은 인사이트를 다른 페이지에 적용할 때 중요합니다. 다변량 테스트는 트래픽이 많은 페이지에서 가장 유용합니다. 여러 조합, 흔히 셀(cell)이라 부르는 단위 간의 의미 있는 차이를 감지하는 데 필요한 통계적 요건이 변수가 하나 늘어날 때마다 크게 증가하기 때문입니다. 변수 두 개에 각각 세 가지 변형을 두는 완전 요인 설계는 아홉 개의 셀이 필요하고, 각 셀마다 신뢰할 만한 통계적 유의성에 도달하려면 충분한 표본 크기, 흔히 셀당 수백에서 수천 건의 전환이 필요합니다. 이러한 트래픽 요건 때문에 MVT는 보통 이커머스 홈페이지나 구매 의도가 높은 제품 페이지처럼 이미 상당한 트래픽을 받는 페이지에 한정해 사용합니다. 틈새 B2B 랜딩 페이지처럼 트래픽이 적은 페이지에서는 현실적이지 않으며, 이런 경우에는 간단한 A/B 테스트를 순차적으로 진행하는 편이 대체로 더 빨리 실행 가능한 결론에 도달합니다. 테스트 플랫폼은 보통 두 가지 통계 접근법을 제공합니다. 모든 가능한 조합을 테스트해 최대한의 인사이트를 얻는 완전 요인 설계, 그리고 조합의 일부만 테스트해 상호작용 데이터 일부를 포기하는 대신 더 빨리 결론에 도달하는 부분 요인 설계 또는 다구치(Taguchi) 방식입니다. 흔한 오해는 다변량 테스트를 여러 A/B 테스트를 한꺼번에 돌리는 더 빠른 방법으로 여기는 것입니다. 실제로는 트래픽이 훨씬 많은 변형으로 나뉘기 때문에, 단일 A/B 테스트와 같은 통계적 신뢰도에 이르려면 훨씬 많은 트래픽과 더 긴 테스트 기간이 필요합니다. 셀당 필요한 표본 크기에 도달하기 전에 결과를 해석하는 검정력 부족 상태의 다변량 테스트는 전환율 최적화 업무에서 잘못된 결론이 나오는 가장 흔한 원인 중 하나입니다. 계획한 전체 테스트 기간, 주간 계절성을 고려해 흔히 2~4주로 설정하는 기간을 채우지 않고 첫 주의 선행 결과만 보고 테스트를 조기에 중단하는 것도 마찬가지입니다. CRO 컨설팅 실무에서 다변량 테스트는 보통 단순한 A/B 테스트로 가설의 큰 방향을 먼저 검증한 뒤에 쓰는 고급 도구로 자리매김합니다. 고객사의 트래픽이 충분하고, 향후 디자인 작업에서 어떤 페이지 요소를 우선시해야 할지 세밀한 인사이트를 원하는 상황에 적합합니다. 컨설턴트는 대개 MVT 결과를 히트맵이나 사용자 인터뷰 같은 정성 리서치와 함께 활용합니다. 어떤 조합이 수치상 이겼는지에 그치지 않고 사용자가 왜 그렇게 반응했는지까지 설명함으로써, 하나의 실험을 처음 테스트한 페이지를 넘어 다른 페이지에도 적용할 수 있는 재사용 가능한 디자인 원칙으로 바꿀 수 있습니다. 구체적인 예를 들어 보겠습니다. 이커머스 제품 페이지 팀이 두 가지 헤드라인 변형과 두 가지 제품 이미지 스타일을 동시에 테스트하려고 합니다. 완전 요인 다변량 테스트는 네 가지 조합을 만들어 냅니다. 이 페이지의 기준 전환율이 5%이고 어느 셀에서든 10%의 상대적 개선을 확실히 감지하려 한다면, 셀당 필요한 표본 크기는 쉽게 수천 명의 방문자에 이를 수 있고, 따라서 테스트가 끝나려면 전체 방문자가 수만 명 필요합니다. 반면 이 페이지의 월 방문자가 수천 명에 불과하다면 같은 테스트가 유의성에 도달하기까지 수개월이 걸립니다. 그런 상황에서는 먼저 헤드라인을, 그다음 이미지를 분리해서 순차적으로 두 번의 A/B 테스트를 진행하는 쪽이 대체로 훨씬 일찍 확신할 수 있는 실행 가능한 답을 줍니다.

M(으)로 시작하는 더 많은 용어

함께 만들어 봅시다, 다음 프로젝트를.

문의하기