ICE, PIE, PXL, RICE 지표가 서로 다른 의견을 보일 때 CRO 백로그 순위를 정하세요

마이크로소프트의 실험 플랫폼에서 테스트한 아이디어 중 약 3분의 1만이 목표로 했던 지표를 개선했으며, 넷플릭스의 경우 성공률이 10분의 1에 더 가깝다고 합니다.코하비와 롱보텀, 2015만약 백로그의 대부분이 잘못되었다면, 테스트 순서가 결과에 가장 큰 영향을 미칩니다. 이 가이드는 이미 트래픽보다 테스트 아이디어가 더 많은 CRO 담당자와 제품 소유자를 위한 것입니다. ICE, PIE, PXL, RICE 네 가지 지표를 사용하여 동일한 세 가지 아이디어를 평가하고, 네 가지 순위가 서로 다른 이유를 설명하며, 그중 하나를 선택하는 규칙을 제시합니다. 또한 네 가지 지표 모두에서 빠져 있는 중요한 요소, 즉 분기말 이전에 테스트가 유의미한 결과를 도출할 수 있는지 여부를 추가합니다.

각 프레임워크가 실제로 무엇에 베팅하고 있는가

네 가지 모두 수치를 산출하지만, 측정하는 대상은 서로 다릅니다. 각각의 시스템은 점수 체계라기보다는 어떤 기준이 시험을 실시할 가치가 있는지에 대한 압축적인 의견을 보여주는 것에 가깝습니다.

PXL을 도입하기 전에 두 가지 사항을 수정해야 합니다. PXL은 다른 CRO 프레임워크를 비판하기 위해 만들어졌습니다. 라자는 잠재 고객이나 신뢰도를 사전에 정확하게 예측할 수 있다면 테스트가 필요 없을 것이라고 주장합니다. 또한 PIE의 공식 페이지에서는 기준을 정의하지만 척도나 공식을 공개하지 않아 각 팀이 자체적으로 기준을 만들어냅니다. widerfunnel.com 도메인은 현재 conversion.com으로 리디렉션되므로 대부분의 CRO 자료에서 인용되는 프레임워크는 더 이상 관리되는 기본 사양이 없습니다.

동일한 업무 적체를 네 가지 방식으로 평가합니다.

중소 규모 소매업체를 대상으로 한 세 가지 후보자 테스트 결과입니다. 수치는 예시이며, 실제 고객 데이터는 아닙니다.

• A. 제품 페이지 가격 블록 내에 할부(결제) 내역이 표시됩니다. 월 180,000만 명의 제품 페이지 방문자가 있으며, 분석 데이터와 고객 의견 접수 티켓을 통해 이를 뒷받침합니다.
• B. 결제 과정에서 계정 생성을 강제하는 기능을 제거하세요. 월 12,000건의 결제 시도가 발생하며, 이는 사용성 테스트, 녹화 영상, 분석 데이터 및 고객 지원 문의를 통해 확인되었습니다.
• C. 홈페이지 메인 헤드라인을 새로 작성하세요. 월간 홈페이지 방문 횟수 220,000만 건, 관련 연구 자료 없음, 워크숍에서 제안됨.

모든 테스트는 적어도 하나의 프레임워크에서는 우수한 결과를 보여줍니다. 차이점은 프레임워크들이 제 역할을 제대로 수행하지 못하고 있다는 점입니다.

• RICE는 A를 최우선으로 생각합니다. 도달 범위는 단순히 인원수를 나타내는 것이기 때문에, 일반적인 퍼널에서 결제 및 계정 관리 작업을 묻어버릴 것입니다.
• ICE는 B를 최우선으로 생각합니다. 숙련된 실무자가 강제 계정 생성 영향도 9점, 신뢰도 9점을 주고, ICE는 의견을 곱셈으로 계산하기 때문입니다. 평가자를 바꾸면 로드맵도 바뀝니다.
• PIE는 C를 우선시합니다. 홈페이지에 가장 가치 있는 트래픽이 몰리고 콘텐츠 제작도 간단하기 때문입니다. PIE는 이러한 점을 고려하여 설계되었습니다. 페이지순위를 매기도록 요청받았습니다. 변경이는 중요한 템플릿에 대한 저렴한 수정을 보상합니다.
• PXL은 C를 마지막에 배치합니다. C는 증거 관련 질문 네 가지 모두에서 0점을 받기 때문입니다. 이는 채점자가 확신도에 대해 정직하게 평가할 것이라고 믿는 대신, 직감을 구조적으로 감점하는 유일한 평가 체계입니다.

어떤 것을 사용할지: 바인딩 제약 조건에 따라 선택하세요.

네 개의 문이 모두 사라졌습니다. 이 테스트를 완료할 수 있을까요?

도달 범위는 탐지 가능성과 다릅니다. 95% 유의수준과 80% 검정력을 갖는 양측 검정에 대한 정규 근사법을 사용하여 점수를 매기기 전에 타당성을 확인하십시오.

n per variant ≈ 15.7 × p × (1 - p) / d²

어디에 p 이는 변화시키고자 하는 지표의 기준 비율입니다. d 감지하고자 하는 절대적인 상승 높이입니다. 위의 백로그에 적용하면 다음과 같습니다.

RICE 순위 1위 테스트는 대부분의 팀이 예상하는 민감도에서 분기별로 결과를 읽을 수 없는 반면, RICE 순위 최하위 테스트는 한 달 안에 완료됩니다. A는 2%를 기준으로 하고 B는 55%를 기준으로 하며, 표본 크기는 다음과 같은 요소에 따라 결정됩니다. p(1-p)/d²페이지를 본 사람 수에 따라 결정되는 것이 아닙니다. 10%라는 최소 개선 효과를 행동으로 옮길 가치가 있는 것으로 선언하는 순간, 최소 감지 가능 효과는 통계적 세부 사항이 아니라 우선순위 결정 사항이 됩니다. 점수 산정 회의에서 이 부분을 결정하고, 분산 근사치가 서로 정확히 일치하지 않으므로 모든 계산에 하나의 계산기를 사용하십시오. 에반 밀러의 그리고 스위타스 A/B 테스트 계산기 둘 다 괜찮아요.

타당성 범주

• 2주 이내. 녹색. 득점하고 런을 해.
• 2~4주. 앰버. 최소 2주 전체 주기를 포함하여 단독으로 실행하세요.
• 4~8주. 표준 A/B 테스트의 경우 빨간색으로 표시됩니다. MDE 값을 높이거나, 더 높은 기준 측정 기준을 사용하거나, 사전 등록된 종료 규칙이 있는 순차적 설계를 사용하십시오.
• 8주 이상. A/B 테스트는 하지 마세요. 가이드라인 지표를 활용하여 판단에 따라 출시하거나 정성적 연구를 진행하세요.

이 관문은 영어권 CRO 관련 문헌에서 가정하는 것보다 훨씬 더 중요합니다. 터키의 전자상거래 규모는 2025년에 약 634,000개 기업을 통해 4조 5,670억 리라에 이를 것으로 예상됩니다.산업통상자원부, 2026년 5월 12일평균적으로 사업체당 연간 약 7.2만 리라의 매출을 올리고 있지만, 그 규모가 소수의 마켓플레이스에 집중되어 있어 일반적인 판매자의 매출은 이보다 훨씬 낮습니다. 한 달에 수백 건의 주문만 처리하는 사이트는 제대로 된 MDE(Market Development Environment)를 활용한 결제 테스트를 진행할 수 없습니다. 이러한 사이트의 경우, 우선순위 설정의 실질적인 결과물은 테스트 로드맵이 아니라 연구 및 측정 로드맵이 될 것입니다.

점수에 의미를 부여하기

1. 점수를 매기기 전에 기준점을 작성하세요. RICE에서 Impact 3은 해당 통화로 의미를 나타내야 합니다. 예를 들어 "구매 전환율을 5% 이상 상대적으로 변화시킴"과 같이 말입니다. 기준점이 없으면 단일 세션 내에서 점수가 변동될 수 있습니다.
2. 증거 수준별 신뢰도 상한선. 연구 활동은 50%로 제한되고, 분석만으로는 80%, 분석과 정성적 조사, 그리고 관련 분야의 이전 성공 사례가 모두 포함된 경우에는 100%로 제한됩니다. 이는 PXL의 체계적인 접근 방식을 RICE에 도입하는 것입니다.
3. 점수를 보지 않고 가장 큰 점수 차이부터 조정합니다. 세 사람이 독립적으로 점수를 매긴 후, 3점 이상 차이가 나는 항목에 대해서만 논의하면 30개 항목에 대해 약 40분이 소요됩니다.
4. 예상 점수와 실제 결과를 기록하세요. 10회 측정 후, 영향 점수가 관찰된 효과와 상관관계가 있는지 확인하십시오. 상관관계가 없다면 해당 척도는 장식용에 불과하므로 PXL로 전환해야 합니다.
5. 서로 다른 평가 기준의 점수를 절대 비교하지 마십시오. RICE 점수 144,000과 PXL 점수 10은 아무런 상관관계가 없습니다.

이것이 무너지는 지점은 어디일까요?

이러한 프레임워크는 아이디어의 순위를 매길 뿐, 개선하지는 않습니다. PXL에서 12점 만점에 11점을 받은 약한 가설도 여전히 약한 가설이며, 어떤 모델도 테스트 중인 페이지보다 상류에 실제 문제가 있다는 것을 알려주지 않습니다. 구체적인 한계점은 다음과 같습니다.

• 노력은 가장 신뢰도가 낮은 요소이며, 아무도 다시 점수를 매기지 않습니다. 라이스의 분모는 두 배만큼 틀릴 가능성이 가장 높은 숫자이며, 이는 임팩트 점수 오류보다 순위 변동에 더 큰 영향을 미칩니다.
• 네 가지 모델 모두 상호작용하지 않습니다. 하나의 퍼널에서 세 가지 테스트를 동시에 실행해도 결과는 간섭에 대해 아무것도 알려주지 않습니다.
• 계절 사업체의 경우 월별 휴가객 수를 파악합니다. 여행 및 교육 부문은 전체 시즌 주기 또는 작년 같은 기간 대비 도달률(Reach) 점수를 산출해야 합니다.
• 의존 관계는 보이지 않습니다. 테스트 백로그와 제품 로드맵에 공유되는 점수는 트래픽이 더 많은 쪽을 더 좋게 보이게 합니다.

[내부 데이터 필요: 지난 24개월간 Switas의 주요 부문별 승률을 업계 평균 승률 수치 대신 자체 데이터로 대체해야 함.]

[내부 데이터 필요: 예시를 대체할 익명화된 고객 백로그를 두 가지 프레임워크로 평가한 자료.]

자주하는 질문

CRO 업무에 있어 RICE가 ICE보다 더 나은 선택일까요?

본질적으로는 그렇지 않습니다. RICE는 도달 범위를 더하고 노력(Effort)을 분모에 포함시켜 전송 용량이 병목 현상일 때 도움이 되지만, 트래픽이 많은 페이지에 유리하게 작용하는 경향이 있습니다. 엔지니어링 시간이 부족할 때는 RICE를, 여유가 있을 때는 ICE를 사용하세요.

테스트를 진행하기에 충분히 높은 점수는 몇 점일까요?

네 가지 요소 모두 절대적인 임계값이 없습니다. 점수는 순서형 척도이므로 다음에 무엇을 해야 할지를 알려줄 뿐, 어떤 일을 할 가치가 있는지를 알려주지는 않습니다. 절대적인 기준은 실행 가능성입니다. 만약 어떤 검사가 8주 안에 유의미한 결과를 얻지 못한다면, 그 점수는 무의미합니다.

두 가지 프레임워크를 결합할 수 있을까요?

척도가 서로 관련이 없기 때문에 출력값을 결합하는 것은 의미가 없습니다. 하지만 입력값을 결합하는 것은 의미가 있습니다. RICE의 신뢰도에 PXL의 증거 관련 질문을 결합하는 것은 잘 작동하는 혼합 방식이며, 우리가 가장 자주 사용하는 방식입니다.

PXL은 전자상거래 사이트가 아닌 곳에서도 작동하나요?

증거 관련 질문은 모든 제품에 적용 가능합니다. 레이아웃 관련 질문은 마케팅 페이지를 전제로 하고 있어 로그인한 사용자 흐름에는 적합하지 않습니다. 따라서 사용자가 작업 흐름에서 해당 요소를 얼마나 자주 접하는지에 대한 질문으로 대체하십시오.

트래픽이 적은 사이트는 이러한 프레임워크를 사용해야 할까요?

네, 작업 순서를 정하는 데는 유용하지만, 결과물을 테스트 로드맵이라고 부르는 건 그만두세요. 테스트를 실행할 수 없는 사이트에서는 동일한 방식으로 UX 감사 결과, 연구 질문, 구축 작업 순서를 정할 수 있습니다.

채점 세션에는 누가 참여해야 할까요?

분석 담당자, 연구원, 지원 담당자, 그리고 실행 담당자 등 3~5명이 각기 다른 근거를 검토해야 합니다. 점수만으로는 확신에 찬 헛소리만 만들어낼 뿐이고, 10명이 참여해서 점수를 매기면 아무런 의미도 없는 평균값만 얻게 됩니다.

본인의 업무 적체에 이 방법을 적용해 보세요.

테스트 목록 맨 위에 있는 10개 항목을 가져와서 각각 위의 타당성 공식에 대입하고, 가정한 민감도에서 몇 개가 살아남는지 세어보세요. 절반 이상이 살아남지 못한다면 순위는 애초에 문제가 아니었던 것입니다. CRO 및 실험팀 이러한 평가 및 타당성 검토 과정을 프로젝트 첫 단계로 진행합니다.

지우면 좋을거같음 . SM

• Kohavi, R. 및 Longbotham, R. (2015). 온라인 제어 실험 및 A/B 테스트Microsoft 수치에 대해서는 Kohavi, Crook 및 Longbotham(2009)을, Netflix 수치에 대해서는 Moran(2007)을 인용합니다.
• 맥브라이드, S. (2018년 1월 5일). RICE: 제품 관리자를 위한 간단한 우선순위 설정 방법인터콤.
• 라자, P. (2016년 9월 27일). PXL: A/B 테스트 우선순위를 정하는 더 나은 방법, CXL.
• PIE 우선순위 프레임워크Conversion(이전 WiderFunnel)은 Chris Goward에게 크레딧을 부여했습니다.
• 터키 무역부 (2026년 5월 12일). 2025년 전자상거래 거래량은 4조 6천억 리라에 달할 것으로 예상됩니다..
• 밀러, E. 샘플 크기 계산기.
• 스위타스. A/B 테스트 계산기.