완료해야 할 결정에 따라 진행형, 비진행형 또는 비동기식 사용성 테스트 중에서 선택하세요.

대부분의 팀은 예산이나 습관에 따라 사용성 테스트 방법을 선택하지만, 결국 그 세션들이 애초에 의도했던 질문에 대한 답을 제공하지 못한다는 사실을 깨닫습니다. 테스트 방법 선택은 취향의 문제가 아니라, 달성하고자 하는 목표에 따라 결정됩니다. 이 가이드는 중재형, 비중재형, 비동기형 테스트 중에서 최적의 방법을 선택하는 데 도움을 줍니다. 각 방법이 지원하는 표본 크기, 비용, 데이터 품질, 그리고 터키와 EU에서 데이터 전송 규정에 따른 제약 조건까지 자세히 설명합니다. 이 가이드는 연간 몇 건의 테스트만 진행하고 단 하나의 테스트도 낭비할 여유가 없는 제품, UX, CRO 팀을 위해 작성되었습니다. 먼저 참고할 만한 수치를 살펴보겠습니다. 로라 포크너의 2003년 연구에 따르면, 무작위로 추출한 5명의 사용자 표본은 평균적으로 알려진 문제의 85.5%를 발견했지만, 최악의 경우 5명의 사용자 표본은 55%만을 발견했습니다.

비교하기에 충분히 정확하게 정의된 세 가지 방법

관리자 승인됨. 연구자와 참여자는 직접 만나거나 통화를 통해 함께 세션에 참여합니다. 연구자는 과제를 설정하고, 참여자를 관찰하고, 질문을 합니다. 결과물은 관찰된 행동과 그에 대한 설명입니다.

검열 없이 녹화되었습니다. 참가자는 미리 정해진 과제를 혼자 수행하며, 플랫폼은 화면, 클릭, 그리고 일반적으로 오디오를 캡처합니다. 연구자는 나중에 녹화된 내용을 분석합니다. 결과물: 설명이 없는 행동.

비동기식 자기 보고. 참가자는 혼자 작업하며 무엇이 잘못되었는지 기록합니다. 이는 일기 형식의 연구, 피드백 양식, 주석이 달린 과제물 작성 등을 통해 이루어집니다. 녹음된 내용은 분석되지 않습니다. 최종 결과물은 참가자 본인의 설명입니다.

이 세 가지를 "조정된 문제 vs. 조정되지 않은 문제"로 축소하는 것이 널리 인용되는 한 수치가 잘못 적용되는 방식입니다. 사용자가 훈련된 연구원이 관찰한 문제의 약 절반을 보고한다는 결과는 다음과 같습니다. 자기 보고 연구참가자들이 직접 문제를 기록한 경우입니다. 이는 비동기식 자기 보고에 관한 사실이지, 연구자가 분석한 녹화된 비대면 세션에 관한 사실이 아닙니다. 누군가 비대면 방식이 문제의 절반만 찾아낸다고 말한다면, 그 사람이 어떤 방식을 의미하는지 물어보세요.

방법이 아니라 결정부터 시작하세요.

연구가 끝났을 때 말할 수 있기를 바라는 문장을 적고, 해당 행을 찾으세요.

마지막 줄은 겉보기보다 훨씬 중요합니다. 사용성 테스트는 인터페이스가 사용 가능한지, 그리고 어떤 부분에서 문제가 있는지를 알려줄 뿐, 변경 사항이 매출에 미치는 영향을 알려주지는 않습니다. 5명을 대상으로 비즈니스 지표 관련 질문을 해결하는 연구는 적절하지 않으며, 그 결과는 실제 판매 과정에서 효력을 발휘하지 못할 것입니다.

네 가지 질문으로 구성된 화면

표에 질문이 없으면 다음 단계를 순서대로 실행하세요. 첫 번째 "예"가 정답입니다.

1. 그 일이 일어나는 동안 "왜"라고 물어볼 필요가 있을까요? 검토 완료. 녹화된 영상에 프로브를 추가로 설치할 수 없습니다.
2. 참가자에게 자격 증명, 샌드박스, 보조 기술 또는 제공해야 하는 장치가 필요합니까? 관리형 플랫폼. 관리되지 않는 플랫폼은 공개 프로토타입을 잘 다루지만, 접근이 제한된 환경은 제대로 관리하지 못합니다.
3. 신뢰구간이 포함된 수치가 필요하신가요? 중재되지 않은 세션. 중재된 8회 세션의 완료율은 50%와 90% 사이의 간격이 너무 넓어 구분할 수 없습니다.
4. 해당 행동이 한 번의 세션 이상에 걸쳐 나타나나요? 비동기식입니다. 일주일 동안 진행되는 온보딩이나 예약 취소 후 재개된 경우는 60분 세션에 적합하지 않습니다.

표본 크기: 각 방법이 지원할 수 있는 표본 크기

"사용자 5명이면 충분하다"는 규칙은 다음에서 유래되었습니다. 야콥 닐슨의 2000년 논문 그리고 이는 문제 발견에 있어서 단일 흐름 내에서만 평균적으로 성립합니다. 포크너는 60명의 참가자에게 시간 기록 애플리케이션을 사용하게 하고 45개의 문제를 분류한 다음, 각 크기별로 100개의 무작위 그룹을 다시 표본 추출했습니다. 모두가 간과하는 것은 바로 이러한 분포입니다.

이것을 목표가 아닌 위험 요소 분석으로 이해하십시오. 보통 5회 정도의 세션으로 대부분의 문제점을 파악할 수 있으며, 20회 실행 중 한 번 정도는 문제가 있는 흐름이 괜찮다고 생각하게 됩니다. 프로토타입에는 적합하지만, 출시 직전의 결제 시스템에는 심각한 문제가 될 수 있습니다. 저희는 다음과 같이 세션을 나누어 진행합니다. 단일 흐름에 대한 탐색 세션은 5~8회, 세그먼트 또는 기기별로 분기되는 경우 10~12회, 문제점 목록이 아닌 요율을 도출하는 것이 목표인 경우에는 30회 이상의 비대면 세션을 진행합니다.

비용 및 일정: 돈이 실제로 어디에 쓰이는지

조정된 비용은 주로 연구자의 일정 관리(예약, 불참자, 세션 진행, 분석)에 소요됩니다. 조정되지 않은 비용은 대부분 과잉 모집에서 발생하는데, 이는 탈락한 참가자에 대한 비용까지 지불해야 하고, 탈락률은 대부분의 예산에서 예상하는 것보다 높기 때문입니다.

안에 2023년 PLOS ONE에 게재된 5개 연구 플랫폼 비교 (N = 2,729) 종합적인 품질 기준을 충족한 응답자 비율은 Prolific에서 75.4%, CloudResearch에서 75.1%, SONA에서 62.7%, Qualtrics에서 59.1%, MTurk에서 54.2%였으며, 고품질 응답자 1인당 비용은 1.90달러에서 8.17달러 사이였습니다. 2026년 질적 및 양적 연구 더욱 엄격한 기준이 적용되었습니다. 동의한 참가자 4,453명 중 선별 과정을 거쳐 15.97%만이 남았으며, 주의력 점검에서 27.13%가 탈락했고, 명시적인 봇 감지 질문에서는 3.48%만 적발되었습니다.

따라서 분석에 필요한 표본 수를 예상 참여율로 나눈 값으로 비대면 연구 규모를 정하고, 모든 스크립트에 최소한 하나의 개방형 질문과 하나의 주의 집중 확인 질문을 포함시키세요. 저렴한 봇 스크리닝은 효과가 없기 때문입니다. 대면 세션은 그 자체로 스크리닝 효과를 냅니다. 통화에 참여하여 45분 동안 대화를 나누는 사람은 다른 모든 사실이 어떻든 간에 결국 사람입니다.

[내부 데이터 필요: Switas의 모집 안내부터 첫 번째 세션 완료까지의 평균 일수 및 터키어로 진행된 비대면 연구에서 관찰된 스크리닝 탈락률을 위의 일반 플랫폼 수치 대신 제공해야 합니다.]

터키 및 EU 레이어가 사용자의 선택을 무시할 수 있습니다.

검증되지 않은 플랫폼은 참가자의 화면, 음성 및 얼굴까지 녹화하여 일반적으로 터키 외부, 더 나아가 유럽경제지역(EEA) 외부에 있는 공급업체 인프라에 저장합니다. 이는 개인 정보의 해외 전송에 해당하며, 터키 법은 2024년 6월 1일부터 이러한 전송을 정해진 절차를 통해 처리하도록 규정하고 있습니다.

법률 7499(관보 32487호, 2024년 3월 12일)는 법률 6698 제9조를 개정했습니다. 이제 해외로의 자금 이체는 적정성 결정 또는 명시된 안전장치(사전에 승인된 구속력 있는 기업 규칙, 당국이 발표하고 통보한 표준 계약, 또는 당국이 승인한 맞춤형 약정)를 필요로 합니다. 명시적 동의를 포함한 예외적 사유는 우발적이고 비반복적인 이체에 대해 규정하고 있으며, 상시 연구 프로그램은 이에 해당하지 않습니다. 당국 자체 페이지 기록상으로는 아직 어느 나라도 적합하다고 선언되지 않았기 때문에, 실제로 해외 테스트 플랫폼은 누군가가 서명하고 통보해야 하는 표준 계약에 따라 운영됩니다.

우리가 적용하는 규칙은 다음과 같습니다. 연구에서 참가자 본인의 계정, 실제 고객 데이터 또는 의료 및 공공 부문 업무에서 흔히 발생하는 특수 범주 정보를 수집하는 경우, 비대면 방식이 더 저렴하더라도 자체적으로 관리하는 인프라에서 진행되는 중재형 세션이 규정 준수 측면에서 더 빠른 경로입니다. 공개 프로토타입 및 가상 작업의 경우 플랫폼을 사용하는 방식이 적합합니다. 터키 외 독자분들은 GDPR 5장의 구조와 유사함을 알 수 있겠지만, 한 가지 중요한 차이점이 있습니다. 적정성 결정이 발효되지 않아 EU-미국식 프레임워크를 참고할 수 없다는 점입니다.

무엇이든 예약하기 전에

• 판결문이 적혀 있으며, 판결을 바꿀 수 있는 판단 사항을 제시할 수 있습니다.
• 해당 메서드는 지난번에 실행했던 결과가 아니라 위의 표나 화면에서 가져온 것입니다.
• 표본 크기는 결과물(문제 목록 또는 단가)을 기준으로 정당화됩니다.
• 비대면 방식만 해당: 목표 n을 예상 유지율로 나눈 값; 스크립트에는 주관식 질문과 주의 집중 확인이 포함되어 있습니다.
• 진행자 참여형: 참가자가 설명이 필요 없도록 과제가 작성되며, 질문은 준비되지만 유도 질문은 아닙니다.
• 기록 방식, 저장 위치, 보존 기간 및 전송 메커니즘은 채용 전에 확정되었습니다.
• 분석 일정은 누군가 소유하고 있습니다. 분석되지 않은 녹음 파일은 검토되지 않은 연구가 아무런 결과를 내지 못하는 이유입니다.

이것이 무너지는 지점은 어디일까요?

포크너의 표는 45개의 문제가 분류된 하나의 시간 기록표 애플리케이션에서 가져온 것입니다. 발견 곡선은 평균적인 참여자가 평균적인 문제를 접할 확률에 따라 달라지는데, 분기되는 흐름이 많은 제품일수록 그 확률은 낮아집니다. 이 표는 단순한 흐름에 대한 하한선으로 생각하면 됩니다.

이 가이드에서는 모집 절차, 중재 기법, 조사 결과를 가설로 전환하는 방법, 접근성 적합성 테스트(사용성 연구가 아닌 기준에 대한 감사)는 다루지 않습니다.

AI가 진행하는 인터뷰는 이제 진행자와 비진행자 인터뷰의 중간 형태로, 두 가지를 결합한 형태로 홍보되고 있습니다. 하지만 여기에 인용된 연구들과 같은 수준의 방법론 비교 연구 결과는 아직 발표되지 않았습니다. 그러한 연구가 나올 때까지는 AI 진행 인터뷰를 더 나은 스크립트를 사용하는 비진행자 테스트 정도로 간주하고, 숙련된 질문자의 판단에 따라 결정되는 상황에서는 AI 진행 인터뷰를 활용하지 않는 것이 좋습니다.

FAQ

참가자가 다섯 명이면 충분할까요? 평균적으로 다섯 명이 한 번의 작업 흐름에서 약 85%의 문제를 발견하지만, 포크너가 100개의 5인 표본을 대상으로 조사한 결과 최악의 경우에도 55%밖에 발견하지 못했습니다. 시제품에는 적합한 수준이지만, 출시를 앞둔 제품에는 턱없이 부족합니다.

원격으로 진행자가 참여하는 연구를 진행할 수 있나요? 네, 대부분의 제품 조사에서는 그렇게 하는 것이 좋습니다. 진행자 참여는 조사자가 현장에 있는 것이지, 회의실에 있는 것이 아닙니다. 회의실에 있으면 주변 환경적 맥락을 잃는 대신 도달 범위가 넓어집니다.

완료율을 얻으려면 참가자가 몇 명이나 필요합니까? 조정된 연구에서 감당할 수 있는 것 이상입니다. 먼저 감지해야 할 차이점을 결정하세요. 70%와 85%를 구분하는 데 필요한 표본 크기는 30%와 80%를 구분하는 데 필요한 표본 크기와는 완전히 다릅니다. 그런 다음 그에 맞춰 표본 크기를 정하고 모집 대상자의 4분의 1을 제외할 것을 예상하세요.

비개입 테스트가 개입된 테스트보다 문제를 더 적게 발견하는가? 연구자가 분석한 녹화된 비공개 세션에서는 유사한 행동 문제들이 발견되었지만, 그에 대한 설명은 찾을 수 없었습니다. "문제의 절반"이라는 수치는 아무도 세션을 참관하지 않는 자기 보고 형식에 적용됩니다.

회의 내용을 녹음하려면 명시적인 동의가 필요한가요? 어떤 방법을 선택하든 합법적인 근거와 명확한 고지가 필요하며, 터키에서는 해외 송금 문제는 기록 문제와 별개입니다.

관리자 참여 없이 설정 가능한 작업 세트는 얼마나 길어야 할까요? 일반적으로 15분에서 20분 정도 소요됩니다. 스크립트가 길어질수록 중도 탈락률이 높아지고, 걸러내고 싶은 참가자들에게 오히려 보상을 주는 꼴이 됩니다.

우리와 함께 일하는

증거를 기다리는 결정이 내려질 때까지 기다려야 하고, 이 세 가지 방법 중 어떤 것이 결정에 도움이 될지 확신이 서지 않는다면, 연구 방법, 표본 크기, 참여자 모집 및 데이터 전송 서류 작성 등 연구 범위를 함께 검토해 드릴 수 있습니다. 자세한 내용은 문의해 주세요. 스위타스 사용자 조사 서비스.

지우면 좋을거같음 . SM

• 포크너, L. (2003). 5명의 사용자라는 가정을 넘어서행동 연구 방법, 35(3), 379–383.
• 닐슨, J. (2000년 3월 19일). 단 5명의 사용자로만 테스트해도 되는 이유닐슨 노먼 그룹.
• 측정U. 사용자가 직접 사용성 문제를 보고할 수 있을까요? — Castillo(1998) 요약, Bruun et al. (2007), Andreasenet al. (2009).
• Douglas, Ewell & Brauer (2023년 3월 14일). 온라인 인체 대상 연구의 데이터 품질. PLOS ONE.
• 봇과 잘못된 데이터와의 전쟁 (2026년 4월 11일). 품질 및 수량, 60(4).
• 키시셀 베릴레리 코루마 쿠루무, Yurt Dışına Aktarım — 법률 제6698호 제9조(법률 제7499호에 의해 개정됨, 관보 제32487호, 2024년 3월 12일, 2024년 6월 1일 시행).