경험적 평가

휴리스틱 평가는 전문가가 인터페이스를 일련의 정립된 사용성 원칙에 비추어 검토하고, 원칙을 위반하는 부분을 기록하는 전문가 검토 방법입니다. 1990년 야콥 닐슨과 롤프 몰리히가 개발한 이 방법은 사용자 테스트에 대한 빠르고 저렴한 대안으로, 참가자 모집 없이도 상당수의 사용성 문제를 찾아낼 수 있도록 설계되었습니다.

이 방법의 절차는 사용된 특정 휴리스틱 세트보다 더 중요합니다. 각 평가자는 인터페이스를 독립적으로 검토하며, 일반적으로 두 번에 걸쳐 검토합니다. 첫 번째는 흐름에 익숙해지기 위한 것이고, 두 번째는 체계적으로 검사하기 위한 것입니다. 발견 사항은 위반된 원칙, 위치, 그리고 빈도, 영향 및 지속성을 기반으로 한 심각도 추정치와 함께 기록됩니다. 모든 평가자가 독립적으로 검토를 마친 후에야 결과를 종합합니다. 평가 도중 논의를 하면 결과가 수렴되어 검토 범위가 좁아지기 때문입니다. 닐슨의 연구에 따르면 3~5명의 평가자가 더 많은 인원이 발견할 수 있는 문제의 대부분을 식별할 수 있으며, 그 이상으로 인원이 늘어나면 효율성이 급격히 떨어지는 것으로 나타났습니다.

주요 장점은 속도와 비용 효율성입니다. 인력 충원, 일정 계획, 인센티브 예산 책정 없이도 중요한 흐름에 대한 철저한 평가를 며칠 만에 완료할 수 있으며, 와이어프레임이나 프로토타입과 같이 아직 구축되지 않은 단계에도 적용할 수 있습니다. 또한, 도출된 결과는 정립된 원칙에 따라 표현되므로 개인적인 의견에 치우치지 않고 이해관계자들과의 논의에서 타당성을 입증하기 쉽습니다.

이 방법의 한계점 또한 잘 알려져 있습니다. 전문가 검토자는 사용자가 아니기 때문에 인터페이스 관례를 깊이 이해하고 있지만, 실제 고객이 겪는 도메인 혼란이나 감정적 맥락을 공유하지 못하며, 해당 주제에 대한 익숙하지 않음에서 비롯되는 문제를 정확하게 파악할 수 없습니다. 또한 이 방법은 실제 사용자에게 실질적인 영향을 미치지 않는 위반 사항을 지적하는 오탐을 발생시키고, 표면적인 문제를 과도하게 식별하는 반면 제품과 사용자의 사고방식 간의 근본적인 개념적 불일치를 간과하는 경향이 있습니다. 평가자의 자질이 결과에 큰 영향을 미치며, 이 방법의 효과는 이를 적용하는 사람의 역량에 달려 있습니다.

이러한 이유로 휴리스틱 평가는 사용자 테스트를 대체하기보다는 보완하는 것으로 이해하는 것이 가장 좋습니다. 효과적인 실제 테스트 순서는 전문가 검토를 먼저 진행하고, 명백한 문제점을 수정한 다음, 개선된 버전을 실제 사용자에게 제공하는 것입니다. 이렇게 하면 전문가라면 누구나 발견할 수 있었던 문제에 시간을 낭비하지 않고 테스트를 진행할 수 있습니다. 순서를 반대로 하면 연구를 통해 발견할 필요가 없었던 결함에 참가자들의 시간을 허비하게 됩니다.

심각도 등급은 일반적으로 받는 관심보다 더 중요하게 다뤄져야 합니다. 왜냐하면 심각도 등급은 결과물의 활용 가능성을 결정짓기 때문입니다. 우선순위가 지정되지 않은 40개의 문제점 목록은 실행하기 어렵고, 가장 쉬운 순서대로 처리되는 경향이 있어, 심각한 문제점은 그대로 방치되는 반면 겉보기에는 사소한 문제만 해결되는 경우가 발생합니다. 각 문제점이 영향을 미치는 사용자 수, 사용자 업무 방해 정도, 그리고 문제점을 파악한 후 해결 가능한지 여부를 기준으로 등급을 매기면 비즈니스 영향도에 비례하는 순위를 생성할 수 있습니다. 심각도와 함께 수정 작업에 필요한 노력 추정치를 추가하면 목록이 구체적인 계획으로 전환되어, 심각도는 높지만 수정 노력이 적게 드는 항목은 즉시 수정하고, 심각도와 수정 노력이 많이 드는 항목은 로드맵에 포함시켜야 합니다.

이 결과물은 심각도 등급이 지정된 우선순위별 결함 목록이기 때문에 수정 백로그에 직접적으로 연결되며, 이것이 대부분의 수정 백로그의 핵심을 이루는 이유입니다. UX 감사 일반적으로 발견 사항은 현재 동작 자체가 결함이 있어 검증 없이 즉시 수정할 수 있는 항목과, 테스트할 가치가 있는 설계 선택 사항을 나타내는 항목으로 나뉘며, 후자는 실험 백로그에 추가됩니다. CRO 서비스 전문가의 판단에만 의존하여 배송하는 것이 아니라, 프로그램을 통해 배송하는 것입니다.