ほとんどのチームは、予算や習慣でユーザビリティ テストの方法を選択しますが、そのセッションでは、そのセッションを促した質問に答えることができないことがわかります。方法は好みの問題ではなく、完了しようとしている決定によって決まります。このガイドでは、モデレート、非モデレート、非同期テストの中から選択するための決定優先の方法を示します。それぞれのサンプル サイズ、それぞれのコストとデータ品質の現実、トルコと EU で選択を制限するデータ転送ルールについて説明します。これは、年に数回の調査を実施し、1回も無駄にする余裕のない製品、UX、CRO チーム向けです。まず、キャリブレーション ナンバーを見てみましょう。ローラ フォークナーの 2003 年の調査では、5 人のユーザーのランダム サンプルで、既知の問題の平均 85.5% が見つかりましたが、最悪の 5 人のユーザーの抽出では 55% しか見つかりませんでした。
比較するために十分に正確に定義された３つの方法
モデレート済み。 研究者と参加者は、対面または電話でセッションに参加する。研究者は課題を設定し、観察し、質問を投げかける。成果物：観察された行動とそれに対する説明。
検閲なし、録画。 参加者は、あらかじめ決められた一連のタスクを一人で実行し、その間、プラットフォームが画面、クリック、そして通常は音声を記録します。研究者は後でその記録を分析します。結果として得られるのは、説明のつかない行動データです。
非同期型の自己申告。 参加者は一人で作業を行い、何がうまくいかなかったかを書き留める（日記形式の記録、フィードバック用紙、注釈付き課題など）。録音データは分析されない。成果物は参加者自身の記録である。
これら３つを「モデレート済み vs モデレートなし」に集約すると、広く引用されているある数値が誤って適用されることになる。訓練を受けた研究者が観察する問題の約半分をユーザーが報告するという発見は、 自己申告調査参加者自身が問題点を記録した非同期型の自己報告に関する事実であり、研究者が分析する記録済みの非管理型セッションに関する事実ではありません。非管理型セッションでは問題の半分が見つかると言う人がいたら、どちらのことを指しているのか尋ねてください。
方法論からではなく、決断から始めよう
勉強が終わったときに言えるようになりたい文章を書き出し、その文章に対応する行を見つけてください。
| 終了させる必要がある決定 | 証拠がそれを終わらせる | 方法 |
|---|---|---|
| なぜ人々はこの段階で諦めてしまうのでしょうか？ | 行動とその背後にある理由 | モデレーション |
| この概念はそもそも理解されているのだろうか？ | ユーザー自身の言葉で理解度を検証する | モデレーション |
| これはスクリーンリーダーに対応していますか？ | 毎日1つを使用する人による使用状況の観察 | モデレーション |
| 人々は自力でタスクXを完了できますか？ | 信頼区間付き完了率 | 検閲なし、録画済み |
| どちらのレイアウトの方がエラーが少ないでしょうか？ | サンプルサイズでそれらを区別できる比較指標 | 検閲なし、録画済み |
| 実際の使用状況でいうと、1週間とはどのようなものなのでしょうか？ | 複数日にわたる繰り返し入力 | 非同期日記 |
| どちらの変更が収益増につながるか？ | 実際の交通状況下でのライブ実験 | 3つのうちどれでもない - A/Bテストを実施する |
最後の行は見た目以上に重要です。ユーザビリティテストは、インターフェースが使えるかどうか、そしてどこで不具合が生じるかを教えてくれるものであり、変更による収益への影響を教えてくれるものではありません。ビジネス指標に関する疑問を解決するために5人を対象とした調査を行うのは不適切な方法であり、その結果は販売ファネルに投入された時点では意味をなさなくなります。
4つの質問によるスクリーニング
表にあなたの質問が含まれていない場合は、以下の手順を順番に実行してください。最初に「はい」と回答されたものが正解です。
- それが起こっている最中に「なぜ？」と問う必要があるだろうか？ 規制対象です。録画データにプローブを後付けすることはできません。
- 参加者は、認証情報、サンドボックス環境、支援技術、または貴社が提供するデバイスを必要としますか？ モデレートされたプラットフォーム。モデレートされていないプラットフォームは、公開プロトタイプには適しているが、制限付き環境には適していない。
- 信頼区間付きの数値が必要ですか？ モデレーターなし。モデレーター付きのセッションを8回実施した場合、完了率の差が非常に大きく、50%と90%を区別することができない。
- その行動は複数回にわたるものですか？ 非同期処理です。1週間にわたるオンボーディングや、予約の中断と再開といったケースは、60分のセッションには収まりません。
サンプルサイズ：各手法がサポートできるサンプルサイズ
「5ユーザーで十分」というルールは ヤコブ・ニールセンの2000年の記事 そして、これは単一のフローにおける問題発見に関して、平均的にのみ成り立つ。フォークナーは60人の参加者にタイムシートアプリケーションを使わせ、45の問題を分類し、各サイズで100のランダムなグループを再サンプリングした。誰もが忘れがちなのは、そのばらつきである。
| ユーザー | 発見された問題の平均割合 | 100回の抽出の中で最悪のサンプル |
|---|---|---|
| 5 | 85.5% | 55% |
| 10 | 94.7% | 82% |
| 20 | 98.4% | 95% |
| 30 | 99.0% | 97% |
| 50 | 100% | 98% |
これは目標ではなく、リスクステートメントとして読んでください。通常、5回のセッションで問題点のほとんどが明らかになり、約20回に1回は、壊れたフローが問題ないと思い込んでしまうことがあります。これはプロトタイプとしては許容範囲ですが、出荷間近の製品版としては致命的です。私たちの作業分担は、単一のフローの発見には5～8回のモデレート付きセッション、セグメントまたはデバイスごとに分岐する場合は10～12回、成果物が問題リストではなくレートである場合は30回以上のモデレートなしセッションです。
費用とスケジュール：お金は実際にどこに使われるのか
調整可能なコストは主に研究者のスケジュール管理（スケジューリング、欠席、セッション、そして分析）にかかる費用です。調整不可能なコストは主に過剰募集によるもので、参加者を除外する際にも費用が発生し、その除外率はほとんどの予算で想定されているよりも高いからです。
で 2023年PLOS ONE誌による5つの研究プラットフォームの比較 （N = 2,729）総合品質基準を満たした回答者の割合は、Prolificで75.4%、CloudResearchで75.1%、SONAで62.7%、Qualtricsで59.1%、MTurkで54.2%であり、高品質回答者1人あたりのコストは1.90ドルから8.17ドルでした。 2026年の質と量に関する研究 より厳しい基準では、同意した参加者4,453人のうち、スクリーニング後に残ったのは15.97%で、注意チェックで27.13%が不適格と判断され、明確なボット検出質問で検出されたのはわずか3.48%でした。
したがって、モデレートされていない調査の規模は、分析に必要な人数を予想される参加者維持率で割った値に設定し、すべてのスクリプトに少なくとも1つの自由回答形式の質問と1つの注意確認項目を含めてください。安価なボットによるスクリーニングは効果がありません。モデレートされたセッションは、それ自体がスクリーニングとなります。通話に参加して45分間あなたと話をする人は、他の条件がどうであれ、間違いなく人間です。
[必要な内部データ：上記の一般的なプラットフォーム数値に代わる、募集概要から最初のセッション完了までのSwitasの平均日数、およびトルコ語の非モデレート型調査におけるスクリーニング除外率。]
トルコとEUレイヤーは、あなたの選択を上書きすることができます
監視機能のないプラットフォームは、参加者の画面、多くの場合音声や顔を記録し、通常はトルコ国外、多くの場合EEA域外のベンダーのインフラストラクチャに保存します。これは個人データの国外移転であり、2024年6月1日以降、トルコ法では、こうした移転は定められた一連の仕組みを通じて行われることになっています。
法律7499（官報32487、2024年3月12日）は、法律6698の第9条を書き換えた。海外への移転には、十分性決定または列挙された保護措置（事前に承認された拘束力のある企業規則、当局が公表し当局に通知した標準契約、または当局が承認した特注の誓約）が必要となる。明示的な同意を含む例外的な根拠は、偶発的で非反復的な移転のために起草されており、常設の研究プログラムはこれに該当しない。 当局自身のページ 記録によると、十分な水準を満たしていると宣言された国はまだなく、実際には、外国の検査プラットフォームは、誰かが署名して通知しなければならない標準契約に基づいて運営されている。
私たちが適用するルールは、調査で参加者自身のアカウント、実際の顧客データ、または特別なカテゴリーの情報（医療や公共部門の業務では日常的に行われる）が収集される場合、管理するインフラストラクチャ上でのモデレートされたセッションは、モデレートされない方が安価であっても、コンプライアンスへの最短ルートとなるというものです。公開プロトタイプと合成タスクの場合は、プラットフォームルートで問題ありません。トルコ国外の読者は、GDPR第5章の構造を認識できるでしょうが、一つ大きな違いがあります。それは、十分性決定が発効していないため、頼りにできるEU-米国型のフレームワークがないことです。
予約する前に
- 決定文が書き出されているので、それを変更するような発見を挙げることができます。
- その方法は、前回実行した内容ではなく、上記の表または画面から取得したものです。
- サンプルサイズは、成果物（問題リストまたは割合）に基づいて正当化される。
- モデレーターなしの場合のみ：目標人数を予想保持率で割った値。スクリプトには自由回答形式の質問と注意確認が含まれます。
- モデレーター付きの場合のみ：参加者が説明を必要としないように課題が作成され、質問は準備されているが誘導的ではない。
- 記録方法、保管場所、保存期間、転送メカニズムは、採用前に決定済みである。
- 分析カレンダーは誰かが管理している。分析されていない録音データがあるからこそ、モデレーターのいない研究は何も生み出さないのだ。
これが破綻するところ
フォークナーの表は、45個の問題が登録されたタイムシートアプリケーション1つから得られたものです。発見曲線は、平均的な参加者が平均的な問題に遭遇する確率に依存し、分岐フローが多い製品ではその確率が低下します。この表は、単純なフローの下限値として扱ってください。
このガイドでは、採用方法、審査手法、調査結果を仮説に変換する方法、アクセシビリティ適合性テスト（ユーザビリティ調査ではなく、基準に対する監査）については扱いません。
AIによる面接は現在、モデレート型面接と非モデレート型面接の中間に位置づけられ、両者を組み合わせたものとして宣伝されています。しかし、ここで引用した研究と同等の水準で、方法論を比較した研究結果はまだ発表されていません。そのような研究結果が発表されるまでは、AIによる面接は、より優れたスクリプトを用いた非モデレート型面接として扱い、熟練した質問力に依存するような判断を下すべきではありません。
FAQ
参加者5人で本当に十分だろうか？ 平均すると、5人で1つのフロー内の問題の約85%を発見できるが、フォークナーが行った100の5人サンプルでは、最悪の場合55%しか発見できなかった。プロトタイプとしては妥当だが、出荷を控えた製品には不十分だ。
遠隔でモデレーター付きの調査を実施することはできますか？ はい、そしてほとんどの製品開発においてはそうすべきです。モデレートとは、研究者が立ち会うことであって、部屋を用意することではありません。環境的な文脈は失われますが、リーチは広がります。
完了率を算出するには、何人の参加者が必要ですか？ 調整された調査では対応しきれない。まず、検出する必要のある差を明確に決める必要がある。70%と85%を区別するには、30%と80%を区別するのとでは全く異なるサンプルサイズが必要となる。次に、その差に合わせてサンプルサイズを決定し、応募者の4分の1を除外することを覚悟しておくべきだ。
非審査型のテストは、審査型のテストよりも問題点の発見が少ないのでしょうか？ 研究者が分析した、監視なしの録画セッションでは、同様の行動上の問題が見られるものの、その原因は不明である。「問題の半分」という数字は、誰もセッションを視聴しない自己申告形式の場合に当てはまる。
セッションを録音するには、明示的な同意が必要ですか？ どちらの方法を選択するにしても、法的根拠と明確な通知が必要であり、トルコでは国外移転の問題と記録の問題は別個のものである。
モデレーターなしのタスクセットは、どのくらいの長さにするべきでしょうか？ 通常は15分から20分程度です。スクリプトが長くなると脱落率が上がり、選別対象から外したい参加者にばかり報酬を与えてしまうことになります。
私たちと協力し、
証拠待ちの決定で、この3つのうちどれが決定的な証拠となるか分からない場合は、研究の範囲（方法、サンプルサイズ、被験者の募集、データ転送書類など）についてご相談に応じます。 Switasのユーザーリサーチサービス.
ソース
- フォークナー、L. (2003)。 5ユーザーという想定を超えて行動研究法、35(3)、379–383。
- ニールセン、J.（2000年3月19日）。 なぜ5人のユーザーでテストするだけで十分なのかニールセン・ノーマン・グループ。
- 測定中U. ユーザーはユーザビリティの問題を自己報告できますか？ — Castillo (1998)、Bruun et al. の要約。 (2007)、アンドレアセンら。 （2009年）。
- ダグラス、ユーウェル、ブラウアー（2023年3月14日）。 オンラインの人間被験者研究におけるデータ品質PLOS ONE。
- ボットや不良データとの戦い (2026年4月11日). 品質と数量、60(4).
- キシセル・ヴェリレリ・コルマ・クルム、 Yurt Dışına Aktarım — 法律第6698号第9条（法律第7499号により改正）（官報第32487号、2024年3月12日；2024年6月1日施行）。
