ボトルネックは面接ではなかった
AIとユーザーリサーチに関する記事はどれも同じように始まります。「リサーチは時間がかかるが、AIを使えば速くなる」というものです。この表現は間違ってはいませんが、月曜日の朝に実際に何を変えるべきかを決める際には、あまりにも曖昧で役に立ちません。
より正確なバージョンは次のとおりです。モデレーター付きインタビューの実施には60分かかりますし、これからもずっと60分かかるでしょう。なぜなら、インタビューを受ける人は60分間話さなければならないからです。かつて4日間かかっていたことが、今ではすべて完了しました。 周りに それは、文字起こし、タグ付け、3人の参加者が同じことを3つの異なる語彙で言った瞬間を見つけ出し、それをスプリント終了前にプロダクトマネージャーが行動を起こせるような形に変換する作業です。
そこに時間が費やされ、まさにそこに言語モデルの強みが発揮されるのです。言語モデルはテキスト上のパターンマッチングを行うものです。研究論文の統合も、テキスト上のパターンマッチング問題です。両者の適合性はまさに真実です。
しかし、合成能力に優れているという特性こそが、同時に危険性も生み出す。パターンを見つけるモデルは、パターンが存在するか否かにかかわらずパターンを見つけ出し、自らが作り出したパターンを、実際に存在するパターンと全く同じ自信に満ちた調子で記述する。研究においては、間違ったテーマに自信を持つことは、テーマがないよりも悪い。なぜなら、間違ったテーマが構築されてしまうからだ。
だから問題は かどうか ユーザーリサーチにAIを活用する。実際、誰もが既に活用している。問題は、プロセスのどの部分をAIに任せるか、結果を信頼する前に何をチェックするか、そしてどの部分を一切自動化しないか、ということだ。この記事では、まさにその点について考察する。
AIが真にその地位を確立する場所
私たちは、AIを単一の意思決定として扱うのではなく、研究プロセスの段階ごとにマッピングしています。各段階によってリスクプロファイルは大きく異なります。
| ステージ | AIが得意とすること | 何が間違っているのか | 我々のルール |
|---|---|---|---|
| 採用と選考 | スクリーニング質問票の作成、スクリーニング質問票の回答における矛盾点の発見、専門家である可能性の高い回答者の特定 | 発言力のある参加者を過剰にフィルタリングし、最も必要な不満を抱えたユーザーを排除します。 | あくまで補助的な役割です。最終的なパネルは人間が承認します。 |
| ディスカッションガイド | 研究課題から最初の草稿を作成し、フォローアップ調査を提案し、誘導的な質問がないか確認する。 | 既知の知識をテストする汎用的なガイドを作成する | 草稿加速化。研究者は少なくとも半分を書き直す。 |
| 節度 | リアルタイムでのメモ取り、ライブタグ付け、人間のモデレーターへの質問の提案 | ためらいや不快感、あるいは丁寧な嘘をつく前の沈黙を読み取ることができない | 決して自律的に動作するものではありません。人間のモデレーターをサポートするツールです。 |
| 転写 | スピーカー分離、タイムスタンプ、一次クリーンアップ | 専門用語、ブランド名、コードスイッチングが含まれると、トルコ語の文字起こし精度は急激に低下する。 | 自動化を行い、その後、10%を音声と照らし合わせて抜き取りチェックする。 |
| コーディングとタグ付け | 既存のコードブックを数百件のトランスクリプトに一貫して迅速に適用する | コーパスの途中で新しいコードを発明する。異なる問題を一つの分かりやすいラベルにまとめる。 | 人間が作成した固定のコードブックを使用して自動化します。 |
| 合成 | クラスタリング、参加者間のパターンの顕在化、最初の物語の草稿作成 | 頻度と重要性を混同し、反対意見を述べる参加者をなだめる。 | 草稿段階のみ。すべてのテーマは出荷前にソースコードまで遡って確認されます。 |
| 継続的フィードバック分析 | アプリストアのレビュー、サポートチケット、NPSの逐語録、チャットログなど、チームが手作業で読み取るには膨大な量があります。 | 感情スコアリングは皮肉や文化的間接性をうまく読み取れない | サンプリングチェック機能を備えた高付加価値の自動化システム。 |
| 遺物建造 | 検証済みの入力データに基づくペルソナ、カスタマージャーニーマップ、機会ツリー | 乏しい証拠または証拠が全くない状況から、もっともらしい人工物を作り出す | 検証済みの研究結果のみに基づき、決してモデル自身の世界知識に基づくものではない。 |
その表の2行は、残りの行の合計よりも価値が高い。
大規模なコーディング。 人間が作成したコードブックがある場合、それを40件のトランスクリプトに一貫して適用することは、まさにこうした面倒で規則に従う作業モデルが真価を発揮する場面です。そして、実際に時間を大幅に節約できるのは、まさにこうした作業なのです。
継続的なフィードバック分析。 ほとんどの企業は、何千ものアプリストアのレビュー、サポートチケット、アンケート回答を、到着以来誰も読んでいないまま放置しています。これは、この分野全体で最も高いリターンと最も低いリスクを伴うAIの活用法です。なぜなら、これまで行われてきた研究を置き換えるのではなく、捨てられていたデータを読み取るからです。これについては、次の記事で詳しく解説します。 AIがユーザーフィードバックを実用的な製品インサイトに変換する方法.
私たちが繰り返し遭遇する4つの故障モード
これらは理論上のリスクではありません。実際のプロジェクトで発生する具体的な問題点を、発生頻度の高い順に並べたものです。
1. 頻度が重要性を装っている
モデルに20件のインタビューを要約させると、最も頻繁に言及された内容が強調されるでしょう。しかし、研究の価値は通常、最も頻繁に言及された回答にあるのではありません。研究の価値は、フローを完全に放棄した参加者、同じ回避策をそれぞれ独立して説明した2人の参加者、あるいは他の全員が議論したステップにすら到達しなかったセグメントにあるのです。
チェックアウトに関する調査を要約したモデルでは、送料の透明性が繰り返し話題に上がったことは示されます。しかし、購入を完了した参加者はわずか2名で、しかも両方とも既にログインしていたという事実（これが実際の調査結果であり、データには欠落としてしか現れない）は示されません。
チェック： 私たちは少数派の意見を明確に尋ねます。「どの参加者が、形成されつつある合意に反対し、どのような意見を述べたのか？」モデルがそのような意見を挙げられない場合、私たちはその要約を合意の証拠ではなく、不完全なものとして扱います。
2. 流暢な発明
モデルは、参加者が言ったであろう言葉と全く同じように聞こえる引用文を、実際には言っていない参加者の発言として生成する。頻繁にはそうではないが、十分な頻度で。そして、捏造された引用文は実際の引用文よりも読みやすいため、その失敗は一見して分からない。なぜなら、実際の人は断片的に話すからだ。
チェック： クライアントに提出されるすべての引用文には、文字起こしの参照情報とタイムスタンプが付与されます。ソース音声内で見つからない場合は、送付されません。これは機械的なルールであり、判断を要するものではありません。なぜなら、まさに判断こそがここで問題となるからです。
3. おべっかによる合成
モデルに仮説とデータを与えると、合成結果は仮説を支持します。同じデータに反対の仮説を与えると、合成結果は反対の仮説を支持します。これはコンサルティング業務において最もコストのかかる失敗パターンです。なぜなら、クライアントが望んでいた成果物を正確に生み出す一方で、クライアントがあなたを雇った理由を台無しにしてしまうからです。
チェック： 合成プロンプトには仮説は含まれません。モデルにはコーパスと研究課題のみが渡されます。仮説を検証したい場合は、それを別の敵対的パスとして実行します。「このコーパスの中で最も強力な証拠を見つけてください」 に対して 以下の主張。
4. 合成ユーザー
最も自信を持って宣伝されているが、最も擁護しにくいアプリケーションは、シミュレーションされた参加者を生成し、人間の代わりにインタビューすることです。これはもっともらしい文字起こしを迅速に生成しますが、そのもっともらしさこそが問題なのです。インターネットでトレーニングされたモデルは、ペルソナがどのようなものであるかを教えてくれます。 のように聞こえるこれは、そのような人々についてどのように書かれているかをまとめたものであり、フォームの検証で3回目の試行で住所が拒否された場合に彼らがどのように振る舞うかを示すものではありません。
合成ユーザーは、実際の参加者を投入する前にディスカッションガイドのリハーサルを行うという点で役立ちます。私たちはそのために合成ユーザーを使用します。合成ユーザーを証拠として使用することはありませんし、その出力結果を研究結果として報告することもありません。もしサプライヤーが、人間の参加者がいない研究プログラムを提供しているとしたら、それはあなたが既に信じていることを確認するための非常に高価な方法を売りつけているに過ぎません。
当社の作業手順
これは理想化されたものではなく、実際のシーケンスです。
1. 人間が最初に暗号書を作成する。 モデルが文字起こしデータに触れる前に、研究者は3～5件のインタビューを読み、手作業でコーディングフレームを作成します。このフレームは、一般的なUX分類体系ではなく、本研究のデータに基づいて作成されます。以降のすべての処理はこの段階の品質を継承するため、この段階は決して圧縮しません。
2. このモデルはフレームのみを適用します。 コードブックは固定されており、実行中に新しいカテゴリは追加されません。モデルがフレームでカバーされていないものに遭遇した場合、無理やり適合させるのではなく、未分類としてフラグを立てます。未分類の山は、多くの場合、実行全体の中で最も興味深い出力となります。
3. 15%のサンプルを二重コード化する。 同じ文字起こしデータを人間とモデルがそれぞれ独立してコーディングし、不一致率を測定します。10%未満であれば次に進みます。20%を超える場合は、モデルではなくコードブックに問題があると判断し、手順1に戻ります。不一致率はフレームワークの診断指標であり、ツールの品質ゲートとして扱うよりも、この指標を用いることでコスト削減につながっています。
4. 課題文に仮説がない総合的なドラフト。 このモデルはコーパスと研究課題を受け取り、クラスターと最初のナラティブを生成します。
5. トレーサビリティ合格。 草案中のすべての主張は、タイムスタンプ付きで少なくとも2人の参加者と関連付けられます。追跡できない主張は削除され、修正されることはありません。参加者が1人だけの主張は単一の観察として扱われ、これは正当かつ多くの場合、報告する価値のあるものですが、テーマとして扱われることはありません。
6. 行動データとの三角測量。 発言された行動と観察された行動は常に乖離します。クライアントに情報を提供する前に、インタビューの結果をセッションの録画やヒートマップデータ（怒りのクリック、無反応なクリック、離脱ポイントなど）と照合します。参加者がフィルターは問題ないと言っていても、録画ではフィルターを放棄している様子が映っている場合は、録画が優先されます。AIを活用した定性調査は、まさにこのような状況で問題に直面する可能性が最も高くなります。なぜなら、行動データは、話の筋が通っているかどうかなど気にしないからです。
7. 人間が推薦状を作成する。 調査結果は支援を受けてまとめることができる。しかし、この組織において、こうした制約やロードマップを踏まえて、それらをどう活用するかは、面接に立ち会った人物の判断に委ねられる。
自動化しないもの
候補リストは絞り込み、我々はそれを固く守り抜く。
- 精神的に不安定な状態にある、または精神的に苦痛を抱えている利用者との面談の進行役を務める。 医療、経済的困難、アクセシビリティに関する研究。そこでのモデレーターの役割には、ある程度の配慮義務が含まれており、それは委任できるものではない。
- 勧告。 ステップ7を参照してください。
- アクセシビリティ評価。 自動化ツール（当社独自のツールを含む） WCAG監査ツール ― WCAGの問題点の約3分の1を検出します。残りの問題点については、支援技術を用いた手動テストが必要です。完全自動化されていると主張するベンダーは、監査ではなくスキャンについて説明しているにすぎません。
- 何を調査しないかを決める。 研究価値の大部分は、スコープ設定の段階で生み出されるか、あるいは失われるかのどちらかであり、それは戦略的な対話であって、単なる要約作業ではない。
トルコ語研究に関する注記
AIを活用した研究に関する公表されているガイドラインのほとんどは英語で書かれ、検証されているが、性能面でのギャップは確かに存在し、十分に議論されていない。
トルコ語の文字起こしは、ブランド名、業界用語、そしてイスタンブールの製品開発チームやeコマースチームではごく普通に行われている英語とトルコ語のコードスイッチングのあたりで著しく劣化します。感情分類はトルコ語の間接的な表現をうまく処理できません。深刻な苦情の前に使われる丁寧な言い回しは、主に英語で訓練された分類器では中立的または肯定的に解釈されることがよくあります。また、膠着語の形態論は、自由回答式のアンケートデータに対するキーワード頻度アプローチが著しく過小評価されることを意味します。なぜなら、トークナイザーが無関係なものとして扱う1つの概念が、12種類もの活用形で現れるからです。
実務上の留意点：英語の場合に用いる10％以上の頻度で文字起こしの抜き取りチェックを実施し、トルコ語コーパスでは自動感情分析を単独のシグナルとして決して頼らず、大量のデータに対しては、手作業でラベル付けしたトルコ語サンプルを用いて分類器の妥当性を検証してください。弊社ではまさにこの理由から、独自の検証セットを使用しています。
動作しているかどうかを確認する方法
スピードは適切な指標ではありません。誰もがスピードアップしますが、問題はその成果が現実と向き合っても生き残れるかどうかです。私たちが実際に追跡している指標は次の3つです。
洞察生存率。 研究報告書で示された調査結果のうち、6か月後もなお有効とみなされていたのはどれくらいの割合だろうか？これを測定するのは容易ではないが、その苦労に見合うだけの価値がある。
人間とモデル間の意見の不一致率。 上記ステップ3から始めましょう。それを時系列で追跡してください。意見の相違が増加するということは、通常、研究領域が変化したにもかかわらず、コードブックは変更されていないことを意味します。
前回のインタビューから最初の検証可能な仮説が立てられるまでの時間。 これはAIが実際に動かす数字です。合成に8日かかっていたものが2日で済むようになれば、四半期ごとに2回の実験サイクルが増えることになります。これが実際のビジネスケースであり、非常に良いケースです。ただ、ほとんどのベンダーはこの点をアピールしていないだけです。
深くなる
この記事は概要です。各段階の詳細については、以下の4つの関連記事で解説しています。
- 人工知能によるデータドリブンなユーザーペルソナの作成 ―モデルの事前知識ではなく、検証済みの証拠に基づいてペルソナの成果物を構築する
- データから意思決定へ：AIはいかにしてユーザーリサーチの統合を効率化できるか — 合成段階の詳細
- AIがユーザーフィードバックを実用的な製品インサイトに変換する方法 — レビュー、チケット、NPSの逐語録を大規模に
- AIを活用したユーザーリサーチで製品発見プロセスを効率化 ―それら全てを発見サイクルの中で適用する
よくある質問
AIはユーザーインタビューを完全に代替できるのか？ いいえ。インタビューに伴う作業（文字起こし、コーディング、一次分析など）の一部を代替することはできますし、より質の高いインタビューの準備にも役立ちます。しかし、人々の行動に関する証拠を生成することはできません。なぜなら、彼らの行動そのものにアクセスできないからです。シミュレーションされた参加者は、テキストの中でそのような人々がどのように描写されているかを教えてくれます。これは全く別のことであり、しばしば誤解を招く可能性があります。
AIを活用した研究は、実際にどれくらいの時間を節約できるのか？ 私たちの経験では、コスト削減はほぼすべて合成とコーディングに集中しており、その効果は顕著です。フィールドワーク、人材募集、関係者との調整は変わりません。モデレート型研究における現実的な見通しとしては、フィールドワーク後の段階が大幅に短縮される一方で、プロジェクト全体の期間はそれほど短縮されないことが挙げられます。なぜなら、フィールドワークは常に最も時間のかかる作業だったからです。
合成麻薬の使用者は正当な理由を持つことがあるのだろうか？ ディスカッションガイドのリハーサルツールとして、またアンケートの文言を検証する方法としては、はい。しかし、研究結果の証拠としては、いいえ。この区別は重要です。一方は準備のための補助ツールであり、もう一方は研究というラベルを貼った捏造データです。
最大のリスクは何ですか? 自信満々で流暢、しかし出力は間違っている――しかも、チームが既に信じていた内容と一致するバージョンだ。捏造された引用は追跡ルールで検出される。おべっかを使った合成は、誰もが満足する成果物を生み出すため、より難しい。唯一確実な防御策は、仮説と合成のプロンプトを切り離し、明確な敵対的検証を行うことだ。
AIを活用した研究はトルコ語でも同様に機能しますか？ そのままでは使えません。文字起こし精度、感情分類、キーワード頻度分析のいずれも、英語に比べてトルコ語では精度が低下します。使用は可能で、私たちは毎日利用していますが、より高いサンプリングレート、検証済みの分類器、そしてトルコ語を読める研究者が必要です。
研究プロセスについて、セカンドオピニオンが欲しいですか？
AIを活用した研究を実施していて、その研究結果が厳密な検証に耐えうるかどうかを知りたい場合、あるいは何を自動化し、何を保護すべきかを判断しようとしている場合、当社はお客様の現在のプロセスを精査し、リスクがどこにあるのかを明確にお伝えします。
