メニューを再作成する前に、カードソーティング、ツリーテスト、またはファーストクリックテストを選択してください

Optimal Workshop独自のデータセットは、数百万のツリーテストタスクから抽出され、記録されています。 最初のクリックが正しかった場合のタスク成功率は70%、間違ったクリックの後では24%です。人が最初に選ぶラベルが結果の大部分を左右します。しかし、その数字だけではどの調査を実施すべきかはわかりません。チームは、すでにメニューがあり、文言に疑問があるだけでカードソーティングを行い、語彙が一度もチェックされていない構造に対してツリーテストを行い、結局は問題を解決しない結果について議論します。このガイドは、ナビゲーションの問題を抱え、調査予算が限られているUXリーダー、プロダクトマネージャー、CROチームを対象としています。このガイドを読み終える頃には、ナビゲーションの決定を3つの方法のいずれかに一致させ、調査の規模を決定し、データ収集前に合格基準を設定し、結果が証明できないことを明記できるようになります。

これら3つの方法は、3つの異なる質問に答えるものである。

カードソーティングは生成的な手法です。コンテンツアイテムを人々に渡し、グループ分けとグループ名の命名をしてもらうことで、オーディエンスがドメインをどのように分割し、どのような言葉を使うかを把握できます。ただし、この調査にはメニューが含まれていないため、特定のメニューが効果的かどうかを判断することはできません。

ツリーテストは評価的な手法です。提案された階層構造をテキストラベルのみに絞り込み、ユーザーにタスクを与えて、ユーザーがどの方向へ進むかを観察します。これにより、構造が見つけやすいかどうか、どの枝がユーザーを混乱させているかが分かります。NN/gが指摘するように、テキストのみの設定では、配置、色、画像などの要素が意図的に排除されるため、ラベルと構造の質を分離して評価できます。

初回クリックテストは範囲が狭い。1つの画面、1つのタスク、1回のクリックを記録する。これにより、エントリーポイントが一目で正しく表示されるかどうかがわかるが、2階層下で何が起こるかはわからない。

間違ったテストを実行することがよくある失敗です。「誰も返品ポリシーを見つけられない」というのは、カードソーティングの質問ではありません。「『ソリューション』という言葉が購入者にとって意味があるかどうか分からない」というのは、ツリーテストの質問ではありません。ツリーテストはあなたの推測を測るだけです。

基準表：ライセンスを持っているツールではなく、決定に基づいて選択してください

基準	カードソーティング	ツリーテスト	ファーストクリックテスト
質問に答える	人々はこのコンテンツをどのように分類し、名前を付けるだろうか？	この建造物の中で何かを見つけることはできますか？	エントリーポイントは一目で正しく理解できますか？
タイプ	生成的	評価的、定量的	評価的、定量的
既存の構造物が必要	いいえ	はい、少なくとも草稿は	はい、スクリーンまたはワイヤーフレーム
典型的な参加者	最低15、高額賭けの場合は30	定量的な読み取りには、1本の木あたり50以上が必要です。	画面バリエーションごとに50以上
主要指標	一致度と共起度、ラベル頻度	成功率、直接性、初回クリック、時間	初回クリック精度、クリック時の熱分布
行動に移せる出力	候補カテゴリとユーザー語彙	壊れた枝とラベルのランキングリスト	ラベルまたはレイアウトの選択に関する評価
誤解を招く場合	個人によってグループ分けの仕方が異なるため、解決には判断力が必要となる。	見た目に匂いがないため、レイアウトの悪さをうまく隠してくれる。	リカバリを無視します。最初のクリックが間違っていても、必ずしもタスクが失われるわけではありません。

決定ルール

構造がない、あるいは誰も信じていない構造。 まずはカードソートから始めましょう。語彙を増やしたい場合はオープンソート、最上位レベルが確定していて配置だけが問題の場合はクローズドソートを行います。
2つの候補組織と、終わりの見えない会議。 ツリーテストは両方とも有効です。構造的な議論を数値で解決できるのは、この3つのうちツリーテストだけです。
交通状況は把握できたものの、次のクリックが間違っている。 まず、その画面をクリックしてテストしてください。ラベルを1つ修正するためにアーキテクチャを再構築しないでください。
分析データからは、ユーザーがどこで離脱したかが既に明らかになっている。 検出をスキップします。リークしているブランチをツリーテストし、次に置換ラベルをファーストクリックでテストします。
新しい市場、あるいは新しい言語。 その言語で、その市場の参加者を対象にカードソーティングを行う。翻訳されたメニューは、テストされていないメニューである。

レビューで擁護できるサンプルサイズと閾値

カードソーティングについては、TullisとWoodは168人のユーザーをテストし、ランダムなサブセットを分析した。全サンプル結果との相関は、5人のユーザーで0.75、15人で0.90、20人で0.93、30人で0.95、60人で0.98であった。Nielsenはこれを次のように解釈している。15人が快適に停止できる人数であり、30人は資金が豊富なプロジェクト向けである。ユーザビリティテストの5人ルールは適用できない。生成手法では、パターンが安定するのに十分な人数が必要となる。

ツリーテストの場合、NN/g はツリー間の有意義な比較のために、ツリーごとに 50 人以上の参加者を推奨し、98 の研究にわたる Albert と Tullis のバンドから合格基準を設定しています。40% 未満は不良、41～60% は普通、61～80% は良好、80～90% は非常に良好、90% 以上は優良です。データを見る前に、この基準に同意してください。チェックアウト、返金、予約などのミッションクリティカルなタスクは 90% をクリアする必要がありますが、プロモーション用の閲覧タスクは 70% で十分です。

直接性を成功と並行して捉えるべきであり、決して成功の代わりとして捉えるべきではない。直接性が低いにもかかわらず成功が高いということは、人々が迷いながら目的地にたどり着いたことを意味する。構造自体は存続しているものの、ラベルは間違っているのだ。このパターンこそ、ツリーテストが生み出す最も有用なシグナルである。

実例

「健康」という最上位項目があり、その下にサポート記事が埋もれているオンライン薬局。数値はあくまで例示であり、顧客データではありません。

ツリーテスト、参加者60名、課題8つ。 「処方箋が保険適用になるかどうか確認してください。」成功率58%、直接性22% ― バンドに関してはまずまずだが、直接性のギャップはラベルに問題があることを示している。
最初のクリックの表を読んでください。 「健康」に41%、「サポート」に33%、「アカウント」に18%：3つのもっともらしい選択肢があるということは、カテゴリの境界がユーザーの頭の中には存在しないことを意味する。
クローズドカードソート、参加者20名記事のタイトルと既存のトップレベルを使用します。もし報道項目が3つのグループにまたがっている場合は、文言ではなくトップレベルが間違っています。
書き直して、再テストしてください。 新しいツリー、同じ8つのタスク、60人の新規参加者。目標達成率は80%以上、直接性は60%以上。
新しいラベルを最初にクリックしてテストします 出荷前の実際のページで確認しました。木のテストでは視覚的な香りは感じられませんでしたが、実際のページでは香りが感じられます。

【内部データが必要：この例示シーケンスを、成功率、直接性、タスク数を含む、匿名化されたSwitasツリーテストの前後比較データに置き換えてください。】

トルコ語のラベル、そしてなぜ地域的なケースが化粧品ではないのか

トルコ語および近隣のいくつかの言語では、ラベル検査が難しくなる要因が2つあり、どちらもその地域から販売するだけでなく、その地域に販売するすべての人にとって重要です。

まず、トルコ語は膠着語です。意味は語幹に接尾辞として付加されるため、英語では2つの短い単語で構成されるカテゴリが、トルコ語では1つの長い単語になることがよくあります。英語では収まるメニューでも、文字数が多くなりすぎてしまうため、チームは文字数を切り詰めることで対応します。まさにこの切り詰めた文字数こそが、ツリーテストで測定する変数です。ラベルは、実際に表示される長さでテストしてください。

第二に、トルコ語には点付きの 4 つの I 文字があります。 İ (U+0130)と i (U+0069)、ドットなし I (U+0049)と ı （U+0131）。トルコ語の規則では小文字 i にマップ İはなく、 Iそのため、英語用に記述された大文字小文字を区別しないマッチングは失敗します。「iptal」で検索しても、保存されている「IPTAL」とは一致しません。サイト検索、フィルターチップ、またはパンくずリストのケーシングがロケールを考慮しない大文字呼び出しを通過すると、ユーザーは存在する用語に対して空の結果セットを受け取ります。ラベルを責める前に、この点を除外してください。

コンプライアンス面でもメリットがあります。WCAG 2.2達成基準2.4.6「見出しとラベル」はレベルAAであり、見出しとラベルがトピックまたは目的を説明することを要求しています。成功率が40%だったラベルは、コンバージョンの問題であるだけでなく、適合性に関する主張に反する証拠となります。

これらの数字が証明していないこと

ここで最もよく引用される数値は、ベイリーとウルフソンが2006年から2009年にかけて行った研究で、最初のクリックが正しかった場合のタスク成功率が87%であるのに対し、間違った場合は46%であるというものです。しかし、この数値は慎重に扱う必要があります。Optimal Workshop独自の、はるかに大規模なデータセットでは、同じ比較で70%と24%という結果が得られています。方向性は同じでも、数値の大きさは大きく異なります。しかも、どちらも測定機器内部で測定された相関関係であり、クリックテストが実際のサイトの動作を予測できるという証拠ではありません。

その点に関して、Sauro、Schiavone、Du、Lewisは2023年に130人の参加者を対象に、静止画像と実際のサイトにおける最初のクリックを比較する実験を行った。その結果、ホットスポット領域全体で平均約6%の絶対差で、行動は類似していた。彼らはまた、後続のタスクの成功は測定しておらず、レスポンシブレイアウトとホバーメニューによって実際の差異が生じたと述べている。正直な主張は、クリックテストは人々がクリックする場所を再現するものであり、人々が最後までクリックするかどうかを予測するものではないということである。

ツリーテストにも同様の注意点があります。Kuric、Demcak、Krajcovicは、180人の参加者と1,800のタスクで、同じアーキテクチャの高忠実度プロトタイプに対して3つのツリーテストバリアントを比較しましたが、バリアント間で結果が一致しませんでした。ツリー表示バリアントがプロトタイプの動作に最も近似していましたが、バックトラッキングの指標は大きく異なりました。ベンチマークの元となったツリーとは異なる方法でツールがツリーをレンダリングする場合、ベンチマークは適用できません。

これが破綻するところ

検索中心のサイト。 ほとんどのセッションが検索ボックスから始まっている場合、利用頻度の低い経路を最適化していることになります。まずは、検索イベントを含むセッションの割合を確認してください。
パーソナライズされたナビゲーション。 ツリーテストは、固定された階層構造を前提としています。メニューがセグメントごとに異なる場合、それは架空の構造をテストしていることになります。
非常に小さな人口。 B2Bや臨床現場では、50名の適格な参加者を確保することが難しい場合が多い。割合ではなく人数を報告し、その旨を明記する。
3つのテストのいずれも理解度を測るものではなかった。 彼らは発見したこと自体を評価するのであって、発見した後の理解度を評価するわけではない。そのためにはユーザビリティテストが必要だ。
どれも収益を測定するものではない。 航法修正は実験のための仮説であり、実証済みのリフトではありません。テストの後に実施してください。

よくある質問

同じ参加者に対して、カードソートとツリーテストの両方を実施できますか？

同じセッションでは行わないでください。分類作業は参加者にあなたのモデルを理解させるため、初めて訪れる人には見つけられないものを見つけてしまう可能性があります。別々のグループを募集するか、数週間間隔を空けてください。

カードソーティングには何人の参加者が必要ですか？

TullisとWoodのデータでは、15の場合、全サンプル結果との相関は0.90となり、30の場合は0.95となります。15未満ではパターンが不安定です。30を超えても、コストに見合う効果はほとんどありません。

樹木に関する実験に、本当に50人もの参加者が必要なのでしょうか？

2本の木を定量的に比較する場合は、はい、それがNN/gの推奨です。1本の木で明らかに破損している枝だけを見つけたい場合は、20～30本で最も破損している枝が特定できますが、パーセンテージではなく本数を報告してください。

合格率とはどのくらいの割合を指すのでしょうか？

実行する前に決断しましょう。アルバートとトゥリスの基準を基本として、80%以上は非常に良い、61～80%は良い、40%未満は悪いとします。お金、薬、または法的権利に関わるタスクについては、基準を90%に引き上げましょう。

成功率は高いが、率直さに欠ける。どうすれば改善できるだろうか？

問題は構造ではなくラベルです。ユーザーは探索の末に正しい場所にたどり着いているので、カテゴリ自体はユーザーの認識モデルに存在しているものの、あなたの表現ではそれが伝わっていないのです。ラベルを書き直して、同じタスクで再度テストしてください。

AIツールは参加者の必要性をなくすのか？

これらの手法には適していません。これらの手法は、特定の集団が何を信じ、何をしているかを測定するものであり、その集団に関するモデルの推測は仮説であってデータではありません。モデルは、タスクの作成や、自由回答形式のラベルのクラスタリングをより迅速に行うために使用します。

次のステップ

ナビゲーションの議論が分析で解決できない場合、最も安価な解決策は、事前に合意したしきい値を使用して両方の候補構造に対してツリーテストを実行することです。タスクを記述し、バーを設定して実行します。私たちに実行させてくださいそして、折れた枝のランキングリストをお渡しします。

ソース

著者

インシ・ディンダー

ソフトウェア開発のバックグラウンドを持つ彼女は、フィンテック、メディア、eコマース、旅行業界において、デザイン、UX、プロダクトチームを率いてきました。過去3年間は、UXとデザインに関するコンサルティング業務に専念しており、グローバル経営コンサルティング会社の外部UXコンサルタントとして、ブランドやスタートアップ企業の監査、コンバージョン最適化、デザインプロセスを支援してきました。

LinkedIn すべての記事

メニューを再描画する前に、カードソート、ツリーテスト、またはファーストクリックテストを選択してください。