目新しさ効果

目新しさ効果とは、何かが優れているからではなく、単に新しくて異なっているという理由だけで、ユーザーの行動に一時的な変化が生じる現象です。使い慣れたインターフェース要素が動いたり、色が変わったり、新しいラベルが付けられたりすると、既存のユーザーはそれに気づき、注目し、普段よりも頻繁に操作するようになります。実験開始当初は、この効果によって明らかな改善が見られることがありますが、ユーザーが慣れるにつれてその効果は薄れ、長期的に見ると、効果は小さくなったり、消失したり、あるいはマイナスの効果しか得られない場合もあります。

その鏡像とも言える現象は、変化回避効果とも呼ばれ、正反対の方向に作用します。特定のやり方でタスクを完了することに慣れているユーザーは、たとえ優れたデザインであっても、デザイン変更によって作業が遅くなり、不満を感じ、作業の流れを再学習する間、パフォーマンスが低下します。ナビゲーションやチェックアウトの大幅なデザイン変更後、最初の1週間だけを測定するテストでは、長期的な価値が体系的に過小評価されることになります。これらの効果はどちらも同じ原因、つまりリピーターユーザーが以前の訪問から得た期待を抱いていることに起因しており、どちらも短期間の実験を歪め、いかなる統計的手法を用いても修正することはできません。

この2つの要因が合わさることで、報告されたテストの成功と実際のビジネス成果とのギャップの大部分が説明できます。購入サイクルが2週間のサイトで6日間実施されるテストは、展開後に適用される定常状態の行動ではなく、変化に対する反応が支配的なユーザー層を測定していることになります。変更が実装され、目新しさが薄れると、指標はベースラインに戻り、予測された年間収益は実現しません。この実験は統計的に間違っていたわけではありません。通常の運用ではなく、最初の1週間に関する疑問に答えていたのです。

これらの効果を検出するには、累積合計だけでなく、結果の経時的な変化を観察する必要があります。日次または累積の増加率をグラフ化し、それがゼロに向かっているかどうかを観察するのが最も簡単な診断方法です。新規訪問者とリピーターで結果を分けることは、より決定的な方法です。なぜなら、目新しさや変化への抵抗は、以前に何らかの経験をしたことがある人に主に作用するからです。テスト期間全体を通して新規訪問者に対して同じ効果を発揮する一方で、リピーターの間で増加率が徐々に低下していくような変更は、真の改善ではなく、単なる目新しさを示しているにすぎません。リスクが許す場合は、導入後にコントロールグループに保持されたホールドバックグループによって、その後数週間または数か月にわたって真の長期的な効果を測定できます。

実務的な安全対策は地味なものです。少なくとも1サイクル、できれば2サイクル分のビジネスサイクルにわたってテストを実施してください。数値が異常に高いからといって、3日目でテストを中止してはいけません。視覚的に目立つ変更による初期段階での大きな影響は、微妙な変更による初期段階での小さな影響よりも、より慎重に扱うべきです。大規模な再設計の場合は、測定期間を長く設定し、最初の1週間の数値はどちらかの方向に誤解を招く可能性があることを事前に関係者に伝えてください。そうすることで、テストの途中で不人気な決定を圧力の下で弁護する必要がなくなります。

同時に制御すべき関連する2つの汚染物質があります。1つ目は内部トラフィックです。新しいバリアントを探索する従業員、代理店、パートナーは顧客とは全く異なる行動をとります。トラフィックの少ないサイトでは、これらのトラフィックが初期セッションのかなりの割合を占める可能性があり、しかもそのすべてが目新しさの効果が最も強い時期に集中します。内部アドレスと既知のパートナーのトラフィックをフィルタリングすることは、多くのプログラムが見落としている基本的な対策です。2つ目は季節性とキャンペーンのタイミングです。プロモーション期間、祝日、または大規模なマーケティングキャンペーンをまたいで実施されるテストは、持続しない条件下での行動を測定することになります。このような期間にわたってテストを実施する必要がある場合は、通常の取引も反映されるようにテスト期間を延長し、結果を一般化する前に、プロモーション期間と非プロモーション期間で効果が異なるかどうかを確認するのが適切な対応です。

これらのダイナミクスは、再設計作業と実験を順次ではなく同時に計画する必要がある主な理由の1つです。 製品設計 大幅なインターフェース変更が提案される取り組みでは、測定計画には通常、実行時間の延長、新規ユーザーと既存ユーザーの分割を標準的なカットとして含め、可能な場合はローンチ後のホールドバックが含まれます。 成長管理 このプログラムでは、過去の成功事例を定期的に再測定し、それらを出荷する正当性があった効果が時間の経過とともに維持されているかどうかを確認することで、ポートフォリオ全体に同じ規律が適用されます。