実験文化

実験文化とは、組織が実際に証拠に基づいて製品やマーケティングに関する意思決定を行うかどうかを決定づける、共有された規範、インセンティブ、意思決定習慣の集合体を指します。これは、テストを実行するために必要なツール、トラフィック、技術スキルといった実験能力とは異なります。多くの組織は実験能力は獲得しても、文化を醸成しないため、テストプラットフォームを購入し、1四半期ほど熱心に活用した後、ひっそりと放棄してしまうことがよくあります。

健全な実験文化の決定的な特徴は、間違えることは当たり前で、コストもかからないという点にある。大手テクノロジー企業の公表された事例を見ると、実験で期待通りの改善が見られたのはごく一部であり、かなりの割合の実験が事態を悪化させている。もし失敗した実験が提案者の失敗とみなされるなら、人々はリスクのある提案をやめ、自信のある変更のみをテストし、曖昧な結果を都合よく解釈する方法を見つけようとするだろう。その結果、プログラムは予測可能な結果しか得られない些細な実験に収束し、そこからは何の学びも価値も生まれないことになる。

2つ目の特徴は、年功序列が証拠を覆さないという点です。新たな証拠もなく、経営陣の好みによってテスト結果が覆されるような文化は、実験は単なる見せかけに過ぎないという認識を皆に植え付けてしまいます。これは、データが機械的にすべての決定を左右すべきだという意味ではありません。ブランド、法律、アクセシビリティ、そして長期的な戦略的考慮事項は、短期的なコンバージョン結果を正当に覆すことができます。重要なのは、覆す理由が明示的かつ論理的であることであり、黙示的であってはなりません。そうすることで、組織全体が証拠が実際に何を意味していたのかについて共通理解を維持できるのです。

3つ目は、学習内容が記録され、再利用されることです。仮説、設計、結果、解釈など、過去の実験を検索可能なリポジトリに記録しておかないと、組織は従業員の入れ替わりごとに18か月ごとに同じアイデアを再検証することになります。適切に管理されたリポジトリは、一連の個別のテストを蓄積型の資産へと変えます。それは、特定の対象者が何に反応するかについての知識体系であり、個々の成功よりもはるかに価値が高く、業界ベンチマークや競合他社の調査からは決して得られないものです。

組織文化の構築には、発表よりも計画的な手順が不可欠です。まずは、意義のある課題について少数の質の高い実験を行い、初期の結果の信頼性を高めましょう。結果は、失敗例も同様に目立つように、一貫した形式で公表します。上級スポンサーの一人に、結果に基づいて意思決定を明らかに変更してもらいましょう。関係者には、効果量や信頼区間の読み方を指導し、一方的に結論を与えられるのではなく、結果に基づいて議論できるようにしましょう。意思決定ルールは事前に定め、数値が出た後ではなく、設計段階で議論が行われるようにします。実践が信頼されるようになってから、初めて範囲を拡大しましょう。

プログラム自体の測定は、プログラムが他の分野で適用しているのと同等の厳密さで行われるべきです。実行されたテストの数を数えるのは弱い指標であり、成功数を数えるのは、安全なアイデアのテストを奨励してしまうため、さらに悪い指標です。より有用な指標としては、結果に関わらず文書化された学習を生み出した実験の割合、意見ではなく証拠に基づいて特定された問題に対処するロードマップの割合、ホールドアウトと比較した累積効果、そして証拠によって変更された決定の数などが挙げられます。これらのうち最後のものは、そもそも文化が存在することを示す最も直接的な指標です。1年間で実験結果によって重要な決定が1つも変更されていない組織は、ツールやテストの量がどれほど優れていても、実験文化を持っておらず、適切な介入は方法論ではなく意思決定権のレベルで行われるべきです。

技術的な作業は通常、簡単な方です。実際には、 成長管理 エンゲージメントは、統計やツールではなく、ガバナンス、報告形式、意思決定権、ステークホルダー教育にかなりの労力を費やします。なぜなら、結果が何かを変えるかどうかは、これらの制約によって決まるからです。組織が実験の歴史を全く持たないところから始める場合、構造化された 戦略計画およびコンサルティング 通常、最初に必要となるのは、企業が真に証拠に基づいて行いたい意思決定と、実験​​によって変更できない理由で既に決定済みの意思決定を明確にするための段階です。