Effet de nouveauté

L'effet de nouveauté désigne la modification temporaire du comportement des utilisateurs qui survient simplement parce qu'un élément est nouveau et différent, et non parce qu'il est meilleur. Lorsqu'un élément d'interface familier se déplace, change de couleur ou se voit attribuer une nouvelle étiquette, les utilisateurs existants le remarquent, l'observent et interagissent davantage avec lui. Durant les premiers jours d'une expérimentation, cela peut engendrer une amélioration apparente qui s'estompe à mesure que le public s'adapte, laissant un effet à long terme plus faible, voire inexistant ou négatif.

Son pendant, parfois appelé effet d'aversion au changement, fonctionne en sens inverse. Les utilisateurs habitués à accomplir une tâche d'une certaine manière sont ralentis et frustrés par une refonte, même supérieure, et leurs performances diminuent le temps qu'ils réapprennent le processus. Un test mesurant uniquement la première semaine d'une refonte importante de la navigation ou du processus de paiement sous-estimera systématiquement sa valeur à long terme. Ces deux effets proviennent de la même source : les utilisateurs réguliers ont des attentes forgées lors de leurs visites précédentes. De plus, ils faussent les résultats d'expériences à court terme d'une manière qu'aucune rigueur statistique ne peut corriger.

Ces deux effets combinés expliquent une grande partie de l'écart entre les succès annoncés lors des tests et les résultats commerciaux réels. Un test mené pendant six jours sur un site dont le cycle d'achat est de deux semaines mesure une population influencée principalement par la réaction au changement, et non par le comportement stable qui prévaudra après le déploiement. Une fois le changement mis en place et l'effet de nouveauté estompé, l'indicateur revient à son niveau initial et le chiffre d'affaires annuel projeté n'est jamais atteint. L'expérience n'était pas statistiquement erronée ; elle répondait à une question relative à la première semaine, et non au fonctionnement normal.

Détecter ces effets nécessite d'analyser l'évolution des résultats dans le temps, et non seulement le total cumulé. Le diagnostic le plus simple consiste à représenter graphiquement l'augmentation quotidienne ou cumulée et à observer si elle tend vers zéro. La segmentation des résultats entre nouveaux visiteurs et visiteurs réguliers est plus concluante, car l'effet de nouveauté et la réticence au changement agissent principalement sur les personnes ayant déjà été exposées au produit ou service : une modification qui produit des résultats identiques pour les nouveaux visiteurs pendant toute la durée du test, mais dont l'effet diminue chez les visiteurs réguliers, relève davantage de l'effet de nouveauté que d'une réelle amélioration. Lorsque les enjeux le justifient, la mise en place d'un groupe témoin après le déploiement permet de mesurer l'effet réel à long terme pendant plusieurs semaines, voire plusieurs mois.

Les mesures pratiques de protection sont peu attrayantes. Effectuez des tests pendant au moins un, voire deux cycles d'activité complets. Ne vous arrêtez pas au troisième jour sous prétexte que les résultats semblent exceptionnels. Soyez plus vigilant face aux effets importants et précoces de changements visibles que face aux effets mineurs et précoces de changements subtils. Pour les refontes majeures, prévoyez une période de mesure plus longue et informez les parties prenantes à l'avance que les résultats de la première semaine seront trompeurs, afin d'éviter que quiconque n'ait à défendre une décision impopulaire sous pression en plein test.

Deux facteurs de contamination liés entre eux méritent d'être contrôlés simultanément. Le premier est le trafic interne : les employés, agences et partenaires qui testent une nouvelle variante se comportent différemment des clients et, sur les sites à faible trafic, ils peuvent représenter une part significative des premières sessions, concentrées précisément au moment où l'effet de nouveauté est le plus marqué. Filtrer les adresses internes et le trafic des partenaires connus est une mesure de base que de nombreux programmes négligent. Le second facteur est la saisonnalité et le calendrier des campagnes, car un test mené pendant une période promotionnelle, des vacances ou une campagne marketing importante mesure les comportements dans des conditions non durables. Lorsqu'un test doit être mené pendant une telle période, il convient de l'étendre afin d'inclure les activités commerciales normales et de vérifier si l'effet diffère entre les phases promotionnelles et non promotionnelles avant de généraliser les résultats.

Ces dynamiques constituent l'une des principales raisons pour lesquelles les travaux de refonte et l'expérimentation doivent être planifiés conjointement plutôt que séquentiellement. la conception des produits Dans le cadre des projets où une modification substantielle de l'interface est proposée, le plan de mesure comprend généralement une période d'exécution prolongée, une distinction standard entre les éléments nouveaux et les éléments existants, et, si possible, une période de test après le lancement. gestion de la croissance Dans le cadre de ce programme, la même discipline est appliquée à l'ensemble du portefeuille, en réévaluant périodiquement les anciens succès afin de vérifier si les effets qui justifiaient leur diffusion se sont maintenus au fil du temps.