Az újdonsághatás a felhasználói viselkedés átmeneti változása, amely egyszerűen azért következik be, mert valami új és más, nem pedig azért, mert jobb. Amikor egy ismerős felületelem elmozdul, színt vált, vagy új címkét kap, a meglévő felhasználók észreveszik, megnézik és többet interakcióba lépnek vele, mint egyébként tennék. Egy kísérlet első napjaiban ez látszólagos javulást eredményezhet, amely a közönség alkalmazkodásával csökken, így hosszú távú hatás marad, amely kisebb, hiányzik vagy negatív.
Tükörképe, amelyet néha változáskerülő hatásnak is neveznek, az ellenkező irányba működik. Azok a felhasználók, akik hozzászoktak ahhoz, hogy egy feladatot egy adott módon végezzenek el, lelassulnak és frusztrálttá válnak az újratervezés, még egy kiváló is, és teljesítményük visszaesik, miközben újra elsajátítják a folyamatot. Egy olyan teszt, amely csak egy jelentős navigációs vagy pénztári újratervezés első hetét méri, szisztematikusan alábecsüli a hosszú távú értékét. Mindkét hatás ugyanabból a forrásból ered, nevezetesen abból, hogy a visszatérő felhasználók a korábbi látogatásokból fakadó elvárásokkal rendelkeznek, és mindkettő olyan módon torzítja a rövid kísérleteket, amelyet semmilyen statisztikai szigor nem tud korrigálni.
A két hatás együttesen magyarázza a jelentett tesztgyőzelmek és a realizált üzleti eredmények közötti eltérés nagy részét. Egy kéthetes vásárlási ciklusú weboldalon hat napig futó teszt egy olyan populációt mér, amelyet a változásra adott reakció dominál, nem pedig a bevezetés utáni állandósult viselkedés. Amikor a változás életbe lép, és az újdonság elhalványul, a mutató visszatér az alapértékhez, és a várható éves bevétel soha nem jelenik meg. A kísérlet statisztikailag nem volt hibás; az első héttel kapcsolatos kérdésre adott választ, nem pedig a normál működésre.
Ezen hatások észleléséhez az eredmény időbeli alakját kell vizsgálni, nem csak az összesített értéket. A legegyszerűbb diagnosztikai módszer a napi vagy összesített növekedés ábrázolása és annak megfigyelése, hogy az nulla felé tart-e. Az eredmények új és visszatérő látogatók szerinti felosztása meghatározóbb, mivel az újdonság és a változáskerülés főként azokra az emberekre hat, akik korábban már találkoztak a változással: egy olyan változás, amely az új látogatók esetében azonos teljesítményt nyújt a teljes tesztidőszakban, de a visszatérők körében csökkenő növekedést mutat, inkább újdonságot, mint valódi javulást mutat. Ahol a tét indokolt, egy visszatartó csoport, amelyet a kontrollcsoportban tartanak a bevezetés után, lehetővé teszi a valódi hosszú távú hatás mérését hetekkel vagy hónapokkal később.
A gyakorlati biztosítékok nem túl szépek. Futtasson teszteket legalább egy, de lehetőleg két teljes üzleti cikluson keresztül. Ne álljon meg a harmadik napon, mert a számok rendkívülinek tűnnek. A vizuálisan feltűnő változások nagy korai hatásait nagyobb gyanakvással kezelje, mint a finomabb változások kis korai hatásait. Nagyobb áttervezések esetén tervezzen hosszabb mérési időablakokat, és előre tájékoztassa az érdekelt feleket arról, hogy az első hét számai félrevezetőek lesznek az egyik vagy a másik irányba, hogy senkinek sem kelljen nyomás alatt védenie egy népszerűtlen döntést a teszt közben.
Két kapcsolódó szennyező tényezőt érdemes egyszerre kontrollálni. Az első a belső forgalom: az új változatot kutató alkalmazottak, ügynökségek és partnerek egyáltalán nem úgy viselkednek, mint a vásárlók, és az alacsonyabb forgalmú oldalakon jelentős részét tehetik ki a korai munkameneteknek, mindezt pontosan abban az időszakban koncentrálva, amikor az újdonság hatásai a legerősebbek. A belső címek és az ismert partnerforgalom szűrése alapvető higiéniai szempont, amelyet sok program kihagy. A második a szezonalitás és a kampány időzítése, mivel egy promóciós időszakon, ünnepnapon vagy nagyobb marketingkampányon átívelő teszt olyan körülmények között méri a viselkedést, amelyek nem fognak tartósan fennmaradni. Amennyiben egy tesztnek egy ilyen időszakon kell átfutnia, a megfelelő válasz az, hogy meghosszabbítjuk azt úgy, hogy a normál kereskedés is képviselve legyen, és ellenőrizzük, hogy a hatás eltér-e a promóciós és a nem promóciós részek között, mielőtt általánosítanánk az eredményt.
Ezek a dinamikák az egyik fő oka annak, hogy az újratervezési munkát és a kísérletezést együtt, és nem egymás után kell megtervezni. termék dizájn Az olyan megbízásoknál, ahol jelentős interfészmódosítást javasolnak, a mérési terv általában tartalmaz egy meghosszabbított futási időt, egy új-visszatérő felosztást standard vágatként, és ahol lehetséges, egy bevezetést követő visszatartást. növekedés menedzsment A programban ugyanazt a fegyelmezési módszert alkalmazzák a portfólió egészére, a korábbi nyertesek rendszeres újramérésével, hogy ellenőrizzék, hogy a szállításukat indokoló hatások idővel fennmaradtak-e.