Жаңалық әсері – пайдаланушы мінез-құлқындағы уақытша өзгеріс, ол бір нәрсе жақсырақ болғандықтан емес, жаңа және өзгеше болғандықтан ғана пайда болады. Таныс интерфейс элементі қозғалғанда, түсін өзгерткенде немесе жаңа белгі алған кезде, бар пайдаланушылар оны байқайды, қарайды және онымен әдеттегіден гөрі көбірек әрекеттеседі. Тәжірибенің алғашқы күндерінде бұл аудитория бейімделген сайын азаятын айқын жақсаруды тудыруы мүмкін, бұл ұзақ мерзімді әсерді кішірек, жоқ немесе теріс етеді.
Оның айнадағы бейнесі, кейде өзгерістен бас тарту әсері деп аталады, керісінше жұмыс істейді. Тапсырманы белгілі бір жолмен орындауға үйренген пайдаланушылар, тіпті жоғары деңгейлі қайта жобалаудан баяулайды және көңілі қалады, ал олар ағынды қайта үйренген кезде олардың өнімділігі төмендейді. Маңызды навигацияның немесе кассалық қайта жобалаудың тек бірінші аптасын өлшейтін тест оның ұзақ мерзімді құндылығын жүйелі түрде төмендетеді. Екі әсер де бір көзден туындайды, яғни қайта оралған пайдаланушылар алдыңғы келулерден қалыптасқан күтулерді орындайды және екеуі де қысқа эксперименттерді статистикалық қатаңдықпен түзете алмайтындай етіп бұрмалайды.
Екі әсер бірге есептелген сынақ жеңістері мен іске асырылған бизнес нәтижелері арасындағы алшақтықтың үлкен үлесін түсіндіреді. Екі апталық сатып алу циклі бар сайтта алты күн бойы жүргізілетін сынақ енгізілгеннен кейін қолданылатын тұрақты күйдегі мінез-құлықтың орнына өзгеріске реакция басым болатын популяцияны өлшейді. Өзгеріс жіберілгенде және жаңалық жоғалғанда, метрика бастапқы деңгейге оралады және болжамды жылдық кіріс ешқашан пайда болмайды. Тәжірибе статистикалық тұрғыдан қате болған жоқ; ол қалыпты жұмыс туралы емес, бірінші апта туралы сұраққа жауап берді.
Бұл әсерлерді анықтау үшін нәтиженің тек жиынтық қорытындыға емес, уақыт өте келе формасына қарау қажет. Күнделікті немесе жиынтық көтерілуді сызып, оның нөлге қарай бет алғанын бақылау - ең қарапайым диагностика. Нәтижелерді жаңа және қайта оралған келушілерге бөлу шешуші болып табылады, себебі жаңалық пен өзгерістерге деген жиіркеніш негізінен бұрын әсер еткен адамдарға әсер етеді: бүкіл сынақ кезеңінде жаңа келушілер үшін бірдей әсер ететін, бірақ қайта оралғандар арасында төмендейтін көтерілуді көрсететін өзгеріс шынайы жақсаруды емес, жаңалықты көрсетеді. Егер тәуекелдер оны ақтаса, енгізуден кейін бақылауда қалған ұстап тұру тобы шынайы ұзақ мерзімді әсерді апталар немесе айлар бойы өлшеуге мүмкіндік береді.
Практикалық қорғаныс шаралары онша ұнамайды. Кем дегенде бір және жақсырақ екі толық бизнес циклі үшін сынақтар жүргізіңіз. Сандар ерекше көрінетіндіктен үшінші күні тоқтамаңыз. Көрнекі түрде көрінетін өзгерістерге үлкен ерте әсерлерді нәзік өзгерістерге кішігірім ерте әсерлерге қарағанда күдікпен қарастырыңыз. Ірі қайта құрулар үшін өлшеу терезесін ұзағырақ жоспарлаңыз және мүдделі тараптарға бірінші аптаның сандары бір бағытта немесе екінші бағытта жаңылыстыратынын алдын ала хабарлаңыз, сондықтан ешкім сынақ ортасында қысым астында танымал емес шешімді қорғауға мәжбүр болмайды.
Бір уақытта екі байланысты ластаушыны бақылауға тұрарлық. Біріншісі - ішкі трафик: жаңа нұсқаны зерттейтін қызметкерлер, агенттіктер және серіктестер тұтынушылар сияқты әрекет етпейді, ал трафигі аз сайттарда олар алғашқы сессиялардың маңызды үлесін құра алады, барлығы жаңалық әсерлері ең күшті кезеңге шоғырланған. Ішкі мекенжайларды және белгілі серіктес трафигін сүзу - көптеген бағдарламалар ескермейтін негізгі гигиена. Екіншісі - маусымдық және науқан уақытын белгілеу, себебі жарнамалық кезең, мереке немесе ірі маркетингтік серпіліс кезіндегі сынақ сақталмайтын жағдайларда мінез-құлықты өлшеу болып табылады. Сынақ осындай кезеңде өтуі керек болған жағдайда, тиісті жауап - оны қалыпты сауда да көрсетілетіндей етіп ұзарту және нәтижені жалпыламас бұрын әсердің жарнамалық және жарнамалық емес бөліктер арасында ерекшеленетінін тексеру.
Бұл динамика жұмысты қайта жобалау мен экспериментті тізбектей емес, бірге жоспарлаудың негізгі себептерінің бірі болып табылады. өнімнің дизайны Интерфейсті айтарлықтай өзгерту ұсынылатын келісімдерде өлшеу жоспары әдетте ұзартылған жұмыс уақытын, стандартты қысқарту ретінде жаңа және қайтару бөлінуін және мүмкін болған жағдайда іске қосылғаннан кейінгі ұстап тұруды қамтиды. өсуді басқару бағдарламада дәл сол тәртіп тұтастай алғанда портфолиоға қолданылады, бұрынғы жеңімпаздарды оларды жеткізуді ақтаған әсерлердің уақыт өте келе сақталғанын тексеру үшін мезгіл-мезгіл қайта өлшеу арқылы.