Nyhetseffekt

Nyhetseffekten er den midlertidige endringen i brukeratferd som oppstår rett og slett fordi noe er nytt og annerledes, snarere enn fordi det er bedre. Når et kjent grensesnittelement flyttes, endrer farge eller får en ny etikett, legger eksisterende brukere merke til det, ser på det og samhandler med det mer enn de ellers ville gjort. I de første dagene av et eksperiment kan dette gi en tilsynelatende forbedring som avtar etter hvert som publikum tilpasser seg, og etterlater en langsiktig effekt som er mindre, fraværende eller negativ.

Speilbildet av den, noen ganger kalt endringsaversjonseffekten, virker i motsatt retning. Brukere som er vant til å fullføre en oppgave på en bestemt måte, blir bremset og frustrerte av en ny design, selv en bedre en, og ytelsen deres synker mens de lærer flyten på nytt. En test som bare måler den første uken av en betydelig ny design av navigasjon eller betaling, vil systematisk undervurdere dens langsiktige verdi. Begge effektene stammer fra samme kilde, som er at tilbakevendende brukere bærer med seg forventninger bygget på tidligere besøk, og begge forvrenger korte eksperimenter på måter som ingen mengde statistisk nøyaktighet kan korrigere.

De to effektene forklarer til sammen en stor del av gapet mellom rapporterte testseire og realiserte forretningsresultater. En test som kjører i seks dager på et nettsted med en to ukers kjøpssyklus måler en populasjon dominert av reaksjonen på endring snarere enn den stabile atferden som vil gjelde etter utrulling. Når endringen sendes og nyheten forsvinner, går målingen tilbake mot grunnlinjen, og den anslåtte årlige inntekten vises aldri. Eksperimentet var ikke statistisk feil; det besvarte et spørsmål om den første uken snarere enn om normal drift.

For å oppdage disse effektene må man se på resultatet over tid, i stedet for bare den kumulative totalen. Å plotte inn daglig eller kumulativ stigning og observere om den trender mot null er den enkleste diagnostikken. Å dele resultatene inn i nye kontra tilbakevendende besøkende er mer avgjørende, fordi nyhetsfaktorer og endringsaversjon hovedsakelig virker på personer med tidligere eksponering: en endring som fungerer identisk for nye besøkende gjennom hele testperioden, men viser en avtagende stigning blant tilbakevendende, viser nyhetsfaktorer snarere enn reell forbedring. Der innsatsen rettferdiggjør det, tillater en holdback-gruppe som beholdes i kontrollgruppen etter utrulling at den sanne langsiktige effekten måles i uker eller måneder etterpå.

De praktiske sikkerhetstiltakene er lite glamorøse. Kjør tester i minst én og helst to fulle konjunktursykluser. Ikke stopp på dag tre fordi tallene ser ekstraordinære ut. Behandle store tidlige effekter på visuelt fremtredende endringer med mer mistenksomhet enn små tidlige effekter på subtile. For større redesign, planlegg et lengre målevindu og kommuniser til interessenter på forhånd at den første ukens tall vil være misvisende i den ene eller andre retningen, slik at ingen trenger å forsvare en upopulær avgjørelse under press midt i testen.

To relaterte forurensninger er verdt å kontrollere samtidig. Den første er intern trafikk: ansatte, byråer og partnere som utforsker en ny variant oppfører seg ikke som kunder, og på nettsteder med lavere trafikk kan de utgjøre en betydelig andel av tidlige økter, alle konsentrert i nøyaktig den perioden når nyhetseffektene er sterkest. Filtrering av interne adresser og trafikk fra kjente partnere er grunnleggende hygiene som mange programmer utelater. Det andre er sesongmessighet og kampanjetiming, siden en test som kjører på tvers av en kampanjeperiode, en ferie eller et større markedsføringsfremstøt måler atferd under forhold som ikke vil vedvare. Der en test må kjøres gjennom en slik periode, er den passende responsen å utvide den slik at normal handel også er representert, og å sjekke om effekten er forskjellig mellom de kampanje- og ikke-kampanjedelene før resultatet generaliseres.

Denne dynamikken er en av hovedgrunnene til at redesignarbeid og eksperimentering må planlegges sammen i stedet for sekvensielt. produktdesign I oppdrag der det foreslås en vesentlig endring av grensesnittet, inkluderer måleplanen vanligvis en utvidet kjøretid, en ny-versus-returnerende-deling som standardkutt, og der det er mulig en tilbakeholdelse etter lansering. I en kontinuerlig vekststyring I dette programmet brukes den samme disiplinen på porteføljen som helhet, ved å regelmessig måle tidligere vinnere for å sjekke om effektene som rettferdiggjorde salget av dem har holdt seg over tid.