Nyhedseffekt

Nyhedseffekten er den midlertidige ændring i brugeradfærd, der opstår simpelthen fordi noget er nyt og anderledes, snarere end fordi det er bedre. Når et velkendt grænsefladeelement flytter sig, skifter farve eller får en ny betegnelse, bemærker eksisterende brugere det, ser på det og interagerer med det mere, end de ellers ville. I de første dage af et eksperiment kan dette give en tilsyneladende forbedring, der aftager, efterhånden som publikum tilpasser sig, hvilket efterlader en langsigtet effekt, der er mindre, fraværende eller negativ.

Dens spejlbillede, undertiden kaldet forandringsaversionseffekten, virker i den modsatte retning. Brugere, der er vant til at udføre en opgave på en bestemt måde, bliver langsommere og frustrerede af et redesign, selv et bedre et, og deres ydeevne falder, mens de genlærer flowet. En test, der kun måler den første uge af et betydeligt redesign af navigation eller checkout, vil systematisk undervurdere dens langsigtede værdi. Begge effekter stammer fra samme kilde, nemlig at tilbagevendende brugere bærer forventninger bygget på tidligere besøg, og begge forvrænger korte eksperimenter på måder, som ingen statistisk stringens kan korrigere.

De to effekter forklarer tilsammen en stor del af forskellen mellem rapporterede testsejre og realiserede forretningsresultater. En test, der kører i seks dage på et websted med en to-ugers købscyklus, måler en population, der er domineret af reaktionen på forandring snarere end den stabile adfærd, der vil gælde efter udrulningen. Når ændringen sendes, og nyhedsværdien forsvinder, vender metrikken tilbage mod baseline, og den forventede årlige omsætning vises aldrig. Eksperimentet var ikke statistisk forkert; det besvarede et spørgsmål om den første uge snarere end om normal drift.

At opdage disse effekter kræver, at man ser på resultatets form over tid i stedet for kun på den kumulative total. At plotte den daglige eller kumulative stigning og observere, om den har en tendens mod nul, er den enkleste diagnosticering. At opdele resultaterne i nye versus tilbagevendende besøgende er mere afgørende, fordi nyhedsværdi og forandringsaversion primært virker på personer med tidligere eksponering: en ændring, der præsterer identisk for nye besøgende i hele testperioden, men viser en aftagende stigning blandt tilbagevendende, udviser nyhedsværdi snarere end reel forbedring. Hvor indsatsen berettiger det, giver en holdback-gruppe, der beholdes i kontrolgruppen efter udrulningen, mulighed for at måle den sande langsigtede effekt i uger eller måneder bagefter.

De praktiske sikkerhedsforanstaltninger er uglamourøse. Kør tests i mindst én og helst to fulde konjunkturcyklusser. Stop ikke på dag tre, fordi tallene ser ekstraordinære ud. Behandl store tidlige effekter på visuelt fremtrædende ændringer med mere mistænksomhed end små tidlige effekter på subtile. Ved større redesigns skal du planlægge et længere målefelt og kommunikere til interessenterne på forhånd, at den første uges tal vil være vildledende i den ene eller den anden retning, så ingen behøver at forsvare en upopulær beslutning under pres midt i testen.

To relaterede forurenende stoffer er værd at kontrollere samtidig. Den første er intern trafik: medarbejdere, bureauer og partnere, der udforsker en ny variant, opfører sig slet ikke som kunder, og på websteder med lavere trafik kan de udgøre en betydelig andel af de tidlige sessioner, alle koncentreret i præcis den periode, hvor nyhedseffekterne er stærkest. Filtrering af interne adresser og trafik fra kendte partnere er en grundlæggende hygiejne, som mange programmer udelader. Den anden er sæsonbestemthed og kampagnetiming, da en test, der kører på tværs af en kampagneperiode, en ferie eller et større marketingfremstød, måler adfærd under forhold, der ikke vil vare ved. Hvor en test skal køre gennem en sådan periode, er den passende reaktion at udvide den, så normal handel også er repræsenteret, og at kontrollere, om effekten adskiller sig mellem de kampagne- og ikke-kampagnedele, før resultatet generaliseres.

Disse dynamikker er en af ​​hovedårsagerne til, at redesignarbejde og eksperimenter skal planlægges sammen snarere end sekventielt. Produktdesign I forbindelse med engagementer, hvor der foreslås en væsentlig ændring af grænsefladen, inkluderer måleplanen normalt en forlænget driftstid, en opdeling mellem nye og tilbagevendende ydelser som standardklip og, hvor det er muligt, en holdback efter lancering. I en løbende vækststyring I programmet anvendes den samme disciplin på porteføljen som helhed ved regelmæssigt at genmåle tidligere vindere for at kontrollere, om de effekter, der berettigede at sælge dem, har holdt sig over tid.