Uutuusvaikutus

Uutuusvaikutus on käyttäjän käyttäytymisen tilapäinen muutos, joka tapahtuu yksinkertaisesti siksi, että jokin on uutta ja erilaista, eikä siksi, että se olisi parempaa. Kun tuttu käyttöliittymäelementti liikkuu, vaihtaa väriä tai saa uuden nimikkeen, nykyiset käyttäjät huomaavat sen, katsovat sitä ja ovat vuorovaikutuksessa sen kanssa enemmän kuin muuten tekisivät. Kokeilun ensimmäisinä päivinä tämä voi tuottaa näennäisen parannuksen, joka häviää yleisön sopeutuessa, jolloin pitkän aikavälin vaikutus on pienempi, puuttuva tai negatiivinen.

Sen peilikuva, jota joskus kutsutaan muutosaversiovaikutukseksi, toimii päinvastaiseen suuntaan. Käyttäjät, jotka ovat tottuneet suorittamaan tehtävän tietyllä tavalla, hidastuvat ja turhautuvat uudelleensuunnittelusta, jopa erinomaisesta, ja heidän suorituskykynsä laskee heidän opetellessaan uudelleen työnkulkua. Testi, joka mittaa vain merkittävän navigoinnin tai kassasuunnittelun ensimmäistä viikkoa, aliarvioi systemaattisesti sen pitkän aikavälin arvon. Molemmat vaikutukset johtuvat samasta lähteestä, eli siitä, että palaavilla käyttäjillä on aiempien käyntien perusteella rakennettuja odotuksia, ja molemmat vääristävät lyhyitä kokeita tavoilla, joita mikään tilastollinen tarkkuus ei voi korjata.

Nämä kaksi vaikutusta yhdessä selittävät suuren osan raportoitujen testivoittojen ja toteutuneiden liiketoimintatulosten välisestä kuilusta. Kuuden päivän ajan sivustolla, jonka ostosykli on kaksi viikkoa, suoritettava testi mittaa populaatiota, jota hallitsee muutokseen reagointi, eikä niinkään vakaata käyttäytymistä, joka vallitsee käyttöönoton jälkeen. Kun muutos tulee voimaan ja uutuudenviehätys hälvenee, mittari palaa lähtötasolle eikä ennustettua vuosittaista liikevaihtoa koskaan näy. Koe ei ollut tilastollisesti väärä; se vastasi kysymykseen ensimmäisestä viikosta eikä normaalista toiminnasta.

Näiden vaikutusten havaitseminen edellyttää tuloksen muodon tarkastelua ajan kuluessa eikä pelkästään kumulatiivista kokonaismäärää. Päivittäisen tai kumulatiivisen nousun kuvaaminen ja sen tarkkaileminen, onko se trendissä kohti nollaa, on yksinkertaisin diagnostiikka. Tulosten jakaminen uusiin ja palaaviin kävijöihin on ratkaisevampaa, koska uutuudenviehätys ja muutosten välttäminen vaikuttavat pääasiassa ihmisiin, joilla on aiempaa kokemusta: muutos, joka toimii samalla tavalla uusille kävijöille koko testijakson ajan, mutta osoittaa hidastuvaa nousua palaavien kävijöiden keskuudessa, osoittaa uutuudenviehätystä pikemminkin kuin aitoa parannusta. Jos panokset sitä edellyttävät, verrokkiryhmässä pidettävä julkaisun jälkeen oleva ryhmä mahdollistaa todellisen pitkän aikavälin vaikutuksen mittaamisen viikkoja tai kuukausia myöhemmin.

Käytännön suojatoimet eivät ole hohdokkaita. Suorita testejä vähintään yhden ja mieluiten kahden kokonaisen suhdannesyklin ajan. Älä lopeta kolmantena päivänä, koska luvut näyttävät poikkeuksellisilta. Suhtaudu visuaalisesti näkyvien muutosten suuriin varhaisiin vaikutuksiin epäluuloisemmin kuin hienovaraisten muutosten pieniin varhaisiin vaikutuksiin. Suurissa uudelleensuunnitteluissa varaa pidempi mittausikkuna ja kommunikoi sidosryhmille etukäteen, että ensimmäisen viikon luvut ovat harhaanjohtavia suuntaan tai toiseen, jotta kenenkään ei tarvitse puolustaa epäsuosittua päätöstä paineen alla kesken testin.

Kaksi toisiinsa liittyvää epäpuhtautta kannattaa hallita samanaikaisesti. Ensimmäinen on sisäinen liikenne: uutta varianttia tutkivat työntekijät, toimistot ja kumppanit eivät käyttäydy lainkaan kuten asiakkaat, ja vähemmän liikennöidyillä sivustoilla ne voivat muodostaa merkittävän osan alkuvaiheen istunnoista, jotka kaikki keskittyvät juuri siihen ajanjaksoon, jolloin uutuuden vaikutukset ovat voimakkaimmat. Sisäisten osoitteiden ja tunnettujen kumppanien liikenteen suodattaminen on perushygieniaa, jota monet ohjelmat jättävät huomiotta. Toinen on kausiluonteisuus ja kampanjoiden ajoitus, koska kampanja-ajanjakson, loman tai suuren markkinointikampanjan aikana suoritettava testi mittaa käyttäytymistä olosuhteissa, jotka eivät kestä. Jos testin on suoritettava tällaisen ajanjakson läpi, asianmukainen vastaus on pidentää sitä siten, että myös normaali kaupankäynti on edustettuna, ja tarkistaa, eroaako vaikutus kampanja- ja ei-mainososien välillä ennen tuloksen yleistämistä.

Nämä dynamiikat ovat yksi tärkeimmistä syistä, miksi uudelleensuunnittelutyö ja kokeilut on suunniteltava yhdessä eikä peräkkäin. tuotesuunnittelu Jos ehdotetaan merkittävää rajapinnan muutosta, mittaussuunnitelmaan sisältyy yleensä pidennetty suoritusaika, uusien ja palaavien osallistujien välinen ero vakioleikkauksena ja mahdollisuuksien mukaan julkaisun jälkeinen pidätys. kasvun hallinta ohjelmassa samaa kurinalaisuutta sovelletaan koko salkkuun mittaamalla aiempia voittajia säännöllisesti uudelleen sen tarkistamiseksi, ovatko niiden toimittamisen oikeuttaneet vaikutukset kestäneet ajan kuluessa.