Nyhetseffekt

Nyhetseffekten är den tillfälliga förändringen i användarbeteende som sker helt enkelt för att något är nytt och annorlunda, snarare än för att det är bättre. När ett välbekant gränssnittselement flyttas, ändrar färg eller får en ny etikett, märker befintliga användare det, tittar på det och interagerar med det mer än de annars skulle göra. Under de första dagarna av ett experiment kan detta ge en skenbar förbättring som avtar allt eftersom publiken anpassar sig, vilket lämnar en långsiktig effekt som är mindre, frånvarande eller negativ.

Dess spegelbild, ibland kallad förändringsaversionseffekten, fungerar i motsatt riktning. Användare som är vana vid att slutföra en uppgift på ett visst sätt blir långsammare och frustrerade av en omdesign, även en överlägsen sådan, och deras prestanda sjunker medan de lär sig flödet på nytt. Ett test som bara mäter den första veckan av en betydande omdesign av navigering eller kassa kommer systematiskt att underskatta dess långsiktiga värde. Båda effekterna kommer från samma källa, nämligen att återkommande användare bär på förväntningar som byggts upp från tidigare besök, och båda förvränger korta experiment på sätt som ingen mängd statistisk noggrannhet kan korrigera.

De två effekterna förklarar tillsammans en stor del av skillnaden mellan rapporterade testvinster och realiserade affärsresultat. Ett test som körs i sex dagar på en webbplats med en tvåveckors köpcykel mäter en population som domineras av reaktionen på förändring snarare än det stabila beteende som kommer att gälla efter utrullningen. När förändringen skickas och nyheten avtar, återgår mätvärdet till baslinjen och den beräknade årliga intäkten visas aldrig. Experimentet var inte statistiskt fel; det besvarade en fråga om den första veckan snarare än om normal drift.

För att upptäcka dessa effekter krävs det att man tittar på resultatets form över tid snarare än bara på den kumulativa totalen. Att plotta daglig eller kumulativ ökning och observera om den trendar mot noll är den enklaste diagnosen. Att dela upp resultaten efter nya kontra återkommande besökare är mer avgörande, eftersom nyhetsfaktor och förändringsaversion huvudsakligen verkar på personer med tidigare exponering: en förändring som presterar identiskt för nya besökare under hela testperioden men visar en avtagande ökning bland återvändande besökare uppvisar nyhetsfaktor snarare än genuin förbättring. Där insatserna motiverar det, gör en holdback-grupp som behålls i kontrollgruppen efter utrullningen det möjligt att mäta den verkliga långsiktiga effekten i veckor eller månader efteråt.

De praktiska skyddsåtgärderna är oglamorösa. Kör tester under minst en och helst två hela konjunkturcykler. Stanna inte på dag tre för att siffrorna ser extraordinära ut. Behandla stora tidiga effekter på visuellt framträdande förändringar med större misstänksamhet än små tidiga effekter på subtila. För större omdesigner, planera för ett längre mätfönster och kommunicera till intressenterna i förväg att den första veckans siffror kommer att vara vilseledande i ena eller andra riktningen, så att ingen behöver försvara ett impopulärt beslut under press mitt i testet.

Två relaterade föroreningar är värda att kontrollera samtidigt. Den första är intern trafik: anställda, byråer och partners som utforskar en ny variant beter sig inte alls som kunder, och på webbplatser med lägre trafik kan de utgöra en betydande andel av tidiga sessioner, alla koncentrerade till exakt den period då nyhetseffekterna är som starkast. Att filtrera interna adresser och känd partnertrafik är en grundläggande hygien som många program utelämnar. Den andra är säsongsvariationer och kampanjtiming, eftersom ett test som körs över en kampanjperiod, en helgdag eller en större marknadsföringskampanj mäter beteende under förhållanden som inte kommer att bestå. Om ett test måste köras under en sådan period är det lämpliga svaret att förlänga det så att normal handel också representeras, och att kontrollera om effekten skiljer sig mellan de reklam- och icke-reklamdelarna innan resultatet generaliseras.

Denna dynamik är en av de främsta anledningarna till att omdesignarbete och experiment behöver planeras tillsammans snarare än sekventiellt. produktdesign I uppdrag där en väsentlig gränssnittsändring föreslås inkluderar mätplanen vanligtvis en förlängd körtid, en delning mellan nya och återkommande signaler som standard och där det är möjligt en återhållsamhet efter lansering. I en fortlöpande tillväxtledning programmet tillämpas samma disciplin på portföljen som helhet, genom att regelbundet mäta tidigare vinnare för att kontrollera om de effekter som motiverade att de säljs har hållit i sig över tid.