เอฟเฟกต์แปลกใหม่

ผลกระทบจากความแปลกใหม่ คือการเปลี่ยนแปลงพฤติกรรมของผู้ใช้ชั่วคราวที่เกิดขึ้นเพียงเพราะสิ่งนั้นใหม่และแตกต่างออกไป ไม่ใช่เพราะมันดีกว่า เมื่อองค์ประกอบอินเทอร์เฟซที่คุ้นเคยเคลื่อนไหว เปลี่ยนสี หรือมีป้ายกำกับใหม่ ผู้ใช้เดิมจะสังเกตเห็น มองดู และโต้ตอบกับมันมากกว่าปกติ ในช่วงแรกของการทดลอง สิ่งนี้อาจทำให้เห็นการปรับปรุงที่ชัดเจน แต่จะค่อยๆ ลดลงเมื่อผู้ใช้ปรับตัวได้ ทำให้ผลกระทบในระยะยาวลดลง ไม่มี หรือเป็นลบ

ปรากฏการณ์ตรงกันข้าม หรือที่บางครั้งเรียกว่า ปรากฏการณ์การหลีกเลี่ยงการเปลี่ยนแปลง จะเกิดขึ้นในทิศทางตรงกันข้าม ผู้ใช้ที่คุ้นเคยกับการทำภารกิจให้สำเร็จด้วยวิธีใดวิธีหนึ่ง จะรู้สึกช้าลงและหงุดหงิดกับการออกแบบใหม่ แม้ว่าจะเป็นการออกแบบที่ดีกว่าก็ตาม และประสิทธิภาพของพวกเขาก็จะลดลงในขณะที่พวกเขากำลังเรียนรู้ขั้นตอนใหม่ การทดสอบที่วัดผลเพียงสัปดาห์แรกของการออกแบบระบบนำทางหรือขั้นตอนการชำระเงินใหม่ที่สำคัญ จะประเมินค่าในระยะยาวต่ำกว่าความเป็นจริงอย่างเป็นระบบ ผลกระทบทั้งสองอย่างเกิดขึ้นจากแหล่งเดียวกัน นั่นคือ ผู้ใช้ที่กลับมาใช้บริการจะมีความคาดหวังที่สร้างขึ้นจากการเยี่ยมชมครั้งก่อน และทั้งสองอย่างจะบิดเบือนการทดลองระยะสั้นในลักษณะที่ความแม่นยำทางสถิติใดๆ ก็ไม่สามารถแก้ไขได้

ผลกระทบทั้งสองอย่างรวมกันสามารถอธิบายช่องว่างส่วนใหญ่ระหว่างผลการทดสอบที่รายงานกับผลลัพธ์ทางธุรกิจที่เกิดขึ้นจริงได้ การทดสอบที่ดำเนินการเป็นเวลาหกวันบนเว็บไซต์ที่มีวงจรการซื้อสองสัปดาห์นั้นวัดผลกลุ่มประชากรที่ถูกครอบงำด้วยปฏิกิริยาต่อการเปลี่ยนแปลงมากกว่าพฤติกรรมในสภาวะคงที่ที่จะเกิดขึ้นหลังจากการเปิดตัว เมื่อการเปลี่ยนแปลงเกิดขึ้นและสิ่งใหม่จางหายไป ตัวชี้วัดก็จะกลับไปสู่ระดับพื้นฐาน และรายได้ประจำปีที่คาดการณ์ไว้ก็จะไม่ปรากฏขึ้น การทดลองนั้นไม่ได้ผิดพลาดทางสถิติ แต่เป็นการตอบคำถามเกี่ยวกับสัปดาห์แรกมากกว่าการดำเนินงานตามปกติ

การตรวจจับผลกระทบเหล่านี้จำเป็นต้องพิจารณารูปแบบของผลลัพธ์เมื่อเวลาผ่านไป แทนที่จะดูแค่ผลรวมสะสม การพล็อตค่าการเปลี่ยนแปลงรายวันหรือสะสม และสังเกตว่ามีแนวโน้มเข้าใกล้ศูนย์หรือไม่ เป็นวิธีการวินิจฉัยที่ง่ายที่สุด การแบ่งผลลัพธ์ตามผู้เข้าชมใหม่และผู้เข้าชมซ้ำมีความสำคัญมากกว่า เพราะความแปลกใหม่และความไม่ชอบการเปลี่ยนแปลงจะส่งผลต่อผู้ที่มีประสบการณ์มาก่อนเป็นหลัก การเปลี่ยนแปลงที่ให้ผลลัพธ์เหมือนกันสำหรับผู้เข้าชมใหม่ตลอดช่วงเวลาทดสอบ แต่แสดงให้เห็นการเปลี่ยนแปลงที่ลดลงในกลุ่มผู้เข้าชมซ้ำ แสดงให้เห็นถึงความแปลกใหม่มากกว่าการปรับปรุงที่แท้จริง ในกรณีที่มีความสำคัญเพียงพอ การคงกลุ่มควบคุมไว้หลังจากเปิดตัวผลิตภัณฑ์ จะช่วยให้สามารถวัดผลกระทบระยะยาวที่แท้จริงได้ในอีกหลายสัปดาห์หรือหลายเดือนต่อมา

มาตรการป้องกันในทางปฏิบัติอาจดูไม่น่าดึงดูดใจนัก ควรทำการทดสอบอย่างน้อยหนึ่งรอบธุรกิจเต็ม และควรเป็นสองรอบ อย่าหยุดในวันที่สามเพียงเพราะตัวเลขดูผิดปกติ ควรระมัดระวังผลกระทบในช่วงแรกที่เกิดขึ้นกับความเปลี่ยนแปลงที่เห็นได้ชัดมากกว่าผลกระทบในช่วงแรกที่เกิดขึ้นกับความเปลี่ยนแปลงเล็กน้อย สำหรับการออกแบบใหม่ครั้งใหญ่ ควรวางแผนช่วงเวลาการวัดผลที่ยาวขึ้น และแจ้งให้ผู้มีส่วนได้ส่วนเสียทราบล่วงหน้าว่าตัวเลขในสัปดาห์แรกอาจทำให้เข้าใจผิดไปในทิศทางใดทิศทางหนึ่ง เพื่อไม่ให้ใครต้องมาแก้ตัวกับการตัดสินใจที่ไม่เป็นที่นิยมภายใต้แรงกดดันระหว่างการทดสอบ

มีปัจจัยปนเปื้อนสองอย่างที่เกี่ยวข้องกันซึ่งควรควบคุมไปพร้อมกัน อย่างแรกคือปริมาณการเข้าชมภายใน: พนักงาน หน่วยงาน และพันธมิตรที่กำลังทดลองใช้ผลิตภัณฑ์ใหม่นั้นมีพฤติกรรมแตกต่างจากลูกค้าทั่วไป และในเว็บไซต์ที่มีปริมาณการเข้าชมต่ำ พวกเขาอาจมีส่วนสำคัญในการเข้าชมช่วงแรกๆ ซึ่งกระจุกตัวอยู่ในช่วงเวลาที่ผลกระทบจากความแปลกใหม่นั้นแรงที่สุด การกรองที่อยู่ภายในและปริมาณการเข้าชมจากพันธมิตรที่รู้จักนั้นเป็นสุขอนามัยขั้นพื้นฐานที่หลายโปรแกรมละเลย อย่างที่สองคือฤดูกาลและช่วงเวลาของแคมเปญ เนื่องจากการทดสอบที่ดำเนินการในช่วงโปรโมชั่น วันหยุด หรือการทำการตลาดครั้งใหญ่ จะวัดพฤติกรรมภายใต้เงื่อนไขที่ไม่คงอยู่ตลอดไป หากจำเป็นต้องทำการทดสอบในช่วงเวลาดังกล่าว การตอบสนองที่เหมาะสมคือการขยายระยะเวลาการทดสอบเพื่อให้ครอบคลุมการซื้อขายปกติด้วย และตรวจสอบว่าผลกระทบแตกต่างกันระหว่างช่วงโปรโมชั่นและช่วงที่ไม่ใช่โปรโมชั่นหรือไม่ ก่อนที่จะสรุปผลโดยทั่วไป

พลวัตเหล่านี้เป็นหนึ่งในเหตุผลหลักที่ทำให้การออกแบบใหม่และการทดลองจำเป็นต้องวางแผนร่วมกัน แทนที่จะทำทีละขั้นตอน ออกแบบผลิตภัณฑ์ ในการดำเนินงานที่มีการเสนอการเปลี่ยนแปลงอินเทอร์เฟซอย่างมีนัยสำคัญ แผนการวัดผลมักจะรวมถึงระยะเวลาการทำงานที่ยาวนานขึ้น การแบ่งกลุ่มระหว่างผู้ใช้งานใหม่และผู้ใช้งานเดิมเป็นมาตรฐาน และหากเป็นไปได้ การระงับการใช้งานหลังการเปิดตัว ในกระบวนการต่อเนื่อง การจัดการการเจริญเติบโต ในโปรแกรมนี้ จะใช้หลักการเดียวกันกับพอร์ตโฟลิโอโดยรวม โดยการวัดผลการดำเนินงานของหุ้นที่เคยประสบความสำเร็จในอดีตเป็นระยะ เพื่อตรวจสอบว่าผลลัพธ์ที่ทำให้ตัดสินใจส่งหุ้นเหล่านั้นออกไปนั้น ยังคงมีอยู่หรือไม่เมื่อเวลาผ่านไป