การทดสอบความเพิ่มขึ้น

การทดสอบความเพิ่มขึ้น (Incrementality testing) วัดผลลัพธ์ทางธุรกิจเพิ่มเติมที่เกิดจากกิจกรรมทางการตลาด ซึ่งแตกต่างจากผลลัพธ์ที่เกี่ยวข้องกับกิจกรรมนั้นโดยตรง วิธีการนี้เป็นการทดลอง โดยกลุ่มตัวอย่างที่สุ่มเลือกจะไม่ได้รับการเปิดเผยข้อมูล และความแตกต่างของผลลัพธ์ระหว่างกลุ่มที่ได้รับการเปิดเผยข้อมูลและกลุ่มที่ไม่เปิดเผยข้อมูลคือผลกระทบที่เพิ่มขึ้น ส่วนวิธีการอื่นๆ รวมถึงการแปลงที่รายงานโดยแพลตฟอร์มและแบบจำลองการระบุแหล่งที่มา อธิบายถึงความสัมพันธ์ระหว่างการได้รับการเปิดเผยข้อมูลและผลลัพธ์มากกว่าความเป็นเหตุเป็นผล

ปัญหาที่ระบบนี้แก้ไขคือ การให้เครดิตกิจกรรมที่มุ่งเป้าไปที่กลุ่มคนที่กำลังจะซื้อสินค้าหรือบริการอยู่แล้วมากเกินไปอย่างเป็นระบบ การโฆษณาแบรนด์บนเครื่องมือค้นหาเป็นตัวอย่างที่ชัดเจน: มันรายงานประสิทธิภาพสูงเพราะคนที่ค้นหาชื่อแบรนด์มีความตั้งใจสูง แต่ส่วนหนึ่งของการคลิกเหล่านั้นอาจมาจากผลการค้นหาแบบทั่วไปโดยไม่เสียค่าใช้จ่ายใดๆ ตรรกะเดียวกันนี้ใช้ได้กับการรีทาร์เก็ตติ้ง การค้นหากลุ่มเป้าหมายจากลูกค้าปัจจุบัน และช่องทางใดๆ ก็ตามที่ค้นหาคนที่ใกล้จะซื้อ ผลตอบแทนจากการลงทุนโฆษณาที่รายงานอาจดีเยี่ยม ในขณะที่ผลตอบแทนส่วนเพิ่มนั้นใกล้เคียงกับศูนย์

มีการออกแบบหลายแบบขึ้นอยู่กับสิ่งที่สามารถสุ่มได้ การแบ่งกลุ่มเป้าหมายตามภูมิศาสตร์จะแบ่งตลาดออกเป็นภูมิภาคที่ตรงกัน โดยดำเนินกิจกรรมในบางภูมิภาคและไม่ดำเนินกิจกรรมในภูมิภาคอื่น ซึ่งเหมาะสำหรับช่องทางที่ไม่สามารถกำหนดเป้าหมายในระดับบุคคลได้ การแบ่งกลุ่มเป้าหมายตามสัดส่วนจะกันกลุ่มเป้าหมายที่สามารถเข้าถึงได้ในเปอร์เซ็นต์แบบสุ่ม ซึ่งเหมาะสำหรับอีเมล การกำหนดเป้าหมายใหม่ และแพลตฟอร์มที่รองรับรายชื่อผู้ที่ไม่ต้องการรับข้อมูล การศึกษาเกี่ยวกับการเพิ่มอัตราการแปลงของแพลตฟอร์มจะสุ่มในระดับการประมูล แม้ว่าการศึกษาเหล่านี้จะขึ้นอยู่กับแพลตฟอร์มในการดำเนินการและรายงานผลการศึกษาของตนเองก็ตาม การออกแบบแบบสลับไปมาจะสลับการเปิดรับข้อมูลในช่วงเวลาต่างๆ ภายในตลาดเดียว ซึ่งเหมาะสำหรับกิจกรรมที่ไม่สามารถแบ่งตามกลุ่มเป้าหมายได้

รายละเอียดการออกแบบเป็นตัวกำหนดว่าผลลัพธ์นั้นน่าเชื่อถือหรือไม่ การปนเปื้อน ซึ่งหมายถึงการที่กลุ่มควบคุมถูกเข้าถึงได้อยู่ดีผ่านช่องทางอื่นหรือผ่านการรั่วไหลระหว่างภูมิภาค จะทำให้การวัดเอนเอียงไปทางศูนย์ ขนาดที่ไม่เพียงพอจะทำให้ช่วงกว้างเกินไปจนการทดสอบไม่สามารถแยกแยะผลกระทบที่มีนัยสำคัญออกจากผลกระทบที่ไม่มีนัยสำคัญได้ และการทดสอบการเพิ่มขึ้นโดยทั่วไปต้องการปริมาณมากกว่าที่ทีมคาดไว้ เนื่องจากผลกระทบที่วัดได้นั้นเล็กกว่าตัวเลขความสัมพันธ์ที่แสดง การวัดผลต้องใช้เวลานานพอที่จะจับภาพการเปลี่ยนแปลงที่ล่าช้า และการทดสอบในช่วงเวลาสั้นๆ จะประเมินผลกระทบต่อการซื้อที่พิจารณาไว้ต่ำกว่าความเป็นจริงอย่างเป็นระบบ

ความยากลำบากด้านการจัดการองค์กรนั้นมากกว่าความยากลำบากด้านวิธีการ การทดสอบการเพิ่มประสิทธิภาพมักแสดงให้เห็นว่าช่องทางที่มีผลการดำเนินงานที่รายงานไว้ดีเยี่ยมนั้นกลับสร้างผลกำไรได้น้อยกว่าที่เชื่อกัน ซึ่งอาจส่งผลกระทบต่องบประมาณ ความสัมพันธ์กับหน่วยงาน และชื่อเสียงภายในของบุคคลที่สร้างกรณีการใช้จ่ายนั้น การตัดสินใจทำการทดสอบก่อนที่จะเห็นผลลัพธ์ การตกลงกันล่วงหน้าว่าผลลัพธ์แต่ละอย่างจะนำไปสู่การตัดสินใจอย่างไร และการวิเคราะห์ร่วมกับบุคคลที่ไม่มีส่วนได้ส่วนเสียกับคำตอบ จะช่วยป้องกันไม่ให้ผลการวิเคราะห์ถูกต่อรองเปลี่ยนแปลงในภายหลัง

การออกแบบการทดสอบควรคำนึงถึงข้อเท็จจริงที่ว่า การเพิ่มขึ้นของผลลัพธ์นั้นแตกต่างกันไปตามกลุ่มเป้าหมายและบริบท มากกว่าที่จะเป็นคุณสมบัติเดียวของช่องทางใดช่องทางหนึ่ง การโฆษณาที่ซ้ำซ้อนกับลูกค้าปัจจุบันที่อาจกลับมาใช้บริการอีก อาจเป็นการเพิ่มขึ้นของผลลัพธ์อย่างแท้จริงสำหรับลูกค้าเป้าหมายที่ไม่เคยรู้จักแบรนด์มาก่อน และผลลัพธ์แบบผสมผสานเพียงอย่างเดียวจะปกปิดทั้งสองกรณี ในกรณีที่ปริมาณข้อมูลเอื้ออำนวย การทดสอบแบบปิด (holdout) ภายในกลุ่มเป้าหมายที่กำหนดไว้จะให้ผลลัพธ์ที่นำไปใช้ได้จริงมากกว่าการหาค่าเฉลี่ยระดับช่องทาง เพราะโดยปกติแล้ว การตัดสินใจจะไม่ใช่ว่าจะหยุดช่องทางนั้นหรือไม่ แต่เป็นการตัดสินใจว่าจะยังคงจ่ายเงินให้กับกลุ่มเป้าหมายใดในช่องทางนั้นต่อไป นี่คือเหตุผลว่าทำไมผลลัพธ์จากช่วงเวลาหนึ่งจึงควรได้รับการตรวจสอบซ้ำเป็นระยะ เนื่องจาก การเพิ่มขึ้นของผลลัพธ์จะเปลี่ยนแปลงไปตามการรับรู้แบรนด์ กิจกรรมของคู่แข่ง และความอิ่มตัวของกลุ่มเป้าหมาย

เนื่องจากผลลัพธ์จะกำหนดโดยตรงว่าควรจัดสรรงบประมาณไปที่ใด งานนี้จึงควรอยู่ตรงจุดตัดระหว่างการวัดผลและการวางแผน โดยปกติแล้วการออกแบบและการวิเคราะห์การทดลองจะดำเนินการโดย... การวิเคราะห์ข้อมูลการดำเนินการโดย บริการด้านการตลาดและการตัดสินใจจัดสรรใหม่โดย การจัดการการเจริญเติบโตเนื่องจากคุณค่าของการทดสอบจะเกิดขึ้นจริงก็ต่อเมื่อการใช้จ่ายเปลี่ยนแปลงไปตามสิ่งที่ตรวจพบเท่านั้น