ค่า p-value คือความน่าจะเป็นของการสังเกตผลลัพธ์ที่รุนแรงอย่างน้อยที่สุดเท่ากับผลลัพธ์ที่วัดได้ โดยสมมติว่าการเปลี่ยนแปลงที่กำลังทดสอบนั้นไม่มีผลกระทบที่แท้จริง ค่า p-value เป็นตัวเลขพื้นฐานในการตัดสินความสำคัญทางสถิติในงานทดลองเกี่ยวกับการเปลี่ยนแปลง: โดยทั่วไปแล้ว ค่า p-value ที่ต่ำกว่า 0.05 จะถือเป็นหลักฐานที่ขัดแย้งกับสมมติฐานที่ว่าไม่มีผลกระทบ และผลลัพธ์นั้นจะถูกระบุว่ามีความสำคัญทางสถิติที่ระดับ 95 เปอร์เซ็นต์
คำจำกัดความนี้มีเงื่อนไขที่มักถูกละทิ้งในทางปฏิบัติ และการละทิ้งเงื่อนไขนี้เป็นสาเหตุหลักของความสับสนเกี่ยวกับแนวคิดนี้ ค่า p-value 0.03 ไม่ได้หมายความว่ามีโอกาส 3 เปอร์เซ็นต์ที่การเปลี่ยนแปลงไม่มีผล และไม่ได้หมายความว่ามีโอกาส 97 เปอร์เซ็นต์ที่ตัวแปรนั้นดีกว่า มันอธิบายว่าข้อมูลจะน่าประหลาดใจแค่ไหนในโลกที่การเปลี่ยนแปลงไม่มีผลอะไรเลย การแปลงสิ่งนั้นให้เป็นความน่าจะเป็นเกี่ยวกับสมมติฐานเองนั้นต้องการข้อมูลเพิ่มเติม โดยเฉพาะอย่างยิ่งความน่าเชื่อถือของสมมติฐานก่อนการทดสอบ ซึ่งเป็นสิ่งที่วิธีการแบบเบย์เซียนระบุไว้อย่างชัดเจนและค่า p-value แบบความถี่ไม่ได้กล่าวถึง
เรื่องนี้มีความสำคัญในเชิงพาณิชย์ เพราะมันเปลี่ยนวิธีการให้น้ำหนักผลลัพธ์ ค่า p-value 0.04 จากสมมติฐานที่มีเหตุผลดีซึ่งอิงจากพฤติกรรมของผู้ใช้ที่สังเกตได้นั้น เป็นหลักฐานที่แข็งแกร่งกว่าค่า p-value เดียวกันจากการเปลี่ยนแปลงแบบสุ่มที่ทดสอบตามอำเภอใจ แม้ว่าตัวเลขทั้งสองจะเหมือนกันก็ตาม โปรแกรมที่ทดสอบแนวคิดคุณภาพต่ำจำนวนมากจะสะสมผลลัพธ์ที่มีนัยสำคัญในอัตราที่ใกล้เคียงกับค่าเกณฑ์ที่กำหนดไว้ คือ หนึ่งในยี่สิบโดยบังเอิญ และจากนั้นก็จะประสบปัญหาในการทำความเข้าใจว่าทำไมผลกระทบทางธุรกิจโดยรวมจึงไม่ตรงกับผลรวมของจำนวนชัยชนะที่รายงานไว้
ค่า p-value 0.05 นั้นไม่มีพื้นฐานทางวิทยาศาสตร์ เป็นเพียงธรรมเนียมปฏิบัติที่สืบทอดมาจากแนวทางการวิเคราะห์ทางสถิติในช่วงต้นศตวรรษที่ 20 และถูกนำมาใช้โดยอุตสาหกรรมการปรับปรุงประสิทธิภาพอย่างเต็มที่ การใช้ค่า p-value นี้เป็นเกณฑ์ที่ชัดเจนส่งเสริมการให้เหตุผลที่ผิดพลาด โดยถือว่าค่า p-value 0.049 คือความสำเร็จ และ 0.051 คือความล้มเหลว ทั้งที่ผลลัพธ์ทั้งสองแทบจะเหมือนกัน แนวทางปฏิบัติที่ดีกว่าคือการรายงานค่า p-value ควบคู่ไปกับขนาดของผลกระทบและช่วงความเชื่อมั่น และปล่อยให้การตัดสินใจสะท้อนภาพรวมทั้งหมด รวมถึงต้นทุนของการเปลี่ยนแปลงและผลที่ตามมาหากผิดพลาด
แนวปฏิบัติทั่วไปหลายอย่างทำให้ค่า p-value สูงเกินจริงในลักษณะที่มองไม่เห็นในรายงานฉบับสุดท้าย การตรวจสอบผลลัพธ์ซ้ำๆ และหยุดเมื่อค่าเกินเกณฑ์จะทำให้โอกาสเกิดผลบวกเท็จสูงขึ้นอย่างมาก การทดสอบตัวชี้วัดหลายตัวและรายงานเฉพาะตัวที่มีนัยสำคัญก็เช่นเดียวกัน การแบ่งกลุ่มหลังจากเห็นผลรวมทั้งหมดก็เป็นข้อผิดพลาดแบบเดียวกัน แต่ในขนาดที่ใหญ่ขึ้น มีวิธีการแก้ไขสำหรับการเปรียบเทียบหลายรายการ และมีการออกแบบการทดสอบแบบต่อเนื่องสำหรับการตรวจสอบอย่างต่อเนื่อง แต่การป้องกันที่น่าเชื่อถือที่สุดคือแผนการวิเคราะห์ที่ลงทะเบียนไว้ล่วงหน้า ซึ่งกำหนดตัวชี้วัดหลัก กลุ่ม และกฎการหยุดก่อนที่ข้อมูลใดๆ จะมาถึง
การตรวจสอบการกระจายตัวของค่า p ตลอดประวัติของโครงการเป็นการวิเคราะห์ที่สำคัญซึ่งมีเพียงไม่กี่ทีมที่ดำเนินการ หากการทดลองดำเนินการและวิเคราะห์อย่างถูกต้อง และหากแนวคิดที่ทดสอบส่วนใหญ่ไม่มีผลกระทบที่แท้จริง ค่า p ทั่วทั้งพอร์ตโฟลิโอจะมีการกระจายตัวอย่างสม่ำเสมอโดยประมาณ โดยประมาณหนึ่งในยี่สิบจะอยู่ต่ำกว่าเกณฑ์มาตรฐาน การกระจายตัวที่กระจุกตัวอยู่ต่ำกว่าเกณฑ์อย่างมากเป็นตัวบ่งชี้ที่ชัดเจนว่ากฎการหยุดนั้นขับเคลื่อนด้วยตัวเลขมากกว่าแผน เนื่องจากผลการทดสอบที่หยุดลงทันทีที่ข้ามเส้นจะสะสมอยู่ที่เส้นนั้นพอดี การทบทวนการทดลองที่ผ่านมาหนึ่งปีด้วยวิธีนี้ใช้เวลาไม่กี่ชั่วโมงและมักจะอธิบายความคลาดเคลื่อนที่ทำให้ธุรกิจงงงวยมานานกว่านั้น นั่นคือเหตุใดพอร์ตโฟลิโอของผลลัพธ์ที่รายงานจึงไม่เปลี่ยนแปลงตัวชี้วัดที่ผู้บริหารเฝ้าดูอยู่จริง
สำหรับงานให้คำปรึกษา การมีส่วนร่วมที่มีประโยชน์มักไม่ได้อยู่ที่การคำนวณค่า p อย่างถูกต้อง ซึ่งทุกแพลตฟอร์มการทดสอบทำได้โดยอัตโนมัติอยู่แล้ว แต่จะอยู่ที่การควบคุมวิธีการใช้งานค่า p เหล่านั้นมากกว่า บริการ CRO โดยปกติแล้ว การมีส่วนร่วมจะกำหนดโปรโตคอลการวิเคราะห์ที่เป็นลายลักษณ์อักษร กำหนดตัวชี้วัดหลักและรองสำหรับการทดลองแต่ละครั้ง และรายงานผลลัพธ์ในรูปแบบที่สอดคล้องกัน ซึ่งรวมถึงขนาดของผลกระทบและช่วงเวลา แทนที่จะเป็นเพียงข้อสรุปเดียว ในองค์กรขนาดใหญ่ โปรโตคอลนี้จะกลายเป็นส่วนหนึ่งของวิธีการทำงาน การวิเคราะห์ข้อมูล ฟังก์ชันนี้ตรวจสอบความถูกต้องของผลลัพธ์ก่อนที่จะนำไปอ้างอิงในรายงานของคณะกรรมการ ซึ่งเป็นสิ่งที่ป้องกันไม่ให้พอร์ตโฟลิโอของผลกำไรที่เปราะบางทางสถิติถูกนำเสนอเป็นประมาณการรายได้ที่น่าเชื่อถือ