اختبار A/B البايزي هو أسلوب لتحليل التجارب يُحدد احتمالية تفوق أحد المتغيرات على الآخر، بناءً على البيانات المرصودة وأي معلومات مسبقة. ويختلف هذا الأسلوب عن الأسلوب التكراري، الذي يُحدد مدى غرابة البيانات في حال عدم وجود أي تأثير للمتغير. ويكمن الاختلاف العملي في المخرجات: إذ تُنتج الطرق البايزية عبارات مثل "هناك احتمال بنسبة 93% لتفوق المتغير B على المجموعة الضابطة، مع خسارة متوقعة بنسبة 0.2% في حال اختيارنا الخاطئ"، وهي عبارات تُترجم مباشرةً إلى قرارات العمل.
تعتمد هذه الطريقة على دمج التوزيع الاحتمالي المسبق، الذي يُمثل المعتقدات حول التأثير المُحتمل قبل الاختبار، مع البيانات المرصودة لإنتاج توزيع احتمالي لاحق للتأثيرات المُحتملة. ويمكن بعد ذلك الاستعلام عن هذا التوزيع الاحتمالي اللاحق بأي طريقة تتطلبها عملية اتخاذ القرار: احتمال حدوث أي تحسن على الإطلاق، أو احتمال حدوث تحسن يتجاوز عتبة ذات دلالة تجارية، أو التكلفة المتوقعة لاتخاذ قرار خاطئ. وقد اعتمدت العديد من منصات الاختبار واسعة الانتشار التقارير البايزية كإعداد افتراضي لهذا السبب تحديدًا، لأن المخرجات لا تحتاج إلى ترجمة تُذكر قبل أن يتمكن أصحاب المصلحة من اتخاذ إجراء بناءً عليها.
تتمثل الميزة الأكثر شيوعًا في أن نتائج التحليل البايزي أكثر متانة في ظل المراقبة المستمرة. ولأن التوزيع الاحتمالي اللاحق يُحدَّث مع ورود البيانات، ولا يُبنى على افتراض عينة ثابتة، فإن مراجعة النتائج بشكل متكرر لا تُضخِّم معدلات الخطأ كما هو الحال مع قيم p الإحصائية التقليدية. وهذا مفيدٌ حقًا في البيئات التجارية حيث يتحقق أصحاب المصلحة من لوحات المعلومات بغض النظر عن بروتوكول التحليل. مع ذلك، لا يُجيز هذا إيقاف الاختبار بمجرد ظهور نتيجة جيدة: فالتوقف بناءً على المقياس المُراقَب يُؤدي إلى تحيز حجم التأثير المُقدَّر نحو الأعلى، كما أن الاختبارات القصيرة لا تزال تُغفل الدورات الأسبوعية وتأثيرات الحداثة بغض النظر عن الإطار الإحصائي.
يُعدّ التوزيع الاحتمالي المسبق نقطة قوة المنهجية، ولكنه في الوقت نفسه مصدر الخلاف الأكثر شيوعًا. فالتوزيع الاحتمالي المسبق ذو المعلومات الضعيفة، والذي تستخدمه معظم المنصات افتراضيًا، لا يُؤثر كثيرًا على النتيجة بعد تراكم كمية معقولة من البيانات. أما التوزيع الاحتمالي المسبق القوي، المُستمد من تاريخ تجارب المؤسسة السابقة، فيُمكنه تحسين التقديرات بشكلٍ ملحوظ، لا سيما في الاختبارات ذات حركة المرور المنخفضة، وذلك بتقليص التأثيرات الملحوظة الكبيرة بشكلٍ غير معقول إلى النطاق الذي تُشير إليه الخبرة على أنه واقعي. لكن اختيار توزيع احتمالي مسبق لدعم استنتاج مُحدد أمرٌ لا يُمكن تبريره، ولذلك ينبغي توثيق التوزيعات الاحتمالية المسبقة والاتفاق عليها قبل بدء الاختبار، بدلًا من اختيارها أثناء التحليل.
لا يُصلح أيٌّ من الإطارين تجربةً سيئة التصميم. فالتحليل البايزي لاختبارٍ يعاني من خللٍ في التوزيع العشوائي، أو خطأ في التتبع، أو عدم تطابق في نسبة العينة، أو مقياسٍ لا يعكس القيمة التجارية، سيُنتج إجابةً دقيقةً وواثقةً لسؤالٍ خاطئ. إن اختيار أحد الإطارين هو اختيارٌ يتعلق بالإبلاغ ونظرية اتخاذ القرار؛ فجودة تصميم التجربة الأساسية هي التي تُحدد قيمة الإجابة.
إنّ الناتج الذي يجعل هذا الإطار مفيدًا حقًا في البيئات التجارية هو الخسارة المتوقعة، والتي تُسمى أحيانًا بالمخاطرة. فبدلًا من السؤال عما إذا كان أحد البدائل أفضل، يسأل الإطار عن مقدار الخسارة التي سيتم التخلي عنها، في المتوسط، باختيار البديل إذا تبيّن أنه أسوأ. وتُعبّر قاعدة القرار، المُصاغة على أنها "الشحن عندما تنخفض الخسارة المتوقعة عن عتبة تعتبرها الشركة ضئيلة"، عن كيفية اتخاذ القرارات التجارية فعليًا، إذ لا أحد يحتاج إلى اليقين بشأن تغيير تكون سلبياته طفيفة. كما أنه يُعالج الحالة الشائعة التي يكون فيها أداء بديلين متطابقًا تقريبًا: فقد يبقى احتمال أن يكون أحدهما أفضل في حدود 50% إلى أجل غير مسمى، بينما تكون الخسارة المتوقعة ضئيلة في كلا الاتجاهين، مما يُشير بشكل صحيح إلى أن الاختيار غير مهم، ويجب على الفريق التوقف عن إنفاق الموارد عليه.
في إطار أي مشروع، عادةً ما يتم تحديد إطار العمل في وقت مبكر ثم يُترك دون تغيير، لأن التغيير في منتصف البرنامج يجعل النتائج السابقة غير قابلة للمقارنة. خدمة تحسين معدل التحويل عادةً ما يعتمد الفريق على النهج الذي تدعمه منصة العميل الحالية وثقافة التحليلات لديه، ويحدد عتبات القرار مسبقًا، ويركز جهوده على تصميم التجارب وتحديد أولوياتها بدلًا من التركيز على المنهج الإحصائي. وعندما تقوم مؤسسة ما ببناء نظام قياس خاص بها، يتم اختيار هذا النهج عادةً بالتزامن مع بنية إعداد التقارير الأوسع التي يتولاها النظام. تحليلات البيانات الوظيفة، بحيث تشترك مخرجات التجارب ومعلومات الأعمال في لغة متسقة للتعبير عن عدم اليقين.