فهم مقاييس ومصطلحات اختبار A/B

يعد اختبار A/B طريقة حاسمة تستخدم في تحسين مواقع الويب والتطبيقات، مما يسمح للشركات بمقارنة نسختين من صفحة الويب أو التطبيق لتحديد أيهما يحقق أداء أفضل. يعد فهم المقاييس والمصطلحات الأساسية المستخدمة في اختبار A/B أمرًا ضروريًا لتفسير النتائج بدقة. في هذه المقالة، سوف نقوم بدراسة مقاييس ومصطلحات اختبار A/B المهمة، بما في ذلك القيمة p، وفاصل الثقة، والاختبارات أحادية الجانب والثنائية، ودرجة z، والقوة المرصودة، والمتغير، ومجموعة التحكم، والإيرادات المتزايدة، ومعدل التحويل، وحساب بايزي.

مقاييس ومصطلحات اختبار A/B الرئيسية

1. البديل

يشير المتغير إلى أحد الإصدارات التي يتم اختبارها في اختبار A/B. عادةً ما يُطلق على الإصدار الموجود اسم عنصر التحكم، ويكون الإصدار الجديد هو المتغير.

على سبيل المثال: في اختبار A/B للصفحة المقصودة، يكون الإصدار A (الصفحة الحالية) هو عنصر التحكم، والإصدار B (التصميم الجديد) هو المتغير.

2. مجموعة التحكم

مجموعة التحكم هي مجموعة المستخدمين الذين تعرضوا للإصدار الأصلي (التحكم) في اختبار أ/ب. إنه بمثابة خط أساس لمقارنة أداء المتغير.

على سبيل المثال: إذا قام 10,000 مستخدم بزيارة موقع ويب، فقد يرى 5,000 صفحة التحكم (مجموعة التحكم)، وقد يرى 5,000 صفحة المتغير.

3. الإيرادات الإضافية

تشير الإيرادات المتزايدة إلى الإيرادات الإضافية الناتجة نتيجة للتغييرات التي تم إجراؤها أثناء اختبار أ/ب. يساعد في تقييم الأثر المالي للاختبار.

على سبيل المثال: إذا زادت صفحة المتغير من متوسط ​​قيمة الطلب بمقدار 5 دولارات وتم إجراء 1,000 عملية شراء إضافية، فإن الإيرادات الإضافية تبلغ 5,000 دولار.

4. معدل التحويل

معدل التحويل هو النسبة المئوية للمستخدمين الذين أكملوا الإجراء المطلوب، مثل إجراء عملية شراء أو الاشتراك في رسالة إخبارية، من إجمالي عدد الزوار.

على سبيل المثال: إذا قام 100 من كل 1,000 زائر بإجراء عملية شراء، فإن معدل التحويل هو 10%.

5. قيمة P

تقيس القيمة p احتمالية حدوث الفرق الملحوظ بين متغيرين عن طريق الصدفة. تشير القيمة p المنخفضة (عادةً أقل من 0.05) إلى أن الفرق الملحوظ له دلالة إحصائية.

على سبيل المثال: لنفترض أن اختبار A/B يقارن بين نسختين من الصفحة المقصودة. الإصدار (أ) لديه معدل تحويل قدره 5%، والإصدار (ب) لديه معدل تحويل قدره 7%. إذا كانت القيمة p هي 0.03، فهناك احتمال بنسبة 3% أن يكون الاختلاف الملحوظ قد حدث عن طريق الصدفة، مما يشير إلى وجود اختلاف كبير بين النسختين.

6. فاصل الثقة

يوفر فاصل الثقة نطاقًا من المتوقع أن يقع ضمنه حجم التأثير الحقيقي، مع مستوى معين من الثقة (عادة 95%). يساعد على تقييم موثوقية نتائج الاختبار.

مثال: في نفس اختبار A/B، قد تكون فترة الثقة 95% للفرق في معدلات التحويل [1%، 3%]. وهذا يعني أننا واثقون بنسبة 95% من أن الفرق الحقيقي في معدلات التحويل يقع بين 1% و3%.

7. الاختبارات أحادية الجانب والثنائية

يقوم الاختبار أحادي الجانب بتقييم اتجاه التأثير (على سبيل المثال، ما إذا كان الإصدار B أفضل من الإصدار A)، بينما يقوم الاختبار ثنائي الجانب بتقييم ما إذا كان هناك أي اختلاف في أي من الاتجاهين.

مثال على الاختبار من جانب واحد: يختبر ما إذا كان معدل التحويل للإصدار B أعلى من الإصدار A.
مثال على الاختبار على الوجهين: يختبر ما إذا كان هناك أي اختلاف بين معدلات التحويل للإصدار A والإصدار B، بغض النظر عن الاتجاه.

8. Z- النتيجة

تقيس درجة z عدد الانحرافات المعيارية للعنصر عن المتوسط. في اختبار A/B، يتم استخدامه لتحديد أهمية الفرق الملحوظ بين متغيرين. مستويات الثقة المشتركة وما يعادلها من نقاط z:

• فترة الثقة 95%
  • نقاط Z على الوجهين: 1.96
  • نقاط Z أحادية الجانب: 1.65
• فترة الثقة 99%
  • نقاط Z على الوجهين: 2.58
  • نقاط Z أحادية الجانب: 2.33
• فترة الثقة 90%
  • نقاط Z على الوجهين: 1.64
  • نقاط Z أحادية الجانب: 1.28

على سبيل المثال: إذا كانت النتيجة z للفرق في معدلات التحويل بين الإصدار (أ) والإصدار (ب) هي 2.5، فهذا يشير إلى أن الفرق هو 2.5 انحراف معياري بعيدًا عن المتوسط، مما يشير إلى وجود فرق ذو دلالة إحصائية.

9. القوة المرصودة

تشير القوة المرصودة إلى احتمال أن يرفض الاختبار فرضية العدم بشكل صحيح عندما يكون هناك تأثير حقيقي. تشير القوة المرصودة الأعلى إلى احتمالية أكبر لاكتشاف الفرق الحقيقي.

على سبيل المثال: في اختبار A/B بقوة ملحوظة تبلغ 0.8 (80%)، هناك فرصة بنسبة 80% لاكتشاف اختلاف حقيقي بين الاختلافات في حالة وجودها.

10. حساب بايزي

يتضمن حساب بايزي استخدام نظرية بايز لتحديث تقدير الاحتمالية لفرضية ما عند الحصول على أدلة إضافية. في اختبار A/B، يوفر إطارًا احتماليًا لاتخاذ القرارات بناءً على البيانات.

على سبيل المثال: باستخدام الطرق الافتراضية، يمكنك تحديد احتمالية أن يكون متغير واحد أفضل من عنصر التحكم في ضوء البيانات المرصودة، بدلاً من الاعتماد فقط على القيم الاحتمالية التقليدية.

11. الإحصائيات المتكررة

الإحصاء المتكرر هو نهج تقليدي في اختبار الفرضيات الذي يركز على تكرار أو نسبة البيانات. ويعتمد على مجموعات بيانات ثابتة ولا يتضمن المعرفة السابقة أو التوزيعات الاحتمالية.

على سبيل المثال: في النهج المتكرر لاختبار A/B، يمكنك استخدام القيم الاحتمالية وفترات الثقة لتحديد أهمية نتائج الاختبار، دون دمج الاحتمالات السابقة.

أمثلة عملية

المثال 1: اختبار أ/ب لحملة البريد الإلكتروني

تريد إحدى الشركات اختبار سطرين لموضوع البريد الإلكتروني لمعرفة أي منهما يؤدي إلى معدلات فتح أعلى.

• سطر الموضوع أ: 25٪ معدل الفتح
• سطر الموضوع ب: 28٪ معدل الفتح
• القيمة P: 0.02 (يشير إلى وجود فرق كبير)
• فاصل الثقة: [2%، 5%] (95% ثقة في أن الفرق الحقيقي في أسعار الفائدة المفتوحة يتراوح بين 2% و5%)
• النتيجة Z: 2.33 (مما يشير إلى وجود فرق ذو دلالة إحصائية)
• القوة المرصودة: 0.85 (85% فرصة لاكتشاف الفرق الحقيقي)

المثال 2: اختبار A/B للصفحة المقصودة لموقع الويب

يقوم أحد مواقع التجارة الإلكترونية باختبار تصميمين للصفحة المقصودة لتحديد أيهما يؤدي إلى المزيد من عمليات الشراء.

• التصميم أ: معدل التحويل شنومك٪
• التصميم ب: معدل التحويل شنومك٪
• القيمة P: 0.045 (يشير إلى وجود فرق كبير)
• فاصل الثقة: [0.5%، 1.5%] (95% ثقة في أن الفرق الحقيقي في معدلات التحويل يتراوح بين 0.5% و1.5%)
• النتيجة Z: 2.01 (مما يشير إلى وجود فرق ذو دلالة إحصائية)
• القوة المرصودة: 0.78 (78% فرصة لاكتشاف الفرق الحقيقي)

إختبار أ / ب هي أداة قوية لتحسين التجارب الرقمية، ويعد فهم مقاييسها ومصطلحاتها الرئيسية أمرًا بالغ الأهمية للتفسير الدقيق. يعرف سويتاس كيفية التصرف بفعالية A B / اختباراتمما يضمن قدرة الشركات على اتخاذ قرارات تعتمد على البيانات لتحسين أدائها وتوفير رؤى موثوقة وقابلة للتنفيذ تدفع النمو والنجاح.