تفشل معظم اختبارات A/B قبل أن يراها أي زائر. ليس لأن الفرضية كانت ضعيفة أو التصميم سيئاً، بل لأن أحداً لم يتأكد من قدرة الاختبار على إنتاج إجابة أصلاً.
النمط مألوف. يُطلق فريقٌ نسخةً تجريبية، ويراقب لوحة التحكم، وبعد عشرة أيام يرى أن النسخة المنافسة قد ارتفعت بنسبة 6% بقيمة احتمالية 0.14. يقول أحدهم: "النتائج إيجابية، فلننتظر أسبوعًا آخر". يمر أسبوع آخر. الآن ارتفعت بنسبة 4%، بقيمة احتمالية 0.09. يُصنّف الاختبار على أنه "نجاح مبدئي" ويُطلق، أو يُلغى لعدم حسمه النتائج. في كلتا الحالتين، لم تُسفر ثلاثة أسابيع من حركة البيانات عن أي معلومات مفيدة - وقد حُدّدت هذه النتيجة مسبقًا قبل الإطلاق بناءً على أربعة أرقام لم يراجعها أحد.
هذه المقالة تتناول تلك الأرقام الأربعة.
المدخلات الأربعة
حجم العينة ليس قراراً تقديرياً. فهو يندرج ضمن أربعة معايير، وكل برنامج تجريبي جاد يحددها قبل الإطلاق وليس بعده.
| إدخال | ماذا تعني | القيمة النموذجية |
|---|---|---|
| معدل التحويل الأساسي | المعدل الحالي للمقياس الذي تختبره، مُقاسًا على الصفحة والجمهور المحددين اللذين سيتم إجراء الاختبار عليهما. | بغض النظر عما تقوله بياناتك |
| الحد الأدنى للتأثير القابل للكشف (MDE) | أصغر تغيير تريد أن يكون الاختبار قادرًا على اكتشافه | 5-20% نسبياً، حسب حركة المرور |
| مستوى الأهمية (α) | مدى تقبلك لإعلان فائز غير حقيقي | 0.05 |
| القوة الإحصائية (1−β) | احتمالية اكتشاف تأثير ما is حقيقي | 0.80 |
أعطِ الآلة الحاسبة تلك الأرقام الأربعة وستُعيد عدد الزوار المطلوبين لكل نوع. لنا حاسبة اختبار A/B مجانية يفعل ذلك بالضبط، ويستغرق حوالي ثلاثين ثانية - وهذا هو الهدف. السبب وراء تخطي الفرق لهذه الخطوة ليس صعوبتها، بل لأن الإجابة غالباً ما تكون غير مرغوبة.
MDE هو المدخل الذي يخطئ فيه الجميع
الحد الأدنى للتأثير القابل للكشف هو المعيار الذي يسبب أكبر قدر من الضرر، لأن اسمه يوحي بشيء ليس هو عليه.
MDE هو لست التحسن الذي تتوقعه. إنه ليس تنبؤًا أو هدفًا أو توقعًا. إنه الحد الأدنى للكشف: أصغر تأثير حقيقي يمكن لاختبارك رصده بنسبة 80%. اضبط الحد الأدنى للكشف على 5%، فأنت تقول: "إذا كان التحسن الحقيقي أقل من 5%، فأنا أتقبل أن هذا الاختبار قد لا يرصده".
ويترتب على ذلك نتيجتان، وكلاهما مهم.
لا يمكن للاختبار أن يجيب إلا على السؤال الذي صُمم من أجله. إذا قمتَ بتقدير حجم التأثير الأدنى المطلوب بنسبة 20%، وكان التأثير الحقيقي 7%، فمن المرجح أن يُظهر الاختبار نتيجة "لا يوجد فرق ذو دلالة إحصائية". هذا لا يعني أن المتغير لا يُحدث أي تأثير، بل يعني أن اختبارك لم يتمكن من رصد تأثيرات بهذا الحجم - وهو أمر مختلف تمامًا، وغالبًا ما تُفسّره الفرق بشكل خاطئ على أنه "لقد اختبرناه، ولم ينجح".
لا يمكن استخدام مصطلحي MDE النسبي والمطلق بشكل متبادل. خط أساس بنسبة 2.5% مع هامش خطأ بنسبة 10% نسبي يشير مصطلح MDE إلى رصد تحرك نحو 2.75% — مطلق فرقٌ مقداره 0.25 نقطة مئوية. أدخل الرقم 10 في خانة الآلة الحاسبة التي تتوقع نقاطًا مئوية مطلقة، وبذلك تكون قد طلبتَ رصدَ انتقالٍ من 2.5% إلى 12.5%، وستخبرك الأداة بكل سرور أن 400 زائر يكفي. تحقق من الاصطلاح الذي تستخدمه الآلة الحاسبة. هذا الخطأ البسيط يُبطل خطط اختبار أكثر من أي خطأ آخر نراه.
مثال عملي
يرغب أحد عملاء التجارة الإلكترونية في اختبار تصميم جديد لصفحة تفاصيل المنتج. معدل التحويل الأساسي على هذه الصفحة هو 2.5%. ويريدون رصد تحسن نسبي بنسبة 10%، أي الوصول إلى 2.75%.
عند α = 0.05 وقوة 80%، يكون المتطلب تقريبًا 64,000 زائر لكل نوعأو حوالي 128,000 ألفًا إجمالاً.
تستقطب تلك الصفحة 40,000 ألف زائر شهرياً. لذا، يحتاج الاختبار إلى ما يزيد قليلاً عن ثلاثة أشهر للوصول إلى حجم العينة الذي صُمم من أجله.
هذا هو الرقم الذي يغير مجرى الحديث. ليس لأن ثلاثة أشهر أمر مستحيل، بل لأنه أصبح الآن قراراً يُتخذ علناً - قبل الإطلاق، مع وضوح المقايضات - بدلاً من خيبة أمل بطيئة تُكتشف في اليوم الحادي والعشرين.
الآن قم بتغيير أحد المدخلات. حافظ على نفس خط الأساس، ولكن قم بتغيير الحجم لتحقيق زيادة نسبية بنسبة 20% بدلاً من 10%:
| الحد الأدنى لقيمة MDE (نسبي) | الفرق المطلق | الزوار لكل متغير | الوقت بمعدل 40 ألف دولار شهرياً |
|---|---|---|---|
| 5% | 0.125 ص | ~ 256,000 | ~ 13 أشهر |
| 10% | 0.25 ص | ~ 64,000 | ~ 3.2 أشهر |
| 20% | 0.5 ص | ~ 16,800 | ~ 25 يوم |
| 30% | 0.75 ص | ~ 7,700 | ~ 12 يوم |
يؤدي خفض الحد الأدنى للتأثير إلى النصف إلى زيادة حجم العينة أربعة أضعاف تقريبًا. هذه العلاقة ليست مجرد صدفة في هذه الأرقام، فحجم العينة يتناسب عكسيًا مع مربع حجم التأثير. إنها أهم معلومة يجب استيعابها في تصميم التجارب، لأنها تحدد لك مواطن القوة. إن إحداث تغيير أكبر أرخص بكثير من جذب المزيد من الزيارات.
يحتاج تصميم تجريبي بسيط يُحرّك زرًا بمقدار بكسلين إلى حجم عينة لا يستطيع أي موقع متوسط الحجم توفيره. أما التصميم الذي يُعيد هيكلة الصفحة فلديه فرصة للنجاح. لهذا السبب تتعثر برامج الاختبار الحذرة - ليس لأن الأفكار خاطئة، بل لأنها صغيرة جدًا بحيث لا يمكن قياسها.
أين تقع حركة المرور فعلياً
أما العامل الآخر الكامن في الحسابات فهو المعدل الأساسي. تنخفض متطلبات حجم العينة بشكل حاد مع ارتفاع المعدل الأساسي.
استخدم نفس النسبة المئوية 10% من الحد الأدنى لتكلفة الشحن، ولكن قم بتطبيقها على خطوة الشحن في عملية الدفع، حيث تستمر 40% من عمليات الوصول إلى مرحلة الدفع:
- خط الأساس 2.5% → حوالي 64,000 لكل نوع
- خط الأساس 40% → حوالي 2,400 لكل نوع
نفس مستوى كفاءة الطاقة، نفس الثقة، نفس القوة. حركة مرور أقل بستة وعشرين مرة.
بالطبع، تشهد تلك الصفحة عددًا أقل بكثير من الزوار مقارنةً بصفحة تفاصيل المنتج. لكن متطلباتها تتناقص بوتيرة أسرع من انخفاض عدد الزيارات، ولهذا السبب غالبًا ما تكون اختبارات مسار التحويل العميق هي الاختبارات الوحيدة التي يمكن لموقع ذي حركة مرور متوسطة إكمالها. فإذا كان معدل التحويل الإجمالي لموقعك 2%، فإن اختبار الصفحة الرئيسية يتطلب التزامًا لمدة عام، بينما يتطلب اختبار صفحة الدفع أسبوعين فقط.
التوجيه العملي: عندما تُرجع الآلة الحاسبة رقمًا مستحيلاً، قبل توسيع نطاق الحد الأدنى للخطأ، تحقق مما إذا كانت هناك خطوة أخرى في أسفل القمع حيث يمكن اختبار نفس الفرضية مقابل خط أساس أعلى.
ما الذي يحدث خطأً عند تخطي هذه الخطوة؟
هناك نمطان للفشل هنا، والثاني أقل شهرة بكثير من الأول.
أنت تفوتك التحسينات الحقيقية. أظهر اختبار غير دقيق عدم وجود فرق يُذكر لتغييرٍ فعّال بالفعل. استنتج الفريق أن الفكرة سيئة وتخلى عن مسارٍ كان سيُؤتي ثماره. هذا هو الفشل المعروف للجميع، وهو الأقل تكلفة من بين الاثنين.
أرباحك مبالغ فيها. هذا هو العامل الذي يُفسد أرقام البرنامج دون أن يشعر. في اختبار ضعيف، الطريقة الوحيدة لتجاوز النتيجة عتبة الدلالة الإحصائية هي أن تُحدث ضوضاء عشوائية تأثيرًا كافيًا عليها - مما يعني أن التأثيرات التي... do تُعتبر القيم المعلنة ذات دلالة إحصائية أكبر من الحقيقة بشكل منهجي. وكلما انخفضت قوة الاختبار، زادت المبالغة.
لذا، فإن البرنامج ضعيف الإمكانيات لا يكتفي بإغفال بعض الأمور، بل يُنتج سجلاً تجريبياً مليئاً بالنتائج الرابحة مع زيادات مُبالغ فيها، تُضرب بعد ذلك بحجم الزيارات للتنبؤ بالإيرادات التي لا تتحقق أبداً. بعد ستة أشهر، يتساءل أحدهم عن سبب عدم ظهور مجموع هذه النتائج الرابحة في إجمالي الإيرادات. عادةً ما يكون هذا هو الجواب.
لا يمكنك إصلاح هذا في مرحلة التحليل. يجب منعه في مرحلة التصميم.
لكل نوع، وليس الإجمالي
مخرجات الآلة الحاسبة هي الشرط المطلوب لكل ذراع في الاختبار. وجود متغيرين يعني ضعف العدد. يبدو هذا بديهياً، ولكنه يُساء فهمه باستمرار، وعادةً ما يُفسَّر بشكل متفائل.
تؤدي المتغيرات المتعددة إلى تفاقم المشكلة مرتين. يحتاج اختبار A/B/C/D إلى أربعة أضعاف حجم العينة المطلوبة في اختبار ذي ذراع واحد. و تؤدي ثلاث مقارنات متزامنة مع المجموعة الضابطة إلى زيادة احتمالية الحصول على نتيجة إيجابية خاطئة واحدة على الأقل إلى ما يتجاوز النسبة الاسمية البالغة 5%. ويؤدي تصحيح ذلك إلى رفع المتطلبات مرة أخرى.
بالنسبة لمعظم المواقع، القاعدة العملية هي: ما لم يكن لديك فائض كبير من الزيارات، استخدم اختبارين فقط. اختبار رباعي الاتجاهات على صفحة بالكاد تكفي لاختبار ثنائي الاتجاهات لا يُحقق فائدة تُذكر، بل يُحقق فائدة معدومة، ولكن بوتيرة أبطأ.
المدة قيد منفصل
يُعدّ الوصول إلى حجم العينة المطلوب أمراً ضرورياً، ولكنه غير كافٍ.
اختبار يحقق هدفه في أربعة أيام يكون قد رصد سلوك المستخدمين على مدار أربعة أيام. يختلف معدل تحويل الزيارات خلال أيام الأسبوع عن عطلة نهاية الأسبوع. كما أن دورات صرف الرواتب مهمة في التجارة الإلكترونية. الحملات المدفوعة التي تُطلق أثناء الاختبار تُغير تركيبة الجمهور المستهدف. التصاميم الجديدة تُحدث أثراً مؤقتاً يتلاشى مع الوقت، فالتفاعل المبكر مع تصميم غير مألوف لا يُعد مؤشراً دقيقاً على الأداء في حالة الاستقرار.
استمر في التشغيل لمدة أسبوع كامل على الأقل، ويفضل أسبوعين، بغض النظر عن حجم العينة. أيهما أطول - حجم العينة أو الدورة الاقتصادية - هو الذي يُعتمد. وحدد تاريخ الانتهاء مسبقًا بدلًا من التحقق كل صباح والتوقف عندما تبدو الأرقام جيدة، فهذه طريقة أخرى فعالة جدًا لإنتاج فائزين وهميين.
عندما يكون الرقم مستحيلاً
أحيانًا تكون الإجابة الصادقة هي أنه لا يمكن إجراء الاختبار. هذه معلومة مفيدة، وهناك خمسة ردود معقولة.
اختبر تغييراً أكبر. تُعدّ هذه العلاقة التربيعية الخيار الأمثل والأكثر فعالية بفارق كبير. لذا، يُنصح بإعادة تصميم مسار المستخدم بدلاً من الزر نفسه.
الانتقال إلى مقياس أساسي أعلى. اختبر النتائج بناءً على إضافة المنتج إلى سلة التسوق أو إتمام عملية الشراء، بدلاً من عملية الشراء نفسها. يُقاس حجم التأثير بناءً على قاعدة بيانات أكبر، مما يقلل من متطلبات العينة. تقبّل أنك تقيس مؤشراً تقريبياً، وتحقق من صحة العلاقة مع الإيرادات بشكل منفصل.
اختبر في مراحل لاحقة من مسار التحويلكما سبق ذكره.
قم بتجميع الصفحات المتشابهة. يؤدي إجراء اختبار واحد عبر جميع صفحات الفئات بدلاً من فئة واحدة إلى مضاعفة حركة المرور المتاحة، بشرط أن تكون الصفحات متشابهة سلوكياً بدرجة كافية بحيث يكون التجميع قابلاً للدفاع عنه.
توقف عن الاختبار وابدأ البحث. إذا لم يكن الموقع الإلكتروني قادرًا على إجراء تجربة، فإن اختبار A/B ليس الأداة المناسبة له. اختبارات سهولة الاستخدام، وتسجيلات الجلسات، والمراجعة الاستدلالية، كلها أدوات تُساعد في اكتشاف المشاكل بشكل أسرع وأقل تكلفة. أما التحقق الكمي فيأتي لاحقًا، عندما تصبح التغييرات كبيرة بما يكفي لقياسها. لا عيب في ذلك، فإجراء اختبارات غير كافية لمجرد الشعور بالدقة أسوأ من عدم إجرائها على الإطلاق.
قائمة التحقق قبل الرحلة
قبل إطلاق أي اختبار:
- [ ] تم قياس خط الأساس على الصفحة الفعلية والجمهور الذي سيتم إجراء الاختبار عليه، وليس على مستوى الموقع بأكمله.
- [ ] MDE مذكور صراحةً كتابةً، مع تحديد نسبي أو مطلق
- [ ] تم حساب حجم العينة لكل نوع ومضروبًا في عدد الأذرع
- [ ] المدة المطلوبة مقارنةً بحركة المرور المتاحة — والإجابة المقبولة قبل الإطلاق
- [ ] تاريخ الانتهاء محدد مسبقًا
- [ ] دورة أعمال كاملة واحدة على الأقل، بغض النظر عما تقوله الحسابات النموذجية
- [ ] وحدة التوزيع العشوائي تتطابق مع وحدة التحليل (تخصيص على مستوى الزائر، مقاييس على مستوى الزائر)
- [ ] تم التحقق من تقسيم حركة المرور في الساعات الأولى - اختبار بنسبة 50/50 يُظهر نتيجة 53/47 يعني وجود مشكلة في أجهزة القياس، والنتائج غير قابلة للاستخدام حتى يتم اكتشافها.
قم بإجراء الحسابات قبل إنشاء النسخة البديلة
تستغرق العملية الحسابية بأكملها نصف دقيقة، وهي تُغيّر ما تقوم ببنائه. الفرق التي تُحدّد حجم اختباراتها أولاً تُصمّم نسخاً أكثر جرأة، لأنها تستطيع معرفة تكلفة النسخ الأقل جرأة.
أدخل معدل التحويل الأساسي، والتأثير الذي ترغب في رصده، ومستوى الثقة وقوة الاختبار. إذا كان الرقم الناتج أكبر من حجم الزيارات، فهذا ليس سببًا كافيًا لإطلاق الخدمة، بل هو اختبار يُشير إلى ضرورة تغيير الخطة.
الأسئلة المتكررة
كم عدد الزوار الذين أحتاجهم لإجراء اختبار A/B؟ لا يوجد رقم موحد. يعتمد ذلك على معدل التحويل الأساسي، وأصغر تأثير ترغب في رصده، ومستويات الأهمية والقوة التي تختارها. تحتاج صفحة بمعدل تحويل 2.5% إلى حوالي 64,000 زائر لكل نسخة لاكتشاف تحسن نسبي بنسبة 10%؛ بينما تحتاج خطوة الدفع بمعدل تحويل 40% إلى حوالي 2,400 زائر لتحقيق نفس التأثير النسبي.
ما هو الحد الأدنى الجيد للتأثير القابل للكشف؟ أقل حجم بيانات يمكن أن يتحمله حجم الزيارات لديك خلال فترة زمنية معقولة. ابدأ بحجم الزيارات المتاح لديك ومدة مستهدفة تتراوح بين أسبوعين وأربعة أسابيع، ثم احسب الحد الأدنى لحجم البيانات المطلوب (MDE) المناسب. إذا كان هذا الحد أكبر من التغيير الذي يمكن أن ينتجه الاختبار بشكل معقول، فأعد تصميم الاختبار.
هل يمكنني إيقاف الاختبار مبكراً إذا كان متقدماً بشكل واضح؟ لا يُجدي ذلك مع اختبار الأفق الزمني الثابت التقليدي. فالفحص المتكرر والتوقف عند أول نتيجة مهمة يرفع معدل النتائج الإيجابية الخاطئة إلى ما يزيد عن 5%. إذا كنت بحاجة إلى إمكانية التوقف مبكرًا، فاستخدم طريقة مصممة خصيصًا لذلك - كالاختبار التسلسلي أو إطار عمل بايزي - وقرر ذلك قبل الإطلاق، وليس أثناءه.
ماذا لو وصل اختباري إلى مستوى الدلالة الإحصائية قبل استيفاء حجم العينة المطلوب؟ تعامل مع الأمر بحذر واستمر في السعي حتى النهاية المخطط لها. إن الأهمية المبكرة في نافذة ضعيفة هي بالضبط النمط الذي ينتج عنه فائزون متضخمون وغير قابلين للتكرار.
هل تكفي نسبة 80% من الطاقة؟ هذا هو الخيار الافتراضي المتعارف عليه، وهو نقطة انطلاق معقولة، لكنه يعني قبول احتمال بنسبة 20% لعدم رصد تأثير حقيقي. بالنسبة للقرارات المصيرية - كإعادة تصميم صفحة الدفع أو تغيير الأسعار - فإن قوة إحصائية بنسبة 90% تستحق العينة الإضافية. أما بالنسبة للتغييرات منخفضة التكلفة والقابلة للتراجع، فإن 80% كافية.
لست متأكدًا مما إذا كان برنامج الاختبار الخاص بك ينتج إجابات حقيقية؟
إذا كان سجل اختباراتك مليئًا بنتائج صغيرة لا تظهر في النتيجة النهائية، فالمشكلة عادةً ما تكون في المراحل الأولى من التحليل. نقوم بمراجعة برامج التجارب ونوضح لك بوضوح مواطن الخلل في التصميم.
