قم بتشكيل مجموعة اختبارية قادرة على تحديد القيمة الحقيقية لنتائج اختبارك.

يُعلن برنامجكم عن فائز واحد شهرياً تقريباً. وبإضافة اثني عشر فائزاً، يُشير التقرير السنوي إلى أن معدل التحويل يجب أن يكون أعلى بنسبة 18% عن العام الماضي. لكن قسم المالية يُراجع بيان الأرباح والخسائر ويُشير إلى عكس ذلك. عادةً ما يكون التقرير خاطئاً.

على منصة التجارب الخاصة بمايكروسوفت، لم يُحسّن سوى ثلث الأفكار التي تم اختبارها المقياس الذي صُممت لتحسينه، أما الأفكار التي يتم إطلاقها فتُختار تحديدًا لأنها تبدو جيدة، وهنا تبدأ الحسابات بالانحراف (كوهفي ولونغبوثام، 2015تُعدّ مجموعة الاختبار أداةً رخيصةً لقياس برنامج بدلاً من الاختبار الفردي.

هذا الدليل مُخصّص لقادة تحسين معدل التحويل ومسؤولي التحليلات الذين يُجرون تجربة واحدة على الأقل شهريًا. بنهاية هذا الدليل، ستتمكن من تحديد حجم عينة الاختبار التي يمكنها رصد تأثير برنامجك بدقة، واختيار مدة زمنية وفترة تحليل مناسبة، والتعرف على أسباب فشل النتائج قبل عرضها.

ما الذي تقيسه مجموعة الممتنعين عن التصويت والذي لا يقيسه مجموع الانتصارات؟

تُمثل المجموعة المُحتفظة شريحةً مختارةً عشوائيًا من المستخدمين الذين استمروا على تجربة ما قبل التغيير، بينما يحصل باقي المستخدمين على جميع الميزات الجديدة. بعد بضعة أشهر، تتم مقارنة المجموعتين. يكمن الفرق في التأثير التراكمي والفعّال لجميع الميزات التي تم إطلاقها، وليس في اثني عشر تقديرًا لفترات زمنية قصيرة مُجمّعة معًا.

تستخدم نتفليكس نفس الأداة، حيث تصف "اختبارات AB المحجوزة" بأنها وسيلة "لفهم التأثيرات طويلة المدى، وإعادة اختبار الافتراضات القديمة على الأعضاء الجدد، وقياس القيمة التراكمية" (مدونة نتفليكس التقنية).

لماذا تبالغ نتائج الاختبارات المجمعة في تقدير ما حدث؟

أربع آليات ترفع المجموع فوق الحقيقة، وتتراكم هذه الآليات:

• لعنة الفائز. لا يتم إطلاق سوى المتغيرات التي تجاوزت مستوى الدلالة الإحصائية، لذا فإن المجموعة التي تم إطلاقها تكون غنية بالضوضاء التصاعدية. قام لي وشين في Airbnb بإضفاء الطابع الرسمي على هذا التحيز في الاختيار ونشرا تصحيحًا (كي دي دي 2018).
• تراجع الجدة والأولوية. تُسجّل فترات زمنية قصيرة ردود الفعل تجاه كل ما هو جديد. ففي مثال من مايكروسوفت نيوز، تراجعت الزيادة الأولية بنسبة 28% في عدد النقرات على زر جديد يومًا بعد يوم داخل نافذة التجربة (صادقي وآخرون، 2022).
• التفاعل وتناقص العوائد. غالباً ما لا يؤدي اختبار فوزين بشكل مستقل في نفس خطوة مسار التحويل إلى إضافة شيء إلى بعضهما البعض؛ فهما يتنافسان على نفس المستخدم الهامشي.
• تباطؤ في التحليل. التجسس، وتبديل المقاييس، والإبلاغ الانتقائي في كل نوبة عمل، أدى إلى زيادة المجموعة التي تم إطلاقها (اللاعب Eppo).

لا يعني أي من هذا أن اختباراتك كانت مزيفة. بل يعني أن المجموع يمثل حدًا أعلى، وليس تقديرًا.

حدد حجم مكان التخزين قبل بنائه

هذه هي الخطوة التي يتجاهلها معظم الناس، وهي التي يفشل عندها معظم المترددين. الاختبار المحدود هو اختبار ذو مجموعتين مع تقسيم غير متكافئ عمدًا، وتعتمد الدقة على المجموعة الأصغر. يتناسب إجمالي حجم العينة المطلوب مع 1 / (p × (1 − p))، حيث p تمثل هذه النسبة نسبة الرفض. وبالتالي، فإن نسبة رفض تبلغ 1% تحتاج إلى ما يقارب 25 ضعف حجم الزيارات اللازمة لاختبار متوازن لرؤية التأثير نفسه.

إجمالي عدد المستخدمين المطلوب خلال فترة الاختبار، بمعدل تحويل أساسي 2%، وقوة إحصائية 80%، ومستوى دلالة ثنائي الجانب 5%:

والآن، قارن ذلك بالإعدادات الافتراضية للبائع. تشير Statsig إلى "نسبة مئوية منخفضة من خانة واحدة، مثل 1%–2%" (إحصائية); يحذر Optimizely عند تجاوز 5% (Optimizelyتشير تقارير GrowthBook إلى أن فرق فيسبوك وفرق X تعمل بنسبة 5% أو أقل (كتاب النمو).

هذه الأرقام صحيحة بالنسبة لمؤلفيها، لكنها غير صحيحة بالنسبة لمعظم مواقع السوق المتوسطة. فموقع تجارة إلكترونية إقليمي يستقطب 400,000 ألف مستخدم شهريًا، يُراكم 1.2 مليون مستخدم خلال ربع سنة. وبنسبة ثبات 1%، سيحتاج الموقع إلى عقد من الزمن تقريبًا. وبنسبة ثبات 10%، لا يزال الموقع بعيدًا عن تحقيق زيادة بنسبة 5%. أما بنسبة ثبات 20%، فيُسجل الموقع زيادة بنسبة 5% خلال ربع سنة، وزيادة بنسبة 10% خلال شهر تقريبًا. اختر الحصة من حركة المرور الخاصة بك، وليس من الحصة الافتراضية للبائع. إذا كانت الإجابة الصادقة هي 20%، فاعرض هذا المقايضة على الشركة بوضوح: ينتظر خُمس المستخدمين ربع سنة للحصول على ميزات جديدة، مقابل معرفة ما إذا كان الربع يستحق أي شيء.

اختر المدة ونافذة التحليل

توصي Statsig بفترة تتراوح من ثلاثة إلى ستة أشهر قبل إطلاق منتج محتفظ به؛ بينما توصي GrowthBook بفترة نشطة تتراوح من نصف شهر إلى ربع سنة، ثم فترة تحليل تتراوح من أسبوعين إلى أربعة أسابيع حتى تستقر التأثيرات وتملأ فترات المراجعة.

قاعدة عملنا: الفترة النشطة هي الأطول بين ما يتطلبه جدول تحديد الحجم ودورة عمل كاملة. في هذه المنطقة، يعني ذلك تغطية ذروة حملة واحدة على الأقل وشهر استقرار واحد، لذا لا يُحسم الأمر بناءً على تاريخ 11.11 وحده. بعد ذلك، جمّد المؤشرات وانتظر انتهاء فترة التحليل قبل أن يفتح أي شخص لوحة التحكم.

قم ببنائه: سبعة أشياء يجب القيام بها بشكل صحيح

• عشوائي على معرّف مستخدم أو حساب دائم من جانب الخادم. ملف تعريف الارتباط الذي يحظره إعلان الموافقة أو الذي يقوم المستخدم بمسحه يؤدي إلى تسريب المعلومات بين الأذرع.
• قم بتعيين الممتنع مرة واحدة، في المقدمةقبل عمليات الإطلاق التي ترغب في قياسها. أما الامتناع الذي يتم بعد وقوع الحدث فلا يُعد امتناعًا حقيقيًا.
• يتم توجيه جميع الفائزين الذين تم إطلاقهم عبر نظام العلامات نفسه، لذا فإن "holdout = off" يعني فعلاً التجربة القديمة. يحصل المستخدمون المستبعدون على قيم البوابة والطبقة الافتراضية، كما هو الحال في تطبيق Statsig.
• احتفظ ببيان واضح قائمة الاستبعادتشمل التحديثات الأمنية، وأعمال الامتثال القانوني وإمكانية الوصول، وتغييرات الأسعار، جميع الخدمات المقدمة. يرجى توثيق كل استثناء مع تاريخه.
• اختر من اثنين إلى أربعة متحمل المقاييس (الإيرادات لكل مستخدم، معدل الاحتفاظ، تكرار الطلبات) بالإضافة إلى معدل التحويل الأساسي. لا تُضف مقياسًا خامسًا.
• احتفظ بسجل إطلاق مؤرخ لكل تغيير تم شحنه خلال الفترة المحددة مع قياس قوة الرفع. هذا هو ما تقارن به فترة الانتظار.
• أخبر فريق الهندسة أن العلامات ستبقى في قاعدة التعليمات البرمجية حتى انتهاء فترة التحليل. غالبًا ما تُحذف العلامات قبل الأوان بسبب حذفها، وليس لأسباب إحصائية.

اقرأ النتيجة بصدق

احسب نسبة الرفع المقاس في منطقة الاختبار إلى مجموع الرفع في سجل الإطلاق. عتبات العمل لدينا هي تقديرات شخصية وليست معايير منشورة.

تحذير إقليمي بشأن الفرق البديلة التي تسعى للفوز أولاً. إذا كنت تخطط لتجاوز فترة التوقف ومقارنة هذا الربع بالعام الماضي، فلاحظ أن معدل التضخم السنوي لأسعار المستهلكين في تركيا بلغ 31.51% في أغسطس 2026 (أرقام TÜİK، نُشرت في 3 سبتمبر 2026لا يمكن مقارنة الإيرادات لكل مستخدم بالليرة عبر الفترات الزمنية بهذا المعدل، كما أن تخفيضها يضيف افتراضات أخرى. يتجنب التوزيع العشوائي المتزامن هذه المشكلة: حيث يعيش كلا المجموعتين في نفس الاقتصاد في نفس اليوم.

[البيانات الداخلية المطلوبة: مثال لعميل Switas - طول البرنامج، وحجم حركة المرور، ومجموع الزيادة في الاختبار مقابل الزيادة المقاسة في الاختبار الاحتياطي، وحصة الاختبار الاحتياطي المستخدمة.]

ست طرق ينهار بها المتمرد بهدوء

• تلوث اشعاعى. تؤدي الأجهزة المشتركة، وجلسات تسجيل الخروج، وإعادة تعيين المعرّفات إلى نقل المستخدمين بين المجموعات. قِس نسبة التداخل؛ فإذا تجاوزت 2% تقريبًا، يصبح التقدير غير موثوق.
• تسريب صامت. إن التغيير الذي يتم شحنه خارج نظام العلامات (قاعدة CDN، أو تعديل CMS، أو قالب جديد) يصل إلى المجموعة الممتنعة أيضًا ويقلل الفجوة نحو الصفر.
• زحف الاستبعاد. كل قرار من نوع "يجب أن يُعمم على الجميع" يُلغي عملية إطلاق واحدة مما تقيسه. عشرة قرارات من هذا القبيل تعني أنك لا تقيس شيئًا.
• عدم تطابق نسبة العينة. ينحرف توزيع الأسهم عن النسبة المستهدفة. راجع التوزيع أسبوعيًا؛ فالاستمرار في استخدام نظام إدارة المخاطر (SRM) لاغٍ تمامًا كأي اختبار آخر باستخدام هذا النظام.
• إصدار مبكر. لا يمكن إيقاف عمليات الانتظار العالمية الأصلية في Optimizely مؤقتًا، بل يمكن إنهاؤها فقط. اعتبر هذه القاعدة: الإنهاء المبكر يُفقدك نافذة الانتظار.
• ضعيف الأداء منذ اليوم الأول. الفشل الأكثر شيوعاً. إن نتيجة فارغة من اختبار بنسبة 2% لا تخبرك شيئاً عن برنامجك، بل تخبرك بكل شيء عن حجمه.

أين تفشل هذه الطريقة؟

يُظهر اختبار المجموعة الضابطة حجم التأثير المُجمّع، وليس أيّ إطلاقٍ كان سببًا فيه. ولا يزال تحديد المصدر يتطلب إجراء اختبارات فردية. ولا يُمكنه قياس أيّ شيءٍ يجب شحنه للجميع، لذا فإنّ أعمال الامتثال تقع خارج نطاقه. وهو غير مناسبٍ عندما لا يعود المستخدمون أنفسهم خلال الفترة الزمنية المحددة، ولا يُشير إلى أيّ تأثيرٍ للعلامة التجارية أو التأثير غير المباشر بين المجموعات. عند أقل من 100,000 مستخدم شهريًا تقريبًا، لا توجد حصةٌ قابلةٌ للكشف والدفاع عنها؛ عند هذا النطاق، تُعدّ قراءات ما قبل وما بعد المُحكمة بعناية، بالإضافة إلى التحقق النوعي، هي الحل الأمثل، مع الإشارة إلى نقاط ضعفها بوضوح.

الأسئلة المتكررة

ما هو الحجم الأمثل لمجموعة المعارضة؟

حجم العينة كافٍ لرصد التأثير التراكمي المتوقع، وهو ما يُحسب حسابيًا وليس مجرد اصطلاح. عند مستوى أساسي 2% وهدف نسبي +5%، يتطلب اختبار نسبة 5% حوالي 3.25 مليون مستخدم، بينما يتطلب اختبار نسبة 20% حوالي 971,000 ألف مستخدم.

كم من الوقت يجب أن يستمر الصمود؟

يقترح البائعون فترة نشاط تتراوح بين ثلاثة وستة أشهر، بالإضافة إلى فترة تحليل تتراوح بين أسبوعين وأربعة أسابيع. يجب أن تشمل هذه الفترة ذروة حملة واحدة على الأقل وشهرًا عاديًا، حتى لا يُحسم الأمر بناءً على حدث مبيعات واحد.

لماذا يكون معدل الرفع بعد الثبات أقل من مجموع انتصاراتي في الاختبارات؟

هذه هي النتيجة المتوقعة، وليست خللاً. فلعنة الفائز، وتلاشي عنصر الجدة، والتفاعل بين التغييرات، وتراخي التحليل، كلها عوامل تُضخّم المجموع. الرقم المُثبت هو الأقرب إلى الواقع.

هل يمكنني إنشاء حالة انتظار بعد أن قمت بالفعل بتشغيل الأشياء؟

ليس هذا هو الحال بالنسبة لتلك الإطلاقات - فقد استلمها الجميع بالفعل. لا يقيس الامتناع عن المشاركة إلا التغييرات التي بدأت منذ تاريخ انطلاقه. لا يزال بإمكانك بدء واحد اليوم للربعين القادمين.

هل يؤدي تقييد المستخدمين إلى الإضرار بالإيرادات؟

قليلاً، إذا نجحت حملاتك التسويقية فعلاً؛ فإن التكلفة ستكون محدودة بنسبة حصة الممتنعين مضروبة في العائد الحقيقي. أما إذا لم تنجح، فلن يكلفك الامتناع شيئاً، بل سيجنبك تكرارها.

ماذا لو كانت نتيجة الاختبار ثابتة؟

تحقق أولاً من الطاقة مقارنةً بجدول المقاسات، ثم من التقاطع والتسريب. تعني النتيجة الثابتة تمامًا والتي توفر طاقة كافية أن ربعي الشحن لم يؤثرا على المقياس: تعلم ذلك مكلف، وعدم تعلمه أكثر تكلفة.

الخطوة التالية

إذا كنت تجري تجارب ولا تستطيع تحديد قيمة عام من النجاحات، فقم بتقييم أداء أحد المنافسين مقارنةً بحركة المرور الخاصة بك هذا الأسبوع - أو دعنا نقوم بتقييمه وبنائه وتحليله كجزء من... مشاركة CRO.

مصادر

• كوهفي ولونغبوثام، "التجارب المضبوطة عبر الإنترنت واختبار A/B" (2015)
• لي وشين (Airbnb)، "لعنة الفائز"، KDD 2018
• صادقي وآخرون (مايكروسوفت)، "الحداثة والريادة"، تكنومتركس، 2022
• مدونة نتفليكس التقنية، "تطبيقات الاستدلال السببي في نتفليكس"
• وثائق الإحصاء، "الممتنعون"
• GrowthBook، "المعارضون في GrowthBook"
• دعم Optimizely، "المعارضون العالميون"
• إيبو: "الكل أقل من مجموع أجزائه"
• مديرية الاستراتيجية والميزانية - مؤشر أسعار المستهلك التابع لمعهد الإحصاء والتكنولوجيا، أغسطس 2026