حجم العينة

حجم العينة هو عدد الزوار أو الجلسات أو المستخدمين المُدرجين في كل مجموعة من مجموعات التجربة، وهو العامل الأهم في تحديد مدى موثوقية نتائج الاختبار. يُحسب حجم العينة قبل بدء الاختبار، بناءً على أربعة مُدخلات: معدل التحويل الأساسي للمجموعة الضابطة، والحد الأدنى لحجم التأثير الذي تعتبره الشركة ذا دلالة، والقوة الإحصائية المطلوبة، ومستوى الدلالة. أي تغيير في هذه المُدخلات يُؤدي إلى تغيير حجم العينة المطلوب، وغالبًا ما يكون هذا التغيير كبيرًا.

العلاقة بين هذه المدخلات غير بديهية، وهنا يكمن خطأ معظم برامج الاختبار. يتطلب اكتشاف تأثير طفيف حركة مرور أكبر بكثير من اكتشاف تأثير كبير، ويزداد هذا المطلب تقريبًا مع مربع حجم التأثير. إن تقليل التأثير المراد اكتشافه إلى النصف يُضاعف حركة المرور المطلوبة أربع مرات. يحتاج موقع يحقق معدل تحويل 2% ويرغب في اكتشاف تحسن نسبي بنسبة 5% بشكل موثوق إلى عشرات الآلاف من الزوار لكل متغير؛ بينما يحتاج الموقع نفسه الذي يحاول اكتشاف تحسن بنسبة 20% إلى جزء صغير من ذلك. وبالمثل، تتطلب معدلات التحويل الأساسية المنخفضة حركة مرور أكبر من المعدلات المرتفعة، ولهذا السبب تُشغّل مواقع توليد العملاء المحتملين وفئات التجارة الإلكترونية التي تتطلب تفكيرًا عميقًا برامج اختبار أبطأ من متاجر التجزئة ذات التردد العالي.

يؤدي إجراء اختبار دون حساب حجم العينة إلى أحد نمطين من الفشل. فالاختبار ذو القدرة الإحصائية المنخفضة لا يصل إلى نتيجة، ويستهلك أسابيع من البيانات، ويُهمل لعدم حسمه، أو الأسوأ من ذلك، يُفسر على أنه دليل على أن التغيير لم يُحدث أي فرق. أما الاختبار الذي يتوقف مبكرًا، عندما تتجاوز نسبة تحويلات مُوفقة عتبة الدلالة الإحصائية، فيُظهر تأثيرًا كبيرًا يختفي في الغالب عند تطبيق التغيير على الجميع. كلا الفشلين يُكلفان الشيء نفسه: مصداقية برنامج الاختبار داخل المؤسسة.

تُقيّد متطلبات حجم العينة أيضًا ما يمكن للموقع اختباره بشكل واقعي. فالموقع ذو الزيارات المحدودة لا يستطيع إجراء سلسلة من التحسينات الصغيرة، لأن كل تحسين سيستغرق شهورًا لحله. الاستراتيجية الأمثل في هذا المستوى من الزيارات هي اختبار عدد أقل من التغييرات الجريئة ذات التأثيرات المتوقعة الكبيرة، وإجراء الاختبارات في المراحل الأولى من مسار التحويل حيث تكون الزيارات أكبر، والاعتماد بشكل أكبر على البحث النوعي والتحليل الاستدلالي لتحديد ما يجب إطلاقه دون تجربة. إن إدراك هذا القيد بصدق أكثر إنتاجية بكثير من تنفيذ برنامج اختبارات مستحيل النجاح حسابيًا.

يجب أن تأخذ الحسابات العملية في الحسبان الفرق بين الوحدة الإحصائية ووحدة العمل. فإذا كانت وحدة التوزيع العشوائي هي الزائر، بينما يُقاس المقياس لكل جلسة، فإن الحسابات تصبح غير دقيقة، ويُبالغ في تقدير مستوى الثقة المُبلغ عنه. وتحتاج الاختبارات التي تقيس الإيرادات لكل زائر، بدلاً من التحويل الثنائي، إلى عينات أكبر، لأن الإيرادات مقياس عالي التباين، مع وجود عدد كبير من الطلبات الكبيرة. ويزيد تحليل الشرائح من تعقيد المشكلة: فالاختبار المُصمم للجمهور بأكمله لا يُناسب شريحة مستخدمي الأجهزة المحمولة، وقراءة نتائج الشرائح من تجربة مُصممة للجمهور بأكمله تُعدّ من أكثر مصادر الاستنتاجات الخاطئة شيوعاً في هذا المجال.

يترتب على الحساب سؤالان عمليان، وكثيرًا ما تُجاب إجابتهما بشكل خاطئ. الأول هو ما إذا كان ينبغي تقسيم حركة المرور بالتساوي. يُقترح أحيانًا توزيع غير متساوٍ، مثل 90% للتحكم و10% للتغيير، للحد من التعرض لتغيير محفوف بالمخاطر، ولكنه يُطيل وقت التشغيل المطلوب بشكل كبير، لأن المجموعة الأصغر تُحدد دقة المقارنة. يُمكن تحقيق الحد من المخاطر بشكل أفضل من خلال مرحلة تمهيدية قصيرة مع مراقبة دقيقة، تليها عملية تقسيم متساوية. أما السؤال الثاني فهو كيفية إجراء عدة اختبارات في وقت واحد. تُعد التجارب المتزامنة على أجزاء غير مترابطة من الموقع مقبولة عمومًا، وهي الطريقة التي تُحقق بها معظم البرامج سرعة معقولة، ولكن الاختبارات التي تتفاعل، مثل تغييرين يؤثران على نفس خطوة المسار، إما أن تُرتّب أو تُحلل كتصميم مُدمج، حيث لا يُمكن عزو الزوار الذين يتعرضون لكلا التغييرين بشكل قاطع إلى أحدهما.

ضمن هيكل منظم معدل التحويل الأمثل في البرنامج، تتم عملية تخطيط حجم العينة أثناء تحديد الأولويات، وليس عند الإطلاق. فمعرفة أن اختبارًا مقترحًا يحتاج إلى ستة أسابيع من الزيارات يغير من أولويته مقارنةً بفكرة تُحسم في عشرة أيام، وتُعد هذه المفاضلة بين التأثير المتوقع والوقت اللازم للإجابة أحد المدخلات الأساسية لخارطة الطريق. بالنسبة للمواقع ذات الزيارات المنخفضة، تدقيق UX غالباً ما يحقق عائدًا أفضل من تراكم التجارب، لأنه يحدد العيوب الخطيرة لدرجة أن إصلاحها لا يتطلب دليلًا إحصائيًا.