أربع طرق لتحديد حجم دراسة قابلية الاستخدام، ومتى يتم تجاوز قاعدة المستخدمين الخمسة

يقول أحد أعضاء فريقك إن خمسة مستخدمين كافون. إنهم يستشهدون بنموذج يعود لعام ١٩٩٣، دون ذكر معاييره. في دراسة لورا فولكنر عام ٢٠٠٣، كشفت عمليات اختيار عشوائية لخمسة مشاركين من بين ستين مشاركًا عن وجود ما بين ٥٥٪ و ٩٩٪ من المشكلات المعروفة في نفس واجهة المستخدم، مع نفس المهام ونفس المشرف. يعتمد العدد الذي تحصل عليه على هوية المشاركين.

هذا الدليل مُعدٌّ للباحثين ومديري المنتجات وقادة منظمات البحث الذين يتعين عليهم تبرير حجم التوظيف قبل بدء الدراسة. بنهاية هذا الدليل، ستتمكن من اختيار إحدى أربع طرق لتحديد حجم العينة، وتوضيح الافتراض الذي تستند إليه، وبيان ما يوفره لك هذا الحجم من تغطية للمشكلة. لن ينصحك الدليل باختبار عدد أكبر من الأشخاص، بل سيوضح لك متى يكون الرقم خمسة إجابة مقبولة ومتى يكون مجرد تخمين.

من أين يأتي رقم المستخدمين الخمسة؟

قام نيلسن ولانداور بنمذجة اكتشاف المشكلة على النحو التالي: N x (1 - (1 - p)^n): مع N مشاكل في التصميم، p احتمالية أن يواجه أي مشارك مشكلة معينة، و n نسبة المشاكل التي تواجهونها أيها المشاركون هي 1 - (1 - p)^nقاسوا متوسط ​​قيمة p بلغ 0.31 عبر مجموعة بياناتهم. عند p = 0.31، يحقق خمسة مشاركين تغطية بنسبة 84.4%. من هنا جاءت عبارة "خمسة مستخدمين يجدون 85% من المشكلات".

يُغفل أمران في إعادة سرد النتائج. أولًا، التقريب: عند قيمة p = 0.31، تحتاج إلى ستة مشاركين لتجاوز نسبة 85%، وليس خمسة. ثانيًا، والأهم، أن p ليس ثابتًا. قاس فيرزي القيمة 0.32، وقاس لويس القيمة 0.16 على نظام مختلف، ووجد سبول وشرودر أن مشكلات خطيرة لا تزال تظهر بعد عشرات المشاركين في مهام التجارة الإلكترونية المفتوحة. النسخة الصحيحة من الادعاء مشروطة. إليكم ما وجده خمسة وعشرة وعشرون مشاركًا عند أربع معدلات لتكرار المشكلات:

اقرأ السطر الأخير قبل اجتماع التخطيط القادم. المشاكل التي تُعيق عملية الدفع عادةً ليست تلك التي يتعثر بها أربعة من كل خمسة أشخاص. لقد تم حل تلك المشاكل منذ سنوات.

الطريقة الأولى: خمسة ثابتة، تُكرر كثيراً

أجرِ التجربة على خمسة مشاركين، وصحح النتائج، ثم أجرِ التجربة على خمسة آخرين في الإصدار التالي. لم تكن حجة نيلسن أبدًا أن خمسة مشاركين كافية إحصائيًا، بل كانت أن قيمة المستخدم الهامشي أقل من قيمة المستخدم الهامشي. دراسة.

استخدمه عندما: أنت تقوم بتكرار تصميم لا يزال يتغير أسبوعيًا، والواجهة جديدة بما يكفي بحيث تكون معظم المشاكل شائعة (احتمالية عالية)، ويمكنك بالفعل إصدار إصلاحات بين الجولات.

يفشل عندما: الدراسة عبارة عن تدقيق لمرة واحدة لن تكرره، والنتائج تذهب إلى أصحاب المصلحة الذين سيتعاملون مع عبارة "لم نجد شيئًا آخر" كدليل على الجودة، أو أن المنتج ناضج والمشاكل المتبقية نادرة بحكم التعريف.

الطريقة الثانية: تحديد الحجم انطلاقاً من هدف الاكتشاف

اعكس النموذج. حدد التغطية التي تحتاجها (P) ومعدل الحدوث الذي تتوقعه (p)، ثم قم بالحل. n = ln(1 - P) / ln(1 - p).

استخدمه عندما: للدراسة غرض يتعلق بالامتثال أو القانون أو إطلاق المشروع، وتحتاج إلى ذكر التغطية كتابيًا، أو عندما تبحث عن فئة معينة من حالات الفشل منخفضة التردد مثل مسار استعادة الأخطاء.

يفشل عندما: ليس لديك أساس لـ p. اختيار 0.31 لأنه المتوسط ​​المنشور هو نفس التخمين مثل اختيار خمسة، وارتداء صيغة كزي تنكري.

الطريقة الثالثة: تقدير قيمة p من الجولة الأولى، ثم تغيير حجم العينة

هذه هي الطريقة التي نعتمدها افتراضياً، لأنها تستبدل التخمين ببياناتك الخاصة.

1. قم بإجراء جولة أولية من خمسة مشاركين. سجل كل مشكلة مميزة وحدد المشاركين الذين تمكنوا من حلها.
2. احسب قيمة p الملاحظة كمتوسط ​​(عدد المشاركين الذين نجحوا في حل المشكلة / عدد المشاركين الذين قاموا بالجري) عبر جميع المشاكل المتميزة.
3. قلل من حجم العينة. تؤدي العينات الأولية الصغيرة إلى المبالغة في تقدير قيمة p، لأن المشكلات التي واجهها شخص واحد فقط هي تلك التي لم يتم التطرق إليها بعد. وقد وثّق هيرتزوم وجاكوبسن هذا التضخم. يتمثل الحل العملي في حذف المشكلات التي واجهها مشارك واحد فقط من البسط عند إعادة التقدير.
4. أدخل قيمة p المنخفضة في الجدول أعلاه عند هدف التغطية الخاص بك وقم بتجنيد الفرق.

نقاط القرار: إذا تجاوزت قيمة p المعدلة 0.25، فتوقف عند 5 إلى 8، وأنفق ما تبقى من الميزانية على دراسة ثانية لتدفق مختلف. إذا تراوحت القيمة بين 0.10 و0.25، فقم بتمديدها إلى 12 إلى 18. أما إذا كانت أقل من 0.10، فمن المحتمل أن تكون مهامك مفتوحة للغاية أو أن شريحة المشاركين واسعة جدًا، ولن يؤدي إضافة مشاركين إلى حل أيٍّ من الحالتين. أعد تحديد نطاق الدراسة قبل إعادة التوظيف.

يفشل عندما: لا يمكنك التوظيف بشكل تدريجي، أو أن الدراسة تتم مراجعتها من قبل أشخاص مختلفين عبر الجولات، مما يغير ما يتم تسجيله كمشكلة منفصلة.

الطريقة الرابعة: الحجم حسب الشريحة السلوكية

يفترض النموذج وجود شريحة سكانية واحدة. لكن معظم المنتجات في هذه المنطقة لا تمتلك شريحة سكانية واحدة. فمثلاً، لدى تاجر تجزئة تركي يبيع منتجاته محلياً وعبر الحدود إلى الاتحاد الأوروبي ودول الخليج ثلاث مجموعات على الأقل، لكل منها نماذج ذهنية مختلفة، وتوقعات دفع متباينة، وفي حالة دول الخليج، واجهة مستخدم تبدأ من اليمين إلى اليسار. وتوصي نيلسن هنا بأن يتراوح عدد المشاركين في كل مجموعة بين 3 و4 مشاركين عند وجود مجموعتين، و3 مشاركين في كل مجموعة عند وجود ثلاث مجموعات أو أكثر. هذا حد أدنى، وليس هدفاً، ما يعني أن "دراسة لخمسة مستخدمين" عبر ثلاث شرائح هي في الواقع ثلاث دراسات ذات قوة إحصائية منخفضة.

هناك قاعدتان جديرتان بالتطبيق قبل كتابة أسئلة الفرز:

• التركيز على السلوك، وليس على التركيبة السكانية. يواجه المشترون لأول مرة والمشترون المتكررون مشاكل مختلفة. أما الفئة العمرية من 25 إلى 34 عامًا والفئة العمرية من 35 إلى 44 عامًا فلا تواجه هذه المشاكل عادةً.
• تعامل مع مستخدمي التكنولوجيا المساعدة كشريحة مستقلة إذا كنت تبيع منتجاتك في الاتحاد الأوروبي. يُطبّق قانون إمكانية الوصول الأوروبي على خدمات التجارة الإلكترونية الموجهة للمستهلكين منذ 28 يونيو 2025، ولا يمكن لعينة من المبصرين فقط أن تُحدد مدى امتثالك له. يواجه المشاركون الذين يستخدمون قارئات الشاشة ولوحة المفاتيح فقط نوعًا من المشاكل التي لا يمكن لأي عدد إضافي من المشاركين المبصرين كشفها.

ما هي الطريقة الأنسب لدراستك؟

مثال عملي

هذا المثال توضيحي وليس حالة عميل. لنفترض أنك تُجري دراسةً لتقييم تجربة الدفع لمتجر أزياء تركي متوسط ​​الحجم، مع التركيز على الزيارات المحلية فقط، والتصميم الجديد مُفعّل بالفعل. الطريقة الأولى غير مُجدية لأن التصميم قد تم إطلاقه، والطريقة الثانية تتطلب تطبيقًا غير متوفر لديك، لذا: يتم استخدام الطريقة الثالثة بناءً على الطريقة الرابعة.

شريحتان سلوكيتان: شريحة العملاء الضيوف وشريحة العملاء المتكررين المسجلين، بواقع أربعة مشاركين لكل شريحة. أسفرت الجولة الأولى عن 19 مشكلة مختلفة، 11 منها شاهدها مشارك واحد فقط. قيمة p الأولية هي 0.28؛ وبعد حذف الحالات الفردية من البسط، انخفضت إلى حوالي 0.17. عند هدف تغطية بنسبة 90% وقيمة p = 0.17، يشير الجدول إلى 14 مشكلة. لديك 8 مشاركين، لذا تقوم بتجنيد 6 مشاركين إضافيين، مع ترجيح الشريحة ذات النتائج الأقل.

العدد الإجمالي: 14 مشاركًا، مع ذكر سبب مكتوب لهذا العدد. [INTERNAL DATA NEEDED: observed p values from Switas's own e-commerce checkout studies, to replace the illustrative 0.17 with a benchmark range by vertical.]

أين يكمن الخلل؟

يفترض النموذج ذو الحدين أن المشكلات مستقلة وأن قيمة p ثابتة بين المشاركين. كلا الافتراضين غير صحيح. فوجود تصنيف مُضلل واحد يُسبب ثلاثة إخفاقات لاحقة، كما أن المشارك المُلمّ بأنماط واجهة المستخدم في السوق الإلكترونية يواجه مجموعة مختلفة من المشكلات عن غيره. لذا، تعامل مع الأرقام المذكورة أعلاه كأدوات تخطيط، لا كمقاييس. وقد جادل كل من وولريتش وكوكتون وكولتون بأن قيمة p واحدة لا تُمثل بدقة مجتمعًا يتكون من مجموعات فرعية.

لا يشمل هذا الدليل أيضًا ما يلي:

• المقارنة المعيارية الكمية. إذا كنت ترغب في معرفة معدل نجاح المهمة مع هامش ثقة، فأنت تجيب على سؤال مختلف. خطط لما لا يقل عن 20 مشاركًا، ويفضل أن يكون العدد أكبر للحصول على هامش ثقة ضيق.
• فرز البطاقات واختبار الشجرة. تقترح نيلسن ما لا يقل عن 15 لكل مجموعة مستخدمين. ولا ينطبق هنا حساب اكتشاف المشكلة.
• تتبع حركة العين. حوالي 39 مشاركًا للحصول على خرائط حرارية مستقرة.
• اختبارات A/B. حجم العينة هنا هو القوة الإحصائية لمقياس التحويل، وليس لاكتشاف المشكلة. صيغة مختلفة، ومنطق مختلف.

ثمة قيد آخر جدير بالذكر: تصميم المهمة يُحسّن من فعالية المجموعة (p) أكثر من تأثير حجمها (n). خمسة مشاركين في مهمة محددة وواقعية سيتفوقون على اثني عشر مشاركًا في مهمة غامضة. إذا كانت مناقشة تحديد حجم المهمة أطول من مناقشة صياغتها، فإن النسبة غير صحيحة.

الأسئلة الشائعة

هل قاعدة الخمسة مستخدمين خاطئة؟
لا، الأمر مشروط. يتحقق ذلك عند معدل حدوث المشكلة الذي يقارب 0.31 وهدف التغطية الذي يقارب 85%. خارج هذه الشروط، يكون أداؤه أقل من المتوقع، ولم يدّعِ العمل الأصلي خلاف ذلك.

كيف يمكنني تقدير قيمة p قبل إجراء أي عملية تشغيل؟
في أغلب الأحيان لا يمكنك ذلك، ولهذا السبب توجد الطريقة الثالثة. إذا اضطررت للتخمين، فاستخدم 0.30 للواجهات الجديدة أو التي طرأت عليها تغييرات كبيرة، و0.15 للواجهات الناضجة، ثم صحّح بعد الجولة الأولى.

هل يؤدي الاختبار الخاضع للإشراف مقابل الاختبار غير الخاضع للإشراف إلى تغيير الرقم؟
ليس الأمر متعلقًا بالرياضيات، بل بتغيير مفهوم المشكلة. تميل الجلسات غير المُدارة إلى إغفال السبب الكامن وراء الفشل، مما يُضخّم عدد المشاكل المُختلفة ويُقلّل من قيمة p المُلاحظة.

ماذا لو لم أتمكن من تجنيد سوى خمسة أشخاص؟
أجرِ خمس دراسات، وقدّم تقريرًا صادقًا عن التغطية بدلًا من الإبلاغ عن قائمة المشكلات على أنها كاملة. حدّد الأجزاء التي لم تغطّها. الدراسة ذات الحجم الصغير مع تحديد حدودها مفيدة؛ أما الدراسة ذات الحجم الصغير التي تُقدّم على أنها شاملة فليست كذلك.

هل أحتاج إلى المزيد من المشاركين لاختبار إمكانية الوصول؟
أنت بحاجة إلى مشاركين مختلفين. مستخدمو التكنولوجيا المساعدة يمثلون شريحة سلوكية منفصلة ذات مستوى خاص بهم يتراوح بين 3 و 4، وليسوا مجرد إضافة إلى عينة موجودة.

هل يمكن للمشاركين الاصطناعيين الذين تم إنشاؤهم بواسطة الذكاء الاصطناعي أن يحلوا محل بعض أفراد هذه العينة؟
يمكنهم مساعدتك في التدرب على المهام والاختبارات. لا يمكنهم حساب معدل حدوث المشكلة، لأن p خاصية من خصائص السلوك الحقيقي في مجتمع حقيقي. لا تُدخل جلسات اصطناعية في المقام.

هل تنطبق نفس الحسابات الرياضية على منتجات الشركات أو منتجات القطاع العام؟
الحسابات صحيحة، لكن عملية التوظيف ليست كذلك. غالبًا ما يقتصر الوصول إلى شرائح الشركات ذات الصلة والقطاع العام على ستة أو ثمانية مشاركين، وفي هذه الحالة، يجب ذكر هذا الحد الأقصى كقيد للدراسة بدلاً من التظاهر بأن هذا العدد تم اختياره.

قم بتطبيق هذا في دراستك القادمة

خذ الدراسة التي ستلخصها، ودوّن أيًّا من الطرق الأربع التي ستستخدمها، والقيمة الاحتمالية (p) التي تفترضها، وأدرج كليهما في خطة البحث. إذا لم يُدوَّن أيٌّ منهما، فهذه هي النتيجة. إذا كنت تفضل أن يتولى أحدهم تحديد حجم العينة، وفرزها، وتصميم الشرائح نيابةً عنك، تحدث مع سويتاس حول جولة البحث التالية الخاصة بك.

مصادر

• نيلسن، ج. ولانداور، ت.ك. (1993). نموذج رياضي لإيجاد مشاكل سهولة الاستخدام. إنترتشي 93، 206-213.
• فولكنر، ل. (2003). ما وراء افتراض المستخدمين الخمسة: فوائد زيادة أحجام العينات في اختبار قابلية الاستخدام. أساليب البحث السلوكي، والأدوات، والحواسيب، 35(3)، 379-383.
• سبول، ج. وشرودر، و. (2001). اختبار مواقع الويب: خمسة مستخدمين لا يكفي على الإطلاق. ملخصات موسعة لمؤتمر CHI '01.
• ساورو، ج. تاريخ موجز للرقم السحري 5 في اختبار قابلية الاستخدام. قياس قابلية الاستخدام.
• ساورو، ج. أحجام العينات لدراسات سهولة الاستخدام: لا يوجد حجم واحد يناسب الجميع. قياس سهولة الاستخدام.
• نيلسن، ج. لماذا يكفي الاختبار مع 5 مستخدمين فقط. مجموعة نيلسن نورمان.
• نيلسن، ج. كم عدد المستخدمين التجريبيين في دراسة قابلية الاستخدام؟ مجموعة نيلسن نورمان.
• التوجيه (الاتحاد الأوروبي) 2019/882 بشأن متطلبات إمكانية الوصول للمنتجات والخدمات (قانون إمكانية الوصول الأوروبي)، ملخص EUR-Lex.