الذكاء الاصطناعي في أبحاث المستخدمين: ما ينجح، وما يفشل، وأين نرسم الخط الفاصل

لم تكن المقابلة هي العائق أبداً

تبدأ جميع المقالات التي تتناول الذكاء الاصطناعي وأبحاث المستخدمين بنفس الطريقة: البحث بطيء، والذكاء الاصطناعي يُسرّعه. هذا الطرح ليس خاطئًا، ولكنه غير دقيق لدرجة تجعله عديم الفائدة عند اتخاذ قرار بشأن ما يجب تغييره فعليًا صباح يوم الاثنين.

إليكم النسخة الأكثر دقة. تستغرق المقابلة المُدارة ستين دقيقة، وستبقى كذلك دائمًا، لأن الشخص مُطالب بالتحدث لمدة ستين دقيقة. ما كان يستغرق أربعة أيام أصبح الآن كل شيء. حول إنها - النسخ، ووضع العلامات، وإيجاد اللحظة التي قال فيها ثلاثة مشاركين نفس الشيء بثلاث مفردات مختلفة، وتحويل ذلك إلى شيء يمكن لمدير المنتج اتخاذ إجراء بشأنه قبل إغلاق دورة التطوير.

هذا هو المسار الذي سلكه الوقت، وهذا تحديدًا ما يميز نماذج اللغة. فهي قادرة على مطابقة الأنماط في النصوص. وتجميع الأبحاث هو في جوهره مسألة مطابقة أنماط في النصوص. والتوافق حقيقي.

لكن الخاصية نفسها التي تجعلهم بارعين في التركيب تجعلهم خطرين فيه. فالنموذج الذي يكتشف الأنماط سيكتشفها سواء وُجدت أم لا، وسيصف الأنماط التي ابتكرها بنفس الثقة التي يصف بها الأنماط الموجودة. في البحث العلمي، يُعدّ وجود فكرة خاطئة بثقة أسوأ من عدم وجود فكرة على الإطلاق، لأن الفكرة الخاطئة هي التي ستُبنى.

لذا فإن السؤال ليس كذلك سواء استخدام الذكاء الاصطناعي في أبحاث المستخدمين أمر شائع. الجميع يفعل ذلك بالفعل. السؤال هو: ما هي أجزاء العملية التي تُسندها إلى جهات خارجية، وما الذي تتحقق منه قبل الوثوق بالنتائج، وما الذي ترفض أتمتته تمامًا؟ هذا ما تتناوله هذه المقالة.

حيث يثبت الذكاء الاصطناعي جدارته فعلاً

نقوم بربط الذكاء الاصطناعي بعملية البحث مرحلةً تلو الأخرى بدلاً من التعامل معه كقرار واحد. ولكل مرحلة من هذه المراحل مستوى مخاطر مختلف تماماً.

صفان في ذلك الجدول قيمتهما أكبر من قيمة بقية الصفوف مجتمعة.

البرمجة على نطاق واسع. إذا كان لديك دليل ترميز كتبه شخص ما، فإن تطبيقه باستمرار على 40 نصًا هو بالضبط نوع العمل الشاق الذي تعتمد عليه نماذج العمل القائمة على اتباع القواعد. وهنا يكمن معظم الوقت القابل للاسترداد.

تحليل التغذية الراجعة المستمر. تُكدّس معظم الشركات آلاف التقييمات على متاجر التطبيقات، وطلبات الدعم، ونصوص الاستبيانات التي لم يقرأها أحد منذ توليها المنصب. يُعدّ هذا الاستخدام الأمثل للذكاء الاصطناعي في هذا المجال، فهو يحقق أعلى عائد وأقل مخاطرة، لأنه لا يستبدل الأبحاث الجارية، بل يُعيد قراءة البيانات التي كانت تُهدر. نتناول هذا الموضوع بتفصيل أكبر في كيف يمكن للذكاء الاصطناعي تحويل ملاحظات المستخدمين إلى رؤى عملية للمنتج؟.

أنماط الفشل الأربعة التي نستمر في رصدها

هذه ليست مخاطر نظرية. إنها الأمور المحددة التي تحدث بشكل خاطئ في المشاريع الحقيقية، مرتبة تنازلياً تقريباً حسب مدى تكرار اكتشافها.

1. التكرار المتخفي وراء الأهمية

اطلب من نموذج تلخيص عشرين مقابلة، وسيركز على أكثر ما قيل. لكن قيمة البحث لا تكمن عادةً في الاستجابة الأكثر شيوعًا، بل في المشارك الذي انسحب تمامًا من سياق الحديث، أو في الشخصين اللذين وصفا الحل البديل نفسه بشكل مستقل، أو في الجزء الذي لم يصل أبدًا إلى الخطوة التي ناقشها الجميع.

سيُظهر لك نموذج يلخص دراسة حول عملية الدفع أن شفافية تكلفة الشحن برزت بشكل متكرر. لكنه لن يُظهر لك أن المشاركين الوحيدين اللذين أكملا عملية الشراء كانا مسجلين دخولهما بالفعل - وهي النتيجة الفعلية، والتي تظهر في النص كغياب فقط.

فحصنا: نسأل صراحةً عن رأي الأقلية: "أي مشارك اختلف مع الإجماع الناشئ، وماذا قال؟" إذا لم يتمكن النموذج من تحديد رأي واحد، فإننا نعتبر الملخص غير مكتمل وليس دليلاً على الاتفاق.

2. اختراع سلس

تُنتج النماذج اقتباسات تبدو مطابقة تمامًا لما قد يقوله أحد المشاركين، وتُنسب إلى مشارك لم يقلها. ليس كثيرًا. ولكن كثيرًا بما يكفي. والخطأ غير مرئي عند التدقيق، لأن الاقتباس المُختلق يبدو أفضل من الاقتباس الحقيقي - فالناس الحقيقيون يتحدثون بشكل مُجزأ.

فحصنا: كل اقتباس يصل إلى ملف العميل يحمل مرجعًا للنص وطابعًا زمنيًا. إذا تعذر العثور عليه في ملف الصوت الأصلي، فلن يتم إرساله. هذه قاعدة آلية، وليست مسألة تقدير، لأن التقدير هو ما يفشل هنا.

3. التزاوج المتملق

أعطِ النموذج فرضيتك ثم بياناتك، وسيدعم التحليل فرضيتك. أعطه نفس البيانات مع فرضية معاكسة، وسيدعم التحليل تلك الفرضية. هذا هو أسوأ أنواع الفشل في مجال الاستشارات، لأنه يُنتج بالضبط ما يريده العميل، بينما يُفقدك السبب الذي دفعه لتوظيفك.

فحصنا: لا تتضمن تعليمات التركيب أبدًا الفرضية. يحصل النموذج على مجموعة البيانات وسؤال البحث، لا شيء آخر. عندما نريد اختبار فرضية ما، نقوم بتشغيلها كعملية منفصلة وتنافسية: "ابحث عن أقوى دليل في هذه المجموعة". ضد الادعاء التالي.

4. المستخدمون الاصطناعيون

التطبيق الأكثر تسويقًا بثقة والأقل قابلية للدفاع عنه: توليد مشاركين افتراضيين وإجراء مقابلات معهم بدلًا من الأشخاص الحقيقيين. ينتج هذا التطبيق نصوصًا تبدو معقولة بسرعة، وهذه المعقولية هي المشكلة بحد ذاتها. سيخبرك نموذج مُدرَّب على الإنترنت بنوع الشخصية... يبدو مثل، وهو ملخص لكيفية الكتابة عن هؤلاء الأشخاص - وليس كيف يتصرفون عندما يرفض التحقق من صحة النموذج عنوانهم في المحاولة الثالثة.

تُفيد الحسابات الوهمية لغرض واحد: التدرب على دليل المناقشة قبل إشراك مشارك حقيقي. نستخدمها لهذا الغرض فقط. لا نستخدمها كدليل، ولا نُدرج نتائجها ضمن نتائج البحث. إذا كان أحد الموردين يُقدم لك برنامجًا بحثيًا بدون مشاركين بشريين، فهو يبيعك طريقة باهظة الثمن لتأكيد ما تؤمن به مسبقًا.

بروتوكول عملنا

هذا هو التسلسل الفعلي، وليس تسلسلاً مثالياً.

1. البشر هم من يكتبون دليل الشفرات أولاً. قبل أن يتفاعل أي نموذج مع نص المقابلة، يقرأ الباحث من ثلاث إلى خمس مقابلات ويبني إطار الترميز يدويًا. يستند هذا الإطار إلى بيانات هذه الدراسة، وليس إلى تصنيف عام لتجربة المستخدم. كل ما يلي ذلك يرث جودته من هذه الخطوة، ولذلك لا نختصرها أبدًا.

2. يطبق النموذج الإطار، والإطار فقط. دليل ترميز ثابت، لا توجد فئات جديدة أثناء التشغيل. عندما يصادف النموذج شيئًا لا يغطيه الإطار، فإنه يصنفه على أنه غير مصنف بدلاً من فرض ملاءمة. غالبًا ما تكون مجموعة البيانات غير المصنفة هي الناتج الأكثر إثارة للاهتمام في عملية التشغيل بأكملها.

3. قم بترميز عينة بنسبة 15% مرتين. تُرمّز النصوص نفسها بواسطة مُبرمج بشري ونموذج بشكل مستقل، ونقيس نسبة الاختلاف. إذا كانت النسبة أقل من 10%، نتابع. أما إذا كانت أعلى من 20%، فهذا يعني أن دليل الترميز خاطئ، وليس النموذج، فنعود إلى الخطوة الأولى. تُعدّ نسبة الاختلاف مؤشرًا تشخيصيًا للإطار، وقد وفّر لنا التعامل معها بهذه الطريقة الكثير من الوقت والجهد مقارنةً بالتعامل معها كبوابة جودة للأدوات.

4. مسودة تركيبية بدون فرضية في السؤال. يحصل النموذج على مجموعة من النصوص وسؤال البحث. وينتج مجموعات وسردًا أوليًا.

5. اجتياز اختبار التتبع. يتم ربط كل ادعاء في المسودة باثنين على الأقل من المشاركين، مع تحديد الطوابع الزمنية. تُحذف الادعاءات التي لا يمكن تتبعها، ولا يتم تخفيفها. يُصنف الادعاء الذي يدعمه مشارك واحد فقط على أنه ملاحظة فردية، وهو أمر مشروع وقيّم في كثير من الأحيان للإبلاغ عنه، ولكن ليس كموضوع رئيسي.

6. التثليث باستخدام البيانات السلوكية. يتباين السلوك المُصرَّح به مع السلوك المُلاحَظ باستمرار. نتحقق من نتائج المقابلات بمقارنتها بتسجيلات الجلسات وبيانات الخرائط الحرارية - مثل نقرات الغضب، والنقرات غير المُجدية، ونقاط التوقف - قبل إرسال أي شيء إلى العميل. عندما يقول المشاركون إن الفلتر يعمل بشكل جيد، وتُظهر التسجيلات تخلّيهم عنه، فإن التسجيلات هي الفيصل. وهنا أيضًا يُرجَّح أن تُكشف أخطاء العمل النوعي المدعوم بالذكاء الاصطناعي، لأن البيانات السلوكية لا تُراعي مدى تماسك السرد.

7. يقوم شخص بكتابة التوصية. يمكن تجميع النتائج بمساعدة مختصين. أما كيفية التعامل معها، في هذه المؤسسة، وفي ظل هذه القيود وهذه الخطة، فهو قرار يتخذه شخص شارك في المقابلات.

ما لا نقوم بأتمتته

قائمة مختصرة، ونحن نتمسك بها بشدة.

• إدارة المقابلات مع المستخدمين الضعفاء أو الذين يعانون من ضائقة نفسية. الرعاية الصحية، والصعوبات المالية، وبحوث إمكانية الوصول. يُعدّ واجب المنسق في هذا المجال جزئياً واجب رعاية، وهذا واجب لا يمكن تفويضه.
• التوصية. انظر الخطوة السابعة.
• تقييم إمكانية الوصول. الأدوات الآلية - بما في ذلك أدواتنا الخاصة أداة تدقيق WCAG — يكشف هذا النظام عن ثلث مشكلات WCAG تقريبًا. أما الباقي فيتطلب اختبارًا يدويًا باستخدام تقنيات مساعدة. أي بائع يدّعي تغطية آلية كاملة إنما يصف عملية مسح، لا تدقيقًا.
• تحديد ما لا يجب البحث عنه. يُعد تحديد نطاق البحث هو المكان الذي تُخلق فيه معظم قيمة البحث أو تُهدر، وهو عبارة عن حوار استراتيجي، وليس مهمة تلخيص.

ملاحظة حول البحث باللغة التركية

معظم الإرشادات المنشورة حول الأبحاث المدعومة بالذكاء الاصطناعي مكتوبة وموثقة باللغة الإنجليزية، والفجوة في الأداء حقيقية وغير مناقشتها بشكل كافٍ.

تتدهور جودة النسخ التركية بشكل ملحوظ عند التعامل مع أسماء العلامات التجارية، والمصطلحات القطاعية، والتناوب اللغوي بين الإنجليزية والتركية، وهو أمر شائع في فرق تطوير المنتجات والتجارة الإلكترونية في إسطنبول. كما أن تصنيف المشاعر لا يتعامل جيدًا مع التعبير غير المباشر في اللغة التركية؛ فالتحذير المهذب الذي يسبق الشكوى الجادة غالبًا ما يُفسر على أنه محايد أو إيجابي من قِبل مُصنِّف مُدرَّب بشكل أساسي على اللغة الإنجليزية. كذلك، فإن استخدام التجميع الصرفي يعني أن أساليب تحليل تردد الكلمات الرئيسية في بيانات الاستبيانات المفتوحة تُقلل من دقة النتائج بشكل كبير، لأن المفهوم الواحد يظهر في عشرات الصيغ الصرفية التي يتعامل معها مُجزِّئ الكلمات على أنها غير مترابطة.

النتائج العملية: ارفع معدل التدقيق العشوائي للنصوص المكتوبة إلى ما يزيد عن 10%، وهو المعدل المستخدم للغة الإنجليزية، ولا تعتمد أبدًا على تحليل المشاعر الآلي كمؤشر مستقل في النصوص التركية، وتحقق من صحة أي مصنف على عينة تركية مصنفة يدويًا قبل الوثوق بنتائجه عند استخدامها على نطاق واسع. ولهذا السبب تحديدًا، نقوم بتشغيل مجموعة التحقق الخاصة بنا.

كيف تعرف ما إذا كان يعمل

السرعة ليست المقياس الصحيح. الجميع يتحسنون، لكن السؤال هو ما إذا كان هذا التحسن يصمد أمام الواقع. إليك ثلاثة مقاييس نتابعها فعلياً:

معدل البقاء على قيد الحياة في إنسايت. من بين النتائج الواردة في تقرير بحثي، ما هي النسبة التي لا تزال صالحة بعد ستة أشهر؟ قياس ذلك أمرٌ صعب، ولكنه يستحق كل هذا العناء.

معدل عدم التوافق بين الإنسان والنموذج. انطلاقاً من الخطوة الثالثة أعلاه، تابع الأمر بمرور الوقت. عادةً ما يعني تزايد الخلاف أن مجال البحث قد تغير بينما لم يتغير دليل الترميز.

المدة الزمنية من آخر مقابلة إلى أول فرضية قابلة للاختبار. هذا هو الرقم الذي تُحققه تقنيات الذكاء الاصطناعي فعلياً. فإذا كانت عملية التركيب تستغرق ثمانية أيام وأصبحت تستغرق يومين فقط، فهذا يعني دورتين تجريبيتين إضافيتين في كل ربع سنة - وهو ما يُمثل الجدوى الاقتصادية الحقيقية، وهي جدوى مُبررة. لكن هذا ليس ما يُقدمه معظم الموردين.

الذهاب أعمق

هذه المقالة هي نظرة عامة. أما المقالات الأربع الأخرى فتغطي المراحل الفردية بالتفصيل:

• إنشاء شخصيات مستخدم مدفوعة بالبيانات باستخدام الذكاء الاصطناعي — بناء نماذج شخصية من أدلة موثقة بدلاً من النماذج المسبقة
• من البيانات إلى القرارات: كيف يمكن للذكاء الاصطناعي تبسيط عملية توليف أبحاث المستخدمين — مرحلة التركيب بالتفصيل
• كيف يمكن للذكاء الاصطناعي تحويل ملاحظات المستخدمين إلى رؤى عملية للمنتج؟ — المراجعات والتذاكر ونصوص خدمة المتنزهات الوطنية على نطاق واسع
• تبسيط عملية اكتشاف المنتجات من خلال أبحاث المستخدمين المدعومة بالذكاء الاصطناعي — تطبيق كل ذلك ضمن دورة اكتشاف

الأسئلة المتكررة

هل يمكن للذكاء الاصطناعي أن يحل محل مقابلات المستخدمين بشكل كامل؟ لا. يمكنها أن تحل محل بعض الأعمال المتعلقة بالمقابلات - كالتفريغ والترميز والتحليل الأولي - ويمكنها مساعدتك في إعداد مقابلات أفضل. لكنها لا تستطيع توليد أدلة حول سلوك الأفراد، لأنها لا تملك معلومات عن سلوكهم. أما المشاركون المُحاكون فيخبرونك كيف وُصف هؤلاء الأشخاص في النصوص، وهذا أمر مختلف، وغالبًا ما يكون مُضللًا.

كم من الوقت يوفر البحث المدعوم بالذكاء الاصطناعي فعلياً؟ بحسب خبرتنا، يتركز التوفير بشكل شبه كامل في مرحلتي التجميع والترميز، حيث يكون التوفير كبيرًا. أما العمل الميداني، وتوظيف المشاركين، والتنسيق مع أصحاب المصلحة، فتبقى دون تغيير. ومن المتوقع بشكل واقعي في الدراسات المُعدّلة أن تتقلص مرحلة ما بعد العمل الميداني بشكل ملحوظ، بينما ينخفض ​​إجمالي مدة المشروع بنسبة أقل بكثير، لأن العمل الميداني كان دائمًا هو المرحلة الأطول.

هل يمكن أن يكون المستخدمون الاصطناعيون شرعيين في أي حال من الأحوال؟ كأداة تدريبية لأدلة المناقشة وكوسيلة لاختبار صياغة الاستبيان، نعم. كدليل في نتائج البحث، لا. هذا التمييز مهم: فالأولى أداة مساعدة للتحضير، والأخرى بيانات ملفقة تحمل صفة البحث.

ما هو أكبر خطر؟ واثق، فصيح، لكن الناتج خاطئ - وبالأخص النسخة التي تتفق مع ما كان الفريق يعتقده مسبقًا. تُكشف الاقتباسات الملفقة بقواعد التتبع. أما التوليف المتملق فهو أصعب، لأنه يُنتج مُخرَجًا يُرضي الجميع. الدفاع الموثوق الوحيد هو فصل الفرضية عن مُوجِّه التوليف وإجراء فحص مُضاد صريح.

هل يعمل البحث المدعوم بالذكاء الاصطناعي بنفس الكفاءة في اللغة التركية؟ ليس جاهزًا للاستخدام مباشرةً. تتراجع دقة النسخ، وتصنيف المشاعر، وطرق تحليل تردد الكلمات المفتاحية في اللغة التركية مقارنةً باللغة الإنجليزية. إنه قابل للاستخدام ونستخدمه يوميًا، ولكنه يتطلب معدلات أخذ عينات أعلى، ومصنفات مُدققة، وباحثًا مُلمًا باللغة.

هل ترغب في الحصول على رأي ثانٍ بشأن عملية البحث الخاصة بك؟

إذا كنت تجري بحثًا بمساعدة الذكاء الاصطناعي وتريد معرفة ما إذا كانت نتائجك ستصمد أمام التدقيق - أو كنت بصدد تحديد ما يجب أتمتته وما يجب حمايته - فسوف نراجع عمليتك الحالية ونخبرك بوضوح أين يكمن الخطر.