Golden Dataset: كيف تختبر منتج الذكاء الاصطناعي قبل أن تبنيه؟

يطرح معظم المؤسسين السؤال نفسه عن منتج الذكاء الاصطناعي: هل هو جيد بما يكفي؟ لكن لا يكاد أحد يطرح السؤال الذي يجب أن يُطرح أولًا: جيد بما يكفي، وفق أي اختبار؟

بلا إجابة، تعني عبارة «جيد بما يكفي» فقط أن المنتج نجح في العرض التجريبي، أو أن إجابته بدت مقنعة في الاجتماع، أو أن أحد الشركاء المؤسسين أعجبته الإجابة. لا شيء من هذا اختبار حقيقي. إنها انطباعات قُدّمت بصورة مقنعة، لا أكثر.

السؤال الأصح هو: ما الاختبار الذي يجب أن يجتازه هذا المنتج قبل أن نبني المزيد منه؟

ذلك الاختبار هو Golden Dataset. وGolden Dataset، أو مجموعة الاختبار المرجعية، هي مجموعة ثابتة من الأمثلة نعرف مسبقًا النتائج الصحيحة المتوقعة منها، ونستخدمها لقياس أداء المنتج قبل الإطلاق وبعد كل تغيير. يقترن بها معيار Sprint966 للنجاح قبل الإطلاق: شرط نجاح مكتوب وخاص بالمنتج، يُحدَّد قبل الإطلاق، بناءً على التكلفة الفعلية للإجابة الخاطئة. من دون هذين العنصرين، لا تقيّم الفرق منتجاتها القائمة على الذكاء الاصطناعي فعليًا، بل تحسّنها بناءً على الانطباعات وجودة العرض التجريبي.

هذا المقال جزء من دليلنا الأوسع Build vs. Cut، منهج Sprint966 لتحديد نطاق منتجات الذكاء الاصطناعي. باختصار: ابنِ أبسط بنية تقنية قادرة على اجتياز اختبار حقيقي، واستبعد كل ما لم يُثبت جدارته بعد. ومجموعة الاختبار المرجعية هي ما يجعل «اجتياز اختبار حقيقي» ممكنًا أصلًا.

ما هي مجموعة الاختبار المرجعية (Golden Dataset)؟

ثلاثة عناصر تجعلها مجموعة اختبار مرجعية، لا مجرد جدول بيانات من الأمثلة:

تعكس عملًا حقيقيًا. ليست مجموعة أمثلة انتُقيت لتبدو جيدة في العرض التجريبي، ولا حشوًا عامًا. بل تمثّل أسئلة العملاء، والمستندات، واستثناءات سير العمل التي سيواجهها منتجك فعلًا — الشكل نفسه من المدخلات الذي سيراه المنتج في بيئة الإنتاج. يمكن أن تكون الأمثلة منزوعة الهوية، أو معاد بناؤها بعناية، أو اصطناعية، ما دامت تحافظ على الصعوبة نفسها والنتيجة المتوقعة نفسها.

ثابتة. بمجرد بنائها، لا تتغير المجموعة مع كل فكرة جديدة. لها إصدارات محددة. وحين تُحسّنها، تفعل ذلك عمدًا، وتُسجّل ما تغيّر ولماذا — فهدف متحرك لا يمكنه أن يخبرك إن كان تغيير الأسبوع الماضي قد حسّن الأداء أم أضرّ به.

لها إجابة صحيحة معروفة. لكل مثال نتيجة متوقعة مكتوبة، ومن الأفضل أن يكون هناك سبب واضح لصحة هذه النتيجة. من دون ذلك، يصبح «الاختبار» مجرد تشغيل المنتج وقراءة مخرجاته — وهذا يخبرك بما قاله الذكاء الاصطناعي، لا بما إذا كان محقًا.

تُبنى مجموعة الاختبار المرجعية قبل المنتج، أو قبل إضافة أي تعقيد رئيسي إليه. إنها ليست جدول بيانات عشوائيًا يُجمَّع في الأسبوع الذي يسبق الإطلاق. وليست معيارًا مرجعيًا (benchmark) عامًا استُعير لأنه كان متاحًا بسهولة. وليست مجموعة أمثلة منتقاة لتبدو جيدة في العرض التجريبي — حفنة من الأمثلة المختارة لأنها تُظهر المنتج بمظهر جيد. مجموعة كهذه تُثبت أن المنتج يمكن أن يعمل. أما مجموعة الاختبار المرجعية فتخبرك إن كان يعمل فعلًا.

لماذا يفشل منتج الذكاء الاصطناعي من دون مجموعة اختبار؟

من دون مجموعة اختبار مرجعية، لا أحد — لا المؤسس، ولا الفريق، ولا استوديو الذكاء الاصطناعي — يستطيع أن يجزم إن كان المنتج يتحسّن فعلًا.

جودة العرض التجريبي ليست جودة المنتج. قد ينتج النموذج إجابة ممتازة واحدة في عرض حي، ثم إجابات متوسطة في الأسئلة الحقيقية العشر التالية؛ فالعرض الجيد يُظهر أن المنتج يمكن أن يعمل، لا أنه يعمل بثبات. هذه الفجوة مهمة، لأن المؤسسين والمستثمرين غالبًا ما يتخذون قرارات المضي أو التوقف بناءً على هذا النوع بالذات من الأداء اللحظي.

يزداد الأمر سوءًا بعد إطلاق المنتج والبدء في تطويره تكراريًا. كل تغيير — أمر نصي جديد، أو إعداد مختلف للاسترجاع، أو ترقية للنموذج، أو خطوة جديدة في سير العمل — قد يُحسّن حالة ويُفسد أخرى بصمت. من دون مجموعة ثابتة من الأمثلة تُعاد تجربتها بعد كل تغيير، لا تملك الفرق وسيلة لرصد التراجع في الأداء قبل أن يرصده العميل بنفسه.

لهذا تتعامل الممارسة الجادة في تقييم الذكاء الاصطناعي مع الاختبار باعتباره بنية أساسية، لا فكرة لاحقة. إرشادات OpenAI واضحة بشأن الترتيب: أعِدّ اختبارات التقييم أولًا، واستخدمها لتوجيه القرارات قبل اللجوء إلى أدوات أثقل كالضبط الدقيق.¹ وتؤطّر NIST مخاطر الذكاء الاصطناعي التوليدي باعتبارها مخاطر تُدار باستمرار عبر دورة حياة النظام كاملة — التصميم، والتطوير، والنشر، والتشغيل المستمر — لا مخاطر تُحسم مرة واحدة عند اختيار النموذج.²

الانضباط نفسه يظهر في الإرشادات السعودية. تدعو مبادئ أخلاقيات الذكاء الاصطناعي الصادرة عن سدايا الفرق إلى تقييم بياناتها والتحقق منها، واختبار أداء النموذج، ومراعاة الإنصاف، وتوثيق المسؤولية، وإكمال المراجعة المناسبة قبل الإطلاق، ومواصلة المتابعة بعد الإطلاق.⁶ ومجموعة الاختبار المرجعية طريقة عملية لدعم هذا العمل: فهي تمنح فريقك مجموعة أدلة قابلة للتكرار حول أداء المنتج. وهي أسلوب اختبار خاص بـ Sprint966، وليست متطلبًا تفرضه سدايا.

ماذا تتضمن مجموعة الاختبار المرجعية؟

مجموعة الاختبار المرجعية المفيدة تغطي أكثر من الحالات التي يبدو فيها منتجك جيدًا. لكل مثال، دوّن المدخل، والإجابة أو الإجراء المتوقع، وسبب صحة هذه النتيجة، ومستوى المخاطر، ومعايير واضحة للنجاح أو الفشل. يجب أن تتضمن المجموعة ككل:

• حالات عادية — المدخلات اليومية التي سيراها المنتج غالبًا.
• حالات استثنائية أو صعبة — مدخلات غير معتادة لكنها واقعية: معلومات ناقصة، صياغة غريبة، أكثر من مشكلة في طلب واحد.
• حالات فشل — مدخلات يكون فيها السلوك الصحيح أن يفشل الذكاء الاصطناعي بطريقة آمنة وواضحة، لا أن يخمّن.
• حالات غامضة — مدخلات يمكن أن تُفهم بأكثر من طريقة منطقية، لترى كيف يتعامل المنتج مع عدم اليقين الحقيقي.
• حالات عالية المخاطر — مدخلات تكون فيها الإجابة الخاطئة مكلفة، أو محرجة، أو يصعب التراجع عنها.
• حالات عربية وثنائية اللغة، عند وجودها — لهجة حقيقية، ومستندات مختلطة اللغة، لا صياغة الكتب المدرسية.
• حالات يجب أن يرفضها الذكاء الاصطناعي أو يصعّدها — طلبات خارج نطاقه، أو تحتاج إلى تدخل بشري.
• حالات تكون فيها الإجابة الصحيحة «لا أعرف» — من أكثر الفئات إغفالًا، ومن أهمها. المنتج الذي لا يصل أبدًا إلى قول «لا أعرف» في الاختبار، لن يقولها في بيئة الإنتاج أيضًا.

كيف يبدو صف واحد فعليًا

إليك مثالًا واحدًا من منتج دعم في مجال التوصيل واللوجستيات، مُهيكلًا بالطريقة التي يجب أن يُبنى بها أي عنصر في مجموعة الاختبار المرجعية:

يلخّص هذا الصف الواحد العادة التي يستحق بناؤها لكل مثال: مدخل حقيقي، ونتيجة متوقعة مكتوبة، والمنطق وراءها، ومستوى مخاطر صادق، وقاعدة محددة بما يكفي ليتفق شخصان مختلفان على ما إذا كان الذكاء الاصطناعي قد نجح أم لا.

كم مثالًا تحتاج؟

لا يوجد رقم واحد صحيح — لكن هناك طريقة معقولة للتفكير في الأمر.

بالنسبة لمنتج أول، يمكن أن يكون نطاق من 50 إلى 100 مثال مُنتقى بعناية نقطة بداية عملية. لاحظ القيدين هنا: الانتقاء الجيد أهم من العدد نفسه، وهذا نطاق بداية، لا خط نهاية. مهمة محددة النطاق ومنخفضة المخاطر — كتصنيف واحد، أو استخراج ضيق — يمكن اختبارها بشكل ذي معنى بعدد أقل. أما المنتج الأوسع أو الأكثر مخاطرة فيحتاج إلى عدد أكبر: أنظمة الذكاء الاصطناعي للمستندات وRAG تحتاج إلى أمثلة كافية لتغطية التنوع الحقيقي في الاسترجاع، وسير العمل والوكلاء يحتاجان إلى ما يكفي لتغطية مسارات متعددة وأنماط فشل مختلفة، والمنتجات العربية أو ثنائية اللغة تحتاج إلى ما يكفي لتغطية اللهجة والصياغة الحقيقيتين، لا نسخة السؤال نفسه بالإنجليزية فقط.

يستحق الأمر توضيحًا دقيقًا لمصدر رقم «50 إلى 100» الفعلي، حتى لا يُفهم خطأً كقاعدة عامة متعارفًا عليها في القطاع. تناقش إرشادات OpenAI للضبط الدقيق حدًا أدنى لعدد الأمثلة، وتذكر أن مكاسب الأداء الشائعة تظهر عادة في نطاق 50 إلى 100 مثال — لكن هذه إرشادات عن تدريب نموذج، لا معيار تقييم عام لكل منتج ذكاء اصطناعي.³ تستخدم Sprint966 نطاقًا مشابهًا كنقطة بداية عملية لأول مجموعة اختبار مرجعية، ليس لأن جهة معيارية أعلنت صحته، بل لأنه غالبًا ما يكون كافيًا لالتقاط أنماط الفشل المهمة، من دون أن يتحوّل بناء المجموعة إلى مشروع قائم بذاته.

كيف تحدّد معيار Sprint966 للنجاح قبل الإطلاق؟

بمجرد أن تمتلك مجموعة اختبار مرجعية، يصبح السؤال التالي: ما الدرجة التي تُعدّ نجاحًا؟

إليك الإجابة الصريحة: لا يوجد حد أدنى عالمي لدقة الذكاء الاصطناعي. تنص NIST، المعهد الوطني الأمريكي للمعايير والتقنية، صراحة على أنها لا تفرض مستويات مخاطرة موحّدة؛ فالمخاطرة المقبولة تعتمد على السياق وحالة الاستخدام المحددة.⁴ وأي طرف يخبرك أن نسبة دقة واحدة هي «المعيار» لمنتجات الذكاء الاصطناعي، لا يصف معيارًا حقيقيًا.

غياب هذا الرقم العالمي هو بالضبط السبب الذي يجعل Sprint966 تضع معيار نجاح: شرط نجاح خاص بالمنتج، مكتوب قبل الإطلاق، ومبني على واقع منتجك، لا على معيار مرجعي مُستعار. يعتمد معيار النجاح على:

• تكلفة الإجابة الخاطئة. إجابة خاطئة على سؤال شائع تكلفتها ضئيلة. رقم خاطئ في فاتورة عميل تكلفته أكبر.
• قابلية التراجع. هل يمكن رصد الخطأ وتصحيحه، أم أنه دائم بمجرد وقوعه؟
• هل يراجع إنسان المخرج قبل أن يصبح مؤثرًا؟ مسودة يراجعها شخص قبل إرسالها يمكن أن تتحمّل معيارًا مختلفًا عن إجراء يُنفَّذ تلقائيًا.
• هل يتضمن الأمر أموالًا، أو شؤونًا قانونية، أو صحية، أو موارد بشرية، أو سجلات دائمة؟ تستحق هذه الفئات معيارًا أعلى، وغالبًا ينبغي أن تبقى خلف موافقة بشرية، وفق موقف Sprint966 تجاه المخاطر.
• تأثير الأمر على العميل. ما مدى وضوح الخطأ، وكم من الثقة يكلّف حين يقع؟

كيف تختبر كل نوع من منتجات الذكاء الاصطناعي؟

لا تُقاس مجموعة الاختبار المرجعية بالطريقة نفسها لكل نوع من منتجات الذكاء الاصطناعي. ما تقيسه يجب أن يطابق موقع المنتج على سلّم Sprint966 للبنية التقنية.

تطبيق قائم على الأوامر النصية. اختبر جودة المخرجات، والتزامها بالتنسيق المطلوب، وهل يرفض بشكل مناسب، وهل هو متسق عبر مدخلات متشابهة. أبسط درجة يمكن اختبارها — مدخل واحد، ومخرج واحد، وقاعدة نجاح أو فشل واضحة.

أسئلة وأجوبة بالذكاء الاصطناعي. اختبر صحة الإجابات مقابل مجموعتك المرجعية، وهل يمتنع عن الإجابة بشكل صحيح في الأسئلة خارج النطاق، وهل الإجابات مستندة فعليًا إلى مصادرك لا أنها تبدو معقولة فحسب.

RAG / نظام ذكاء اصطناعي يعتمد على المستندات. لا تُقيّم هذا برقم واحد. قِس جودة الاسترجاع — هل وجد النظام المقاطع الصحيحة؟ — بمعزل عن جودة الإجابة — هل كان الرد صحيحًا فعلًا ومدعومًا بالأدلة؟ تتبع إرشادات Microsoft لتقييم RAG هذا النهج، فتفصل تقييم الاسترجاع عن تقييم الإجابة، لأن الاسترجاع غالبًا ما يكون عنق الزجاجة الفعلي خلف إجابة تبدو سيئة.⁵

أتمتة سير العمل. قِس كل خطوة في العملية، لا النتيجة النهائية فقط. يمكن لسير العمل أن يُنتج النتيجة النهائية الصحيحة بينما تفشل خطوة داخلية بصمت ويُخفيها تصحيح لاحق — وأنت تريد رصد ذلك قبل أن يتراكم.

وكلاء الذكاء الاصطناعي. قِس نجاح المهمة، لكن أيضًا دقة استخدام الأدوات، وعدد الخطوات، والتكلفة، وزمن الاستجابة، وكيفية تعافي النظام حين يقع خطأ في منتصف المهمة. الوكيل الذي يصل في النهاية إلى الإجابة الصحيحة بعد عشر استدعاءات غير ضرورية للأدوات لديه مشكلة تكلفة يجب أن تكشفها مجموعة اختبارك المرجعية.

الضبط الدقيق (Fine-tuning). قارن النموذج المضبوط دقيقًا بخط الأساس الحالي لديك على مجموعة الاختبار المرجعية نفسها. إن لم تستطع إثبات أنه يتفوق على خط أساسك القائم على الأوامر النصية والاسترجاع، في أمثلة حقيقية، فإن الضبط الدقيق لم يُثبت جدارته بعد — ولهذا تتعامل الإرشادات الجادة مع التقييمات باعتبارها الخطوة التي تسبق الضبط الدقيق، لا التي تليه.^{1 3}

ما الذي يجب أن يتجنبه المؤسسون عند اختبار الذكاء الاصطناعي؟

هناك أنماط تتكرر بما يكفي لتستحق أن تُسمّى مباشرة:

• اختبار المسار السعيد فقط. إن كان كل مثال في مجموعتك مثالًا يُرجَّح أن ينجح فيه الذكاء الاصطناعي، فمجموعة اختبارك تمنحك شعورًا زائفًا بالثقة، لكنها لا تقدم تقييمًا حقيقيًا.
• الاختبار بالإنجليزية فقط بينما المنتج الفعلي عربي أو ثنائي اللغة. مجموعة اختبار لا تعكس اللغة التي يستخدمها عملاؤك فعلًا لا تختبر منتجك.
• تغيير الأمر النصي بعد كل إجابة سيئة، من دون اختبار يمنع تراجع الأداء. من دون مجموعة اختبار مرجعية ثابتة، «إصلاح» فشل واحد قد يُفسد بصمت ثلاثة إخفاقات أخرى لم تُعِد فحصها أبدًا.
• الاعتماد على عرض تجريبي واحد. تشغيلة ناجحة واحدة تُثبت أن المنتج يمكن أن يعمل — لا أنه يعمل بثبات.
• إخفاء التصحيح البشري داخل سير العمل ووصف النتيجة بأنها «دقة الذكاء الاصطناعي». إن كان شخص يُصلح مخرجات الذكاء الاصطناعي بصمت قبل أن يراها أحد، فأنت تقيس فريقك، لا منتجك.
• استخدام درجة إجمالية واحدة لنظام متعدد الأجزاء. رقم «الدقة» الواحد لمنتج RAG قد يُخفي ما إذا كان الفشل في الاسترجاع أم في التوليد — أنت بحاجة إلى قياس الاثنين.
• اختبار الإجابات النهائية فقط بدل المصادر والاسترجاع والخطوات والتكلفة وزمن الاستجابة. الإجابة الصحيحة التي تُحقَّق بتكلفة غير معقولة تبقى مشكلة تستحق الرصد قبل الإطلاق.
• التعامل مع نتيجة معيار مرجعي عام على أنها دليل أن منتجك يعمل في سياقك. درجة المعيار المرجعي تصف الأداء على مجموعة اختبار أنشأها طرف آخر، لا على أسئلة عملائك الحقيقية.

كيف تبني Sprint966 مجموعة اختبار مرجعية أثناء فحص النطاق؟

هذه ليست مُخرَجًا جانبيًا — إنها جوهر الطريقة التي نبدأ بها.

في فحص نطاق منتج الذكاء الاصطناعي (AI Product Scope Check)، تحدّد Sprint966 المهمة، والمخاطرة، والاختبار قبل بناء أي شيء. تخرج من الفحص بما يلي:

• مجموعة الاختبار المرجعية الخاصة بك — أمثلة تمثّل عملك الفعلي، ويمكن أن تكون منزوعة الهوية أو معاد بناؤها أو اصطناعية عند الحاجة، تغطي الفئات المذكورة أعلاه.
• درجتك الأولى على سلّم Sprint966 للبنية التقنية — أبسط بنية تقنية يُحتمل أن تجتاز اختبارك.
• معيار Sprint966 للنجاح قبل الإطلاق الخاص بك — شرط نجاح مكتوب وخاص بمنتجك.
• موقفك تجاه المخاطرة — بما في ذلك الإجراءات، إن وُجدت، التي يجب أن تبقى بموافقة بشرية.
• قائمة ما سنبنيه وقائمة ما سنستبعده — ما يدخل في النسخة الأولى، وما يُستبعد عمدًا حتى يُثبت جدارته.

الأسئلة الشائعة

المصادر

1. OpenAI Evals
2. NIST AI 600-1
3. OpenAI Supervised Fine-Tuning
4. NIST AI RMF 1.0
5. Microsoft RAG Evaluators
6. سدايا — مبادئ أخلاقيات الذكاء الاصطناعي
7. نظام حماية البيانات الشخصية (PDPL)
8. دليل نظام حماية البيانات الشخصية لجهات التحكم والمعالجة
9. الدليل الاسترشادي لتحديد الحد الأدنى من البيانات الشخصية