لماذا تبدو إجابات RAG أكثر ثقة عند إخفاء الاستشهادات؟

غالبًا ما تبدو إجابات RAG أكثر ثقة عند غياب الاستشهادات، لأن النثر المتصل يخفي فجوات الأدلة، واختلاف المصادر، والعمل المطلوب للتحقق من الادعاءات.

قد ينتج مساعد معرفة خاص الجملة نفسها من المقاطع المسترجعة نفسها في واجهتين مختلفتين. تعرض إحدى النسختين مؤشرات للمصادر بعد كل ادعاء، بينما تُقرأ الأخرى كمذكرة مصقولة. وقد يفسر المستخدمون النسخة الأنظف على أنها أكثر يقينًا، رغم أن التوليد ودرجة الاسترجاع والدعم الواقعي لم تتغير، لأن سلاسة العرض تُفهم خطأً على أنها دليل أقوى.

النثر النظيف يزيل الإشارات المرئية إلى عدم اليقين

تقطع الاستشهادات المضمنة انسيابية القراءة، وتكشف أن الادعاءات جاءت من وثائق محددة لا من نظام يعرف كل شيء. وتشير المؤشرات المتعددة إلى وجود تركيب للمعلومات؛ بينما تسلط المؤشرات الغائبة الضوء على الانتقالات غير المدعومة؛ كما يصبح من الأسهل مقارنة العبارات التحفظية بصياغة المصدر. وعندما تختفي المؤشرات، تتحول الإجابة إلى صوت واحد متصل، ويصبح من الأصعب رؤية الفرق بين الحقيقة المسترجعة واستدلال النموذج والعبارات الأسلوبية الرابطة.

تربط أبحاث علم النفس سهولة المعالجة بأحكام أقوى على الحقيقة في بعض الظروف. وتصف دراسات تأثير الحقيقة الوهمية سلاسة المعالجة باعتبارها إحدى الآليات التي قد تجعل العبارات المألوفة تبدو أكثر صدقًا. ويمكن للنثر الخالي من الاستشهادات أن يخلق إشارة سلاسة مشابهة: فهو أسرع استيعابًا، ولذلك قد ينسب المستخدمون سهولة الفهم خطأً إلى الموثوقية.

هذا لا يعني أن الاستشهادات تقلل الثقة دائمًا. فقد يزيد المصدر الملائم والمعروف من الثقة، بينما قد يثير جدار كثيف من المؤشرات الشك أو يسبب الحمل الزائد. وتعمل الآلية بحسب الظروف: إذ إن إخفاء الاستشهادات يزيل الاحتكاك، وقد يحول المستخدمون الذين لا يشككون في الإجابة من تلقاء أنفسهم تلك السلاسة إلى يقين متصور. لكن الأدلة نفسها لم تصبح أقوى.

مؤشرات المصادر تحول الإجابة الواحدة إلى عدة ادعاءات قابلة للتحقق

ينشئ الاستشهاد دعوة لفحص حد فاصل. هل يدعم المصدر الجملة بأكملها أم رقمًا واحدًا فقط؟ هل هو حديث؟ هل يشير إلى الإصدار نفسه من المنتج أو الولاية القضائية أو عبء العمل نفسه؟ وبمجرد أن يتمكن المستخدمون من طرح هذه الأسئلة، تصبح الثقة مرتبطة بكل ادعاء على حدة بدلًا من كونها شعورًا واحدًا ينطبق على الاستجابة بأكملها.

بحث أجرته ACM حول الثقة والشفافية في RAG درس كيفية تأثير عرض الثقة ونسب المصادر وإبراز النصوص في تجربة المستخدم. ولا تتمثل مشكلة التصميم ببساطة في خيار «تشغيل الاستشهادات أو إيقافها». فنسب المعلومات إلى مصادرها يغير ما يمكن للمستخدمين التحقق منه، بينما يغير إبراز النصوص مدى سهولة ربطهم بين الادعاء المُولَّد والمقطع الداعم.

عندما تُخفى الاستشهادات، تبقى التناقضات بين المصادر خلف الواجهة. وقد يختصر النموذج عبارة مثل «يذكر أحد المصادر X، بينما يقصره مصدر آخر على Y» في جملة حاسمة. أما إظهار المصادر فيجعل هذا الاختصار قابلًا للاعتراض. ولهذا قد تبدو الإجابة أقل ثقة تحديدًا عندما تمنح الواجهة المستخدمين مزيدًا من المعلومات اللازمة لمعايرة الثقة بصورة صحيحة.

اللغة السلسة وثقة النموذج ليستا الشيء نفسه

تُولّد نماذج اللغة النص رمزًا تلو الآخر، وقد يبدو الأسلوب المباشر في الكتابة واثقًا حتى عندما يكون الاسترجاع ضعيفًا. يضيف RAG مقاطع إلى السياق، لكنه لا يضمن أن النموذج سيستخدمها بأمانة، أو أنها متسقة فيما بينها، أو أن كل ادعاء مُولَّد مستنتج منها. وغالبًا ما يكون عرض الاستشهادات طبقة منفصلة للمعالجة اللاحقة، وقد لا يؤثر إطلاقًا في احتمالات التوليد.

تتعامل الأبحاث حول موثوقية RAG مع الاعتمادية بوصفها متعددة الأبعاد، وتشمل المتانة والدقة الواقعية والخصوصية وقابلية التفسير. لذلك لا يمثل تقييم المستخدم للثقة قياسًا مباشرًا لجودة الاسترجاع. فقد تحصل إجابة بلا استشهادات على درجة أعلى في الوضوح المتصور، بينما تحصل على درجة أقل في قابلية التحقق.

ويصبح تفسير الاستشهادات المخفية غير كافٍ عندما يؤدي إخفاء المؤشرات أيضًا إلى تغيير المطالبة أو السياق المسترجع أو أداة إعادة الترتيب أو طول الإجابة. عندها لا تعرض الواجهتان مسار الأدلة نفسه. كما يفشل هذا التفسير مع المستخدمين الذين لا يثقون افتراضيًا في الذكاء الاصطناعي غير المدعوم؛ فقد يقيمون الإجابة النظيفة على أنها أقل مصداقية. وتعتمد الثقة المتصورة على توقعات المستخدمين بقدر اعتمادها على التصميم البصري.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

اختبر المعايرة، لا التفضيل وحده

أنشئ إجابات مزدوجة من المطالبات والمقاطع المسترجعة وإعدادات النموذج والنص المُولَّد نفسها. اعرض نسخة مع استشهادات دقيقة على مستوى الادعاء، ونسخة أخرى مع استشهادات مطوية خلف عنصر تحكم بالمصدر. اطلب من المستخدمين تقييم الثقة، ثم ألزمهم بتحديد الادعاءات غير المدعومة أو المتناقضة باستخدام الوثائق الأساسية. فالتفضيل واكتشاف الأخطاء نتيجتان منفصلتان.

يتحكم نظام المعرفة المحلي بالفعل في طبقتي الاسترجاع والعرض. ويوضح سير عمل قاعدة المعرفة المحلية في ZimaSpace سبب ضرورة بقاء الاسترجاع ومعالجة الأدلة وتوليد الإجابات مكونات منفصلة. ويتيح هذا الفصل للواجهة إظهار الاستشهادات تدريجيًا من دون تغيير استجابة النموذج قيد التقييم.

فضّل التصميم الذي ينتج ثقة مُعايرة: ينبغي أن ترتفع الثقة في الادعاءات المدعومة جيدًا وأن تنخفض في الادعاءات الضعيفة. فإذا أدى إخفاء الاستشهادات إلى رفع التقييمات لكنه قلل اكتشاف الأخطاء، فالواجهة الأنظف مفرطة في الثقة بحكم تصميمها. ويتمثل الحل العملي الوسط في إبقاء مؤشرات قصيرة بجوار الادعاءات، وفتح المقطع الداعم الدقيق عند الطلب، ووضع علامات واضحة على استدلالات النموذج التي لا يدعمها أي مصدر مسترجع مباشرة.

الأسئلة الشائعة

هل تجعل الاستشهادات إجابة RAG صحيحة؟

لا. فقد يكون الاستشهاد غير ذي صلة أو قديمًا أو مرتبطًا بادعاء لا يدعمه. وهو يحسن إمكانية التتبع فقط عندما يتطابق المقطع الدقيق مع الادعاء المحيط به.

هل ينبغي أن تحتوي كل جملة على استشهاد؟

لا. استشهد بالادعاءات الواقعية التي تعتمد على الأدلة المسترجعة. فالإفراط في استشهاد الانتقالات والاستدلال الواضح يضيف ضوضاء، بينما يجعل نقص الاستشهادات استدلال النموذج غير قابل للتمييز عن الحقيقة المستندة إلى مصدر.

هل يمكن لدرجات الثقة أن تحل محل الاستشهادات؟

لا. تلخص الدرجة عدم اليقين وفقًا لمنهج محدد، بينما يكشف الاستشهاد عن الأدلة لفحصها. وهما يجيبان عن سؤالين مختلفين، وقد يكونان مفيدين معًا عندما تتم معايرة كليهما جيدًا.