ما العوامل التي تحدد دقة الاستشهادات في نظام RAG لقاعدة معرفية منزلية؟
تعتمد دقة الاستشهادات في RAG على استرجاع المقطع المصدر الصحيح وربطه بالادعاء الدقيق الذي يدعمه، وليس مجرد إدراج المستندات ذات الصلة.
يمكن لقاعدة معرفة منزلية أن تجيب بالاستناد إلى وثيقة تأمين أو دليل جهاز أو فاتورة ممسوحة ضوئيًا، ومع ذلك تستشهد بالصفحة الخطأ. قد يكون المستند الصحيح موجودًا، بينما جرى تقسيم الجملة الداعمة، أو تصنيفها أسفل مقطع آخر، أو ربطها بالادعاء المُنشأ الخطأ. لذلك تعكس جودة الاستشهادات عمليات الإدخال والاسترجاع والتوليد والمحاذاة والتحكم في الإصدارات مجتمعة.
تحدد جودة المصدر والمقاطع الحد الأقصى لجودة الأدلة
تؤدي أخطاء التعرف الضوئي على الحروف والجداول المفقودة والنسخ القديمة والعناوين الضائعة إلى إفساد الأدلة قبل بدء الاسترجاع. ويجب أن تحافظ حدود المقاطع على العبارة والقيد والسياق التعريفي اللازم لدعم الادعاء؛ فقد يتطابق مقطع لا يحتوي إلا على رقم، من دون أن يثبت ما الذي يقيسه.
تُظهر الأبحاث التي تقارن استراتيجيات التقسيم المتقدمة أن خيارات تقسيم المستندات تغير أداء الاسترجاع، لأن المقاطع الثابتة قد تفصل المفاهيم أو تخلط مواد غير مترابطة. ولا يمكن أن تتجاوز دقة الاستشهاد جودة المقطع المتاح للاستشهاد.
ينبغي أن تحتفظ البيانات الوصفية بإصدار المستند والصفحة والقسم والإحداثيات، حتى يحيل الاستشهاد إلى دليل يمكن فحصه. ويجب أن تمنع إزالة التكرار النسخ القديمة والحالية من التنافس من دون محو الإصدار التاريخي الذي استُخدم في إجابة سابقة.
يجب أن يحافظ الاسترجاع والتوليد على المحاذاة على مستوى الادعاء
قد يعيد نظام الاسترجاع صفحة ذات صلة موضوعية، لكنها لا تثبت الجملة النهائية. وينبغي لإعادة الترتيب أن تعطي الأولوية للدعم المباشر، بينما يجب أن يحافظ التوليد على حدود الادعاءات ومعرّفات المصادر ظاهرة، بحيث يُربط كل مقطع واقعي بالأدلة الموجودة فعلًا في السياق.
تميز الأبحاث حول الوفاء للمصدر في الاستشهادات بين صحة الاستشهاد ووفائه للمصدر، وتفيد بأن الاستشهادات التي تبدو داعمة قد تُرفق بعد أن يكون النموذج قد اعتمد على معلومات أخرى. ولهذا قد تبالغ المطابقة السطحية وحدها في تقدير مستوى الثقة.
تغطية الاستشهادات وصحتها أمران منفصلان. فقد يستشهد جواب بادعاءين بدقة، بينما يترك ثلاثة ادعاءات من دون دعم، أو يستشهد بكل جملة بمستند واسع واحد لا يدعم أيًا منها بدقة. ويحتاج البعدان إلى قياس مستقل. ويظل هذا التمييز ظاهرًا أثناء الاختبار المنزلي اللاحق.
يمكن للمعالجة اللاحقة إصلاح الروابط، لكنها لا تصلح غياب الأدلة
يمكن لأداة تحقق أن تقارن كل ادعاء مُنشأ بالمقاطع المرشحة، أو تنقل الاستشهاد إلى مصدر أفضل، أو تزيل ادعاء غير مدعوم. وهذا يكشف أخطاء المحاذاة بعد التوليد، لكنه لا يستطيع استعادة أدلة لم توفرها عملية الإدخال أو الاسترجاع أصلًا.
يفحص نظام تصحيح الاستشهادات الاستشهادات المُنشأة بمقارنتها بالمقالات المسترجعة، ويفيد بتحسين دقة الاستشهادات بتكلفة إضافية محدودة. وتوضح نتائجه قيمة وجود مرحلة محاذاة مخصصة بعد صياغة الإجابة. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل متابعة الأتمتة.
تتمثل حدود الفشل في ادعاء واثق لا يوجد له مصدر مُثبت ضمن المجموعة المسترجعة. وينبغي لأداة التحقق الامتناع عن الإجابة أو إعادة الاسترجاع أو حذف الادعاء، بدلًا من إسناده إلى الاستشهاد الأقرب شكلًا وجعل الإجابة تبدو مستندة إلى دليل.
قيّم دعم الاستشهادات وتغطيتها بشكل منفصل
أنشئ خمسين سؤالًا تتضمن مقاطع إجابة موثقة عبر ملفات PDF سليمة، ومسوح ضوئية معالجة بالتعرف الضوئي على الحروف، وجداول، ونسخ مكررة، وحالات لا تتوفر فيها إجابة. وقسّم كل إجابة مُنشأة إلى ادعاءات ذرية، ثم قيّم ما إذا كان كل استشهاد يثبت ادعاءه، وما إذا كان لكل ادعاء واقعي استشهاد.
استخدم إطار الاستدعاء والدقة والتغطية الوارد في إطار تقييم RAG، وأضف إليه استلزام الاستشهاد، وصحة الإصدار، وإمكانية الوصول إلى الصفحة أو المنطقة المحددة. وقارن النتائج حسب نوع المستند بدلًا من الإبلاغ عن درجة إجمالية واحدة فقط. وينبغي قياس هذا الحد بشكل منفصل في ظروف تشغيل واقعية.
لا تجتز الاختبار إلا عندما تحيل الاستشهادات إلى مقاطع حالية قابلة للفحص، وعندما تؤدي الادعاءات غير المدعومة إلى الامتناع عن الإجابة أو محاولة استرجاع أخرى. وعندما يكون المصدر ذا صلة لكنه لا يثبت الجملة، فاحتسبه استشهادًا غير دقيق، لا نجاحًا جزئيًا.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما الميزات التي تتيح إخراج JSON موثوقًا من نموذج لغوي كبير محلي؟
تعرّف على الميزات التي تفرض بنية JSON، وتلك التي تحمي الصحة الدلالية، وكيفية اختبار نموذج محلي عبر المخططات والمطالبات وحالات الفشل.
نسب البيانات للذكاء الاصطناعي المحلي: لماذا تحتاج كل إجابة إلى مسار مصدر قابل للتتبع
تعرّف على كيفية جعل مسارات المصادر لإجابات الذكاء الاصطناعي المحلية قابلة للتدقيق، ولماذا لا تكفي الإحالات وحدها، وكيفية اختبار تسلسل البيانات من خلال التحديثات...
فهرسة تجزئات المحتوى: كيف تمنع بصمات الملفات تكرار عمل الذكاء الاصطناعي
تعرّف على كيفية توجيه بصمات الملفات وأجزاء الملفات للفهرسة التزايدية، ولماذا لا تكفي البيانات الوصفية، والمواضع التي لا تستطيع فيها التجزئات إثبات التكافؤ الدلالي.
