ما المقصود بدرجة الثقة في إسناد الاسترجاع، ومتى تكون مهمة في أنظمة RAG المحلية؟
الثقة في الارتكاز على الاسترجاع هي تقدير تشغيلي يحدد ما إذا كانت الأدلة المسترجعة تدعم بما يكفي الإجابة التي يستعد نظام RAG محلي لتقديمها.
بالنسبة إلى قاعدة معرفة خاصة، يهم هذا التقدير عندما تكون النتائج الأولى ذات صلة لكنها غير مكتملة أو قديمة أو متناقضة، أو عندما تفتقد إلى الحقيقة المنزلية المحددة التي يُسأل عنها. ولا يوجد رقم واحد موحّد ومعتمد في المجال لهذه الثقة. ويجمع التطبيق المفيد بين صلة الأدلة، والتغطية، ودعم الادعاءات، والحداثة، والتعارض، وسياسة واضحة لاسترجاع مزيد من الأدلة أو الامتناع عن الإجابة.
الثقة في الارتكاز تقيس دعم الأدلة، لا تشابه البحث
تصف درجة المتجه مدى قرب عنصر مسترجع وفق تمثيل واحد وطريقة بحث واحدة، لكن القرب لا يثبت أن المقطع يحتوي على كل الحقائق المطلوبة للإجابة عن السؤال. فقد تكون قطعة مرتبة في أعلى النتائج شديدة الصلة بالموضوع، لكنها تغفل رقم الإصدار أو التاريخ أو الاستثناء أو حالة الجهاز الحاسمة.
يفصل تقييم RAG بين جودة الاسترجاع وبين ما إذا كانت الإجابة المُنشأة مدعومة فعليًا بالسياق. فالارتكاز، والاكتمال، والاستخدام، والصلة، والصحة أبعاد متميزة، لذلك لا يمكن استنتاج دعم الإجابة المرتكزة من درجة تشابه واحدة.
على الخادم المنزلي، يمنع هذا التمييز الإجابة عن استفسار حول إعداد حالي للموجّه بالاعتماد على دليل قديم شديد التشابه. فقد يكون نظام الاسترجاع قد أدى مهمته جيدًا، بينما تظل مجموعة الأدلة غير كافية لمتطلبات الإجابة.
تُبنى الثقة عادةً من عدة إشارات للأدلة
يمكن لطبقة ثقة عملية فحص ما إذا كانت المقاطع المسترجعة تغطي الكيانات المطلوبة، وما إذا كانت الادعاءات المهمة تحظى بدعم مباشر، وما إذا كانت عدة مصادر متفقة، وما إذا كان الإصدار الحالي يتقدم على المواد المستبدلة. ويمكن دمج هذه الإشارات في سياسة، حتى عندما لا يوفّر أي إطار عمل حقلًا اسمه الحرفي «الثقة في الارتكاز».
يقدّر الإخلاص مقدار ما يمكن استنتاجه من المحتوى المُنشأ من السياق المسترجع، بينما تسأل صلة السياق عما إذا كانت المادة المسترجعة مفيدة للاستعلام. ويؤدي تقييم الادعاءات المدعومة بالسياق بصورة منفصلة عن صلة الاسترجاع إلى إنشاء الفصل المفاهيمي الصحيح لسياسة الثقة.
وتهم التغطية أيضًا، لأن دعم ادعاء واحد لا يجعل إجابة متعددة الأجزاء مرتكزة. فقد يتطلب طلب حول نجاح النسخ الاحتياطي، وصحة الوجهة، وآخر عملية استعادة تم التحقق منها ثلاث قطع مستقلة من الأدلة، حتى لو كان الدليلان الأولان قويين.
ينبغي أن يظل حساب الثقة قابلًا للفحص. فإذا خفّض المساعد المحلي مستوى الثقة لأن مصدرًا مطلوبًا مفقود أو لأن إصدارين متعارضان، فسيكون هذا السبب أكثر فائدة من نسبة مئوية مبهمة واحدة.
ينبغي أن تخفض الأدلة المفقودة مستوى الثقة حتى عندما تبدو الإجابة معقولة
يمكن لنماذج اللغة إكمال الأنماط المألوفة اعتمادًا على المعرفة المضمّنة في معلماتها، لذلك قد تبدو الإجابة السلسة وكأنها تسد فجوة لم توفرها مجموعة البيانات الخاصة أصلًا. ويزداد هذا الخطر عندما يشبه السؤال المنزلي إعدادًا عامًا شائعًا، لكنه يعتمد على استثناء محلي واحد.
عندما لا تحتوي المقاطع المقدمة على أدلة كافية، قد تواصل نماذج RAG اختلاق المعلومات بدل الامتناع عن الإجابة، ما يجعل عدم كفاية الأدلة المسترجعة إخفاقًا أساسيًا في الثقة، لا مجرد درجة ترتيب منخفضة.
لذلك ينبغي للسياسة الجيدة أن تسأل عما إذا كانت الإجابة قابلة للاشتقاق من مجموعة الأدلة المسترجعة، لا عما إذا كان النموذج قادرًا على إنتاج تكملة مقنعة. وعندما تكون فجوة الأدلة مؤثرة، ينبغي أن يكون الإجراء التالي جولة استرجاع أخرى، أو استعلامًا أضيق، أو امتناعًا ظاهرًا عن الإجابة.
الثقة الذاتية للنموذج إشارة مختلفة
عندما يقول النموذج إنه واثق بدرجة كبيرة، فهذا يعكس سلوك التوليد الداخلي لديه، وليس تدقيقًا في ما إذا كانت الملفات الخاصة تدعم الإجابة. وقد يزيد السياق المسترجع الثقة حتى عندما يكون غير ذي صلة أو متناقضًا، إذا لم يتحقق النظام صراحةً من توافق الأدلة.
يمكن للاسترجاع المشوش أو المتعارض أن يزيد الثقة المفرطة سوءًا، لذلك لا ينبغي استخدام الثقة في ظل السياق المشوش بديلًا عن فحوص الارتكاز.
في الأتمتة المحلية، ينبغي للتطبيق التعامل مع الثقة اللفظية باعتبارها بيانات وصفية اختيارية. ويجب أن تعتمد قرارات التفويض والموافقة والآثار الجانبية على أدلة وسياسات يمكن فحصها بصورة مستقلة عن نبرة النموذج.
تهم الثقة في الارتكاز أكثر ما تهم قرب حد اتخاذ القرار
تكون هذه الإشارة أكثر فائدة عندما يتعين على النظام أن يقرر ما إذا كان سيجيب الآن، أو سيجري استرجاعًا جديدًا، أو سيطرح سؤالًا توضيحيًا، أو سيرفض التنفيذ. ويمكن لبحث عابر عن الوسائط أن يتحمل دعمًا أقل من طلب يغيّر النسخ الاحتياطية أو الأذونات أو حالة المنزل الذكي.
تجمع عملية استرجاع قاعدة المعرفة المحلية الأوسع الأدلة؛ أما الثقة في الارتكاز فهي البوابة التي تحكم ما إذا كانت تلك الأدلة كافية لهذه الإجابة.
استخدم العتبة كمتغير في السياسة، لا كثابت عالمي. ويعتمد الحد المناسب على مخاطر المهمة، وتوفر الأدلة، ومتطلبات الحداثة، وما إذا كان من الممكن تصحيح الإجابة الخاطئة بأمان قبل أن تتسبب في أثر جانبي.
الأسئلة الشائعة
هل الثقة في الارتكاز هي نفسها تشابه المتجهات؟
لا. يقيس التشابه درجة القرب وفق تمثيل للاسترجاع، بينما تسأل الثقة في الارتكاز عما إذا كانت الأدلة المسترجعة تدعم بما يكفي الادعاءات التي ستتضمنها الإجابة.
هل توجد صيغة معيارية واحدة للثقة في الارتكاز؟
لا. من الأفضل التعامل مع المصطلح باعتباره طبقة سياسة تشغيلية يمكنها الجمع بين الصلة، والتغطية، والارتكاز، والحداثة، والتعارض، ومخاطر المهمة.
هل ينبغي لإجابة RAG محلية منخفضة الثقة أن ترفض الإجابة؟
ليس دائمًا. يمكنها استرجاع مزيد من الأدلة، أو تضييق الاستعلام، أو إظهار عدم اليقين، أو طلب التوضيح؛ وينبغي أن تتطلب الإجراءات عالية المخاطر حدًا أكثر صرامة من البحث العابر.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما هي حالة Plex، وما الأجزاء التي يجب استمرارها؟
حالة Plex الدائمة هي المعلومات التي تحافظ على تجربة الخادم بعد إعادة التشغيل وإعادة البناء؛ أما الوسائط وبيانات التحويل المؤقتة فلها أدوار منفصلة.
كيف يتعامل Plex مع المصادقة في الجلسات المحلية والبعيدة؟
تبدأ المصادقة في Plex بهوية الخادم والحساب، ثم تحدد مسارات الشبكة المحلية أو البعيدة إمكانية الوصول وسلوك الاتصال الآمن.
لماذا قد يتباطأ البحث في Plex مع نمو بيانات المكتبة؟
نمو المكتبة وحده ليس التشخيص. اختبر بنية الاستعلام، والفهارس، وحالة ذاكرة التخزين المؤقت، وزمن استجابة وحدة التخزين، ونشاط الكتابة قبل إلقاء اللوم على حجم...
