كيف تقلّل الصلة الهامشية القصوى الأدلة المتكررة في التوليد المعزّز بالاسترجاع (RAG)؟
تقلّل الصلة الهامشية القصوى الأدلة المتكررة في أنظمة RAG من خلال اختيار المقاطع بناءً على صلتها بالاستعلام وحداثتها مقارنةً بالأدلة المختارة بالفعل.
يمكن لنظام RAG منزلي خاص استرجاع عدة أجزاء من الفقرة نفسها في دليل، أو من نسخة ممسوحة ضوئيًا متداخلة، أو من ملاحظة مكررة، أو من قسم مجاور، لأن جميعها شديدة التشابه مع الاستعلام. تتعامل مطابقة التشابه الخالصة لأفضل k نتائج مع هذه النسخ شبه المتطابقة بوصفها نتائج قوية كلٌّ على حدة. تضيف MMR علاقة ثانية: يجب أن يجيب كلٌّ من النتائج التالية عن الاستعلام، لكنه يُقارَن أيضًا بالمقاطع التي حجزت مكانًا لها بالفعل ضمن مجموعة الأدلة.
تبدأ MMR بعد أن يبني المسترجِع مجموعة مرشحين
لا تبحث MMR عادةً في مجموعة المتجهات بأكملها من الصفر. إذ ينتج مسترجِع سريع، معجمي أو متجهي أو هجين، أولًا مجموعة مرشحين أكبر يكون أفرادها مناسبين بما يكفي للنظر فيهم.
توازن دالة هدف الصلة الهامشية القصوى بين الصلة بالاستعلام والتكرار مع العناصر المختارة بالفعل، ما يجعل الترتيب معتمدًا على مجموعة النتائج المتطورة بدلًا من درجات المرشحين المنفردة.
إذا لم تحتوِ المجموعة الأولية على المقطع الصحيح أصلًا، فلا تستطيع MMR اختراعه. لذلك يظل عمق المرشحين حدًا للاستدعاء: فالمجموعة الأوسع تمنح خطوة التنويع بدائل أكثر، بينما تضيف المجموعة الواسعة جدًا مواد ضعيفة يجب رفضها لاحقًا.
يوازن كل اختيار بين ملاءمة الاستعلام والتشابه مع الأدلة المختارة
عادةً ما يكون المقطع الأول المختار مدفوعًا بالصلة بدرجة كبيرة، إذ لم يُختَر أي شيء بعد. بعد ذلك، يُقيَّم كل مرشح متبقٍّ وفق ضغطين: مدى مطابقته للاستعلام، ومدى تشابهه مع الأدلة المختارة مسبقًا.
في عملية اختيار تكرارية، يغيّر كل مقطع مقبول عقوبة التكرار المفروضة على المرشحين المتبقين، لذلك يعتمد الاختيار التالي على ملاءمة الاستعلام وما هو موجود بالفعل في السياق.
يحوّل هذا مهمة الترتيب من تسجيل مستقل إلى بناء مجموعة. فقد يحصل مقطع على درجة ممتازة للاستعلام، لكنه يتراجع عندما يكرر الحقيقة نفسها التي عرضتها النتيجة الأولى.
في الأرشيف المنزلي، قد يعني ذلك اختيار فقرة توضّح سياسة النسخ الاحتياطي، وأخرى تسرد استثناء الاحتفاظ، وثالثة من إجراء الاستعادة، بدلًا من إعادة ثلاث نسخ متداخلة من فقرة السياسة.
يتحكم وزن التنوع في مدى دفع النسخ شبه المتطابقة إلى أسفل الترتيب
تحتاج MMR إلى معامل للموازنة لأن الصلة والحداثة قد تتعارضان. فالإعداد القريب من جانب التركيز على الصلة يتصرف على نحو يشبه ترتيب أفضل k التقليدي، بينما يكون الإعداد الذي يركز على التنوع أكثر استعدادًا للتنازل عن بعض التشابه المباشر مقابل أدلة مختلفة.
يحدد المقايضة القابلة للضبط بين الصلة والتنوع مدى استعداد أداة الاختيار للتخلي عن بعض التشابه المباشر مقابل أدلة تضيف معلومات مختلفة.
يعتمد الإعداد المناسب على السؤال. فالسؤال عن رقم تسلسلي محدد تمامًا يستفيد من هيمنة الصلة، بينما قد يحتاج السؤال عن سبب فشل النسخ الاحتياطي لخادم منزلي إلى أدلة مستقلة من السجلات، والإعدادات، وحالة التخزين، وسجل المهام المجدولة.
قد يؤدي الإفراط في التنوع إلى خفض ترتيب مقطع ثانٍ يعزز المقطع الأول أو يقيّده فعلًا، لذا فالمطلوب ليس أقصى اختلاف، بل قدر كافٍ من الاختلاف لاستثمار السياق المحدود في معلومات إضافية.
تعمل MMR بأفضل صورة عندما تظل المقاطع المكررة تحمل إشارات تشابه ذات معنى
يمكن لتقسيم المقاطع المتداخلة، والملفات المنسوخة، والعناوين المتكررة، والمستندات ذات الإصدارات المختلفة أن ينشئ مرشحين متطابقين تقريبًا من الناحية الدلالية. وهذه ظروف مناسبة لـ MMR لأن التكرار يظهر مباشرةً في التشابه بين المرشحين.
يمكن لـ التنويع القائم على MMR إعادة ترتيب مجموعة مرشحين موجودة من دون الحاجة إلى إزالة كل نسخة شبه متطابقة فعليًا من فهرس المتجهات مسبقًا.
ومع ذلك، قد يكرر مقطعان الحقيقة نفسها باستخدام مفردات أو تنسيقات مختلفة. فقد يبدو صف في جدول وجملة نثرية متكررين بالنسبة إلى الإنسان، بينما لا يتجاوز تشابههما المتجهي المستوى المتوسط. لذلك تكمل MMR إزالة التكرار المعتمدة على المصدر ولا تحل محلها. ويمكن لمعرّفات المستندات، وبيانات الإصدار الوصفية، وتجميع المستندات الأصلية، وتتبع التداخل أن تزيل التكرارات البنيوية قبل تطبيق التنوع الدلالي.
تمنح الأدلة الأكثر تنوعًا المولِّدَ ميزانية سياق أفضل
تمتلك نماذج الإجابة المحلية سياقًا محدودًا وقدرة انتباه محدودة. فملء خانات الاسترجاع الست بمقاطع متطابقة تقريبًا يهدر الرموز من دون زيادة عدد الحقائق المفيدة المستقلة التي يستطيع النموذج فحصها.
ولأن وحدات أدلة RAG تتحدد أثناء الإدخال، فلا تستطيع MMR التنويع إلا بين المقاطع التي أتاحها المحلل ومقسّم المقاطع للاسترجاع فعلًا.
يمكن لمجموعة أكثر تنوعًا أن تكشف استثناءً، أو مستندًا ثانيًا، أو مراجعة أحدث، أو جدولًا داعمًا أخفاه ترتيب التشابه التقليدي أسفل المقاطع المكررة.
ولا يزال المولِّد بحاجة إلى إسناد المصدر والانضباط في الاستشهاد. فالتنوع يجعل مجموعة الأدلة أقل تكرارًا، لكنه لا يثبت أن كل مقطع مختار صحيح أو حديث أو موثوق.
لا تستطيع MMR إصلاح الأدلة المفقودة أو القديمة أو المحللة بطريقة سيئة
تعمل MMR على التمثيل الذي تتلقاه. فإذا أدّى التعرف الضوئي على الحروف إلى تسطيح جدول، أو فصل تقسيم المقاطع قيدًا مهمًا، أو استبعد مرشح بيانات وصفية الملف الحالي، أو أخفق نموذج التضمين في تمثيل الاستعلام، فلن تمتلك خطوة التنويع أدلة موثوقة لترقيتها.
يغيّر استخدام بحث الصلة الهامشية القصوى المرشحين المتاحين الذين يدخلون المجموعة النهائية، لكنه لا يصلح إخفاقات الاستخراج ولا ينشئ أدلة مفقودة.
قيّمها باستخدام مقاييس استرجاع تشمل معدل التكرار وتغطية الأدلة، لا الصلة بالنتيجة الأولى فقط. وينبغي أن تتضمن مجموعة الاختبار المفيدة مقاطع متداخلة، وإصدارات مكررة، وأسئلة تتطلب إجابتها أكثر من مقطع مستقل واحد.
تنجح MMR عندما يحافظ السياق النهائي على أقوى الأدلة ذات الصلة، ويستبدل الخانات المكررة بمقاطع تضيف دعمًا جديدًا حقيقيًا.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
هل يمكن للكاميرات المنزلية مزامنة الأحداث دون خدمات الوقت السحابية؟
شرح يعتمد أولًا على الآلية لوقت الكاميرا دون سحابة، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن لخدمة ذكاء اصطناعي محلية اكتشاف طبقات النموذج التالفة قبل الاستدلال؟
شرح يركز أولًا على الآلية لاكتشاف تلف طبقة النموذج، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن استعادة نظام RAG دون إعادة توليد كل التضمينات؟
شرح قائم على الآلية لاستعادة RAG دون إعادة التضمين، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
