كيف يقيّم المُرمِّز المتقاطع أزواج الاستعلام–المقطع في البحث المنزلي بالذكاء الاصطناعي؟
يقيّم المُرمِّز المتقاطع نتائج البحث بالذكاء الاصطناعي المنزلي عبر قراءة كل استعلام ومقطع مرشّح معًا، بحيث تحدد تفاعلات الرموز مدى الصلة بينهما.
وهذا أضيق نطاقًا من إعادة الترتيب العامة. إذ لا يزال الخادم المنزلي بحاجة إلى أداة استرجاع سريعة في المرحلة الأولى للبحث في آلاف الملاحظات وملفات PDF ومقاطع OCR والأدلة وسجلات البيانات الوصفية. ولا يدخل المُرمِّز المتقاطع إلا بعد أن تنتج تلك المرحلة قائمة مختصرة يمكن التعامل معها. وتتمثل آليته المميزة في الترميز المشترك: إذ تشترك كلمات الاستعلام وكلمات المقطع في إدخال واحد للنموذج، ما يتيح لنموذج التقييم الحكم على العلاقات التي قد تطمسها المتجهات المرمَّزة بصورة منفصلة.
الاسترجاع السريع والترميز المتقاطع يحلان جزأين مختلفين من مسار البحث
تُعدّ نماذج الترميز الثنائية الكثيفة تمثيلات المستندات مسبقًا، لذا يمكن ترميز استعلام جديد مرة واحدة ومقارنته بكفاءة مع فهرس كبير. وهذا يجعلها مناسبة لاكتشاف المرشحين في المرحلة الأولى.
تجعل تمثيلات الجمل المنفصلة البحث الكبير عن التشابه في المرحلة الأولى عمليًا، لأن تمثيلات المستندات يمكن حسابها قبل وصول الاستعلام وإعادة استخدامها عبر العديد من الطلبات.
يتخلى المُرمِّز المتقاطع عن تمثيل المستند القابل لإعادة الاستخدام. فلكل مرشّح، يجب معالجة الاستعلام والمقطع معًا من جديد، وهو ما يكون مكلفًا للغاية عند فحص مجموعة خاصة كاملة مع كل سؤال.
لذلك تشكّل المرحلتان مسارًا قمعيًا: يحافظ الاسترجاع منخفض التكلفة على الاستدعاء عبر المجموعة، ثم تُنفق الحوسبة الأعلى تكلفة على تقييم الأزواج فقط في المواضع التي يمكن أن يغيّر فيها قرار أفضل بشأن الصلة الترتيب النهائي.
تدخل رموز الاستعلام والمقطع في تسلسل مشترك واحد
يتلقى المُرمِّز المتقاطع الاستعلام ومقطعًا مرشّحًا واحدًا كإدخال واحد مزدوج، يفصل بينهما عادةً رموز خاصة يحددها النموذج. ويمكن للانتباه حينها الربط بين المصطلحات في نصفي الزوج.
يضع زوج CrossEncoder الاستعلام ومقطعًا مرشّحًا واحدًا في إدخال مشترك للنموذج، ما يتيح تفاعلات الرموز بين النصين قبل إنتاج درجة الصلة.
يمكن لهذا المسار المشترك ملاحظة أن عبارة «تاريخ التجديد» في الاستعلام يجيب عنها «تنتهي صلاحية الوثيقة في» داخل المقطع، أو أن رقم طراز مطابقًا يظهر في جملة تناقض عبارتها المحيطة الشرط المطلوب.
وبما أن النموذج يرى الزوج كاملًا، فإن طول المقطع مهم. فالمقاطع الطويلة تستهلك رموزًا أكثر، وتزيد الحوسبة، وقد تضعف التفاعل المحلي حول الجملة التي تجيب عن السؤال فعليًا.
الناتج هو درجة صلة جديدة، وليس متجه مستند جديدًا
بعد معالجة زوج واحد من الاستعلام والمقطع، يُصدر المُرمِّز المتقاطع درجة تمثل مدى تلبية ذلك المقطع للاستعلام وفق دالة الصلة التي تعلمها النموذج.
تُحسب درجات صلة CrossEncoder لأزواج الاستعلام والمقطع المقدمة، ثم يمكنها استبدال ترتيب المرحلة الأولى لهؤلاء المرشحين.
وتعتمد هذه الدرجات على الاستعلام. ولا تُخزّن عادةً كتمثيلات قابلة لإعادة الاستخدام، لأن تغيير الاستعلام يغيّر الزوج، وبالتالي يغيّر عملية الحساب.
ولهذا يستطيع المُرمِّز المتقاطع إعادة ترتيب مرشحين اثنين بحدة عندما يكون تشابههما بالمتجهات الكثيفة متقاربًا جدًا: فهو يحل مشكلة تقييم مختلفة في المرحلة الثانية.
يحدد عمق قائمة المرشحين الحد الأقصى للاستدعاء قبل بدء التقييم المشترك
يمكن للمُرمِّز المتقاطع رفع مقطع جيد من المرتبة 30 إلى المرتبة 1، ولكن فقط إذا كان المرشح في المرتبة 30 ضمن القائمة المختصرة التي تلقاها. أما الأدلة الواقعة خارج هذه النافذة فتبقى غير مرئية للمرحلة الثانية.
وبصفته نموذج ترتيب في المرحلة الثانية، يعمل المُرمِّز المتقاطع على مرشحين عثر عليهم مسترجع آخر مسبقًا، بدلًا من البحث مباشرةً في المجموعة الخاصة بأكملها.
ترفع قائمة المرشحين الأعمق احتمال بقاء المقطع الخاص الصحيح بعد المرحلة الأولى، لكنها تضاعف أيضًا عمل الاستدلال زوجيًا. لذلك يتعين على خادم منزلي بموارد محدودة من وحدة المعالجة المركزية أو وحدة معالجة الرسومات اختيار ميزانية للمرشحين تحمي الاستدعاء دون جعل البحث التفاعلي بطيئًا.
يساعد التقييم المشترك في التمييز بين الفروق الدقيقة التي قد يفوّتها التشابه وحده
غالبًا ما تتضمن عمليات البحث في المستندات الخاصة قيودًا دقيقة: سنة، أو لاحقة طراز، أو فردًا من العائلة، أو مجلدًا، أو إصدارًا، أو نفيًا، أو استثناءً، أو إجراءً مطلوبًا. وقد تكون مقاطع عدة متشابهة موضوعيًا، بينما يفي أحدها فقط بهذه التفاصيل.
يوفّر البحث الدلالي على NAS مزوّد بالذكاء الاصطناعي مرشحين قائمين على المعنى عبر ملفات خاصة مختلفة الصياغة؛ ويضيف الترميز المتقاطع حكمًا أضيق حول أي من هؤلاء المرشحين يفي بالاستعلام الدقيق على أفضل وجه.
على سبيل المثال، قد تتطابق وثيقة تأمين قديمة وأخرى سارية بدرجة كبيرة مع عبارة «مبلغ التحمل لأضرار المياه». ويمكن للتقييم المشترك استخدام التواريخ والصياغة المحيطة، مع أن البيانات الوصفية للإصدار يجب أن تحدد مع ذلك النسخة المؤهلة للحصول على إجابة عن الحالة الحالية.
يحافظ هذا التمييز على حدود المقالة واضحة: فالترميز المتقاطع يشرح كيفية تقييم زوج، بينما تظل عملية البحث الأوسع مسؤولة عن إنشاء المرشحين، وحداثة البيانات، والأذونات، ومصدر الاستشهادات.
يستبدل الترميز المتقاطع المحلي الخصوصية بحوسبة إضافية، لا باستدعاء مثالي
يؤدي تشغيل المُقيِّم محليًا إلى إبقاء الاستعلام الخاص ونص المرشح داخل مسار البحث المنزلي، لكن كل مرشّح إضافي ينشئ زوج استدلال آخر.
إن حدّ تقييم الاستعلام والمستند واضح: يتلقى النموذج استعلامًا مع مستندات مقدمة ويعيد درجات الصلة، ولذلك تظل الأدلة الغائبة عن تلك المجموعة غير قابلة للاسترجاع.
قِس استدعاء المرشحين قبل المُرمِّز المتقاطع، وجودة الترتيب بعده، والزمن الإجمالي للطلب الكامل. فإذا كان المقطع الصحيح غائبًا قبل إعادة الترتيب، فحسّن الاستخراج أو الاسترجاع أو عوامل التصفية أو عمق قائمة المرشحين، بدلًا من إلقاء اللوم على مُقيِّم الأزواج.
يكون المُرمِّز المتقاطع أكثر فائدة عندما يعثر مسترجع سريع بالفعل على المنطقة الصحيحة، وتتمثل المشكلة المتبقية في تحديد أي مرشّح قريب يجيب عن سؤال الأسرة فعلًا.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
هل يمكن للكاميرات المنزلية مزامنة الأحداث دون خدمات الوقت السحابية؟
شرح يعتمد أولًا على الآلية لوقت الكاميرا دون سحابة، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن لخدمة ذكاء اصطناعي محلية اكتشاف طبقات النموذج التالفة قبل الاستدلال؟
شرح يركز أولًا على الآلية لاكتشاف تلف طبقة النموذج، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن استعادة نظام RAG دون إعادة توليد كل التضمينات؟
شرح قائم على الآلية لاستعادة RAG دون إعادة التضمين، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
