ما الذي يتسبب في إرجاع قاعدة بيانات المتجهات لجيران مختلفين بعد عملية الضغط؟

يمكن لقاعدة بيانات المتجهات إرجاع جيران مختلفين بعد الدمج، لأن التضمينات نفسها قد يُعاد تنظيمها في بنية جديدة للبحث التقريبي.

بالنسبة إلى خادم RAG محلي، قد يبدو التغيير مريبًا: لم تُعَدْ عملية تضمين أي مستندات عمدًا، ومع ذلك يعيد استعلام مألوف قائمة top-k مختلفة قليلًا بعد الصيانة. يكمن الفرق الأساسي بين قيم المتجهات وفهرس ANN الذي يبحث فيها. فقد يحافظ الدمج على الأولى، بينما يعيد بناء الثاني.

يمكن للدمج استبدال عدة مقاطع بحث بفهرس جديد

غالبًا ما تتراكم في قاعدة بيانات المتجهات مقاطع منفصلة عند إدراج المستندات وتحديثها وحذفها. ويعمل الدمج على توحيد هذه الأجزاء، بحيث يصبح لدى النظام عدد أقل من البنى التي ينبغي البحث فيها وبيانات قديمة أقل للاحتفاظ بها.

يوفّر Qdrant مُحسِّنات تستهدف عدد المقاطع وحجمها، بدلًا من التعامل مع المجموعة على أنها رسم بياني واحد ثابت دائمًا. وعندما ينشئ الدمج مقطعًا أكبر ومحسّنًا، يمكن إعادة بناء بنية البحث الفعلية، حتى مع بقاء المتجهات المنطقية دون تغيير.

يهم هذا الفرق في فهرس RAG خاص: فقد تكون للتضمينات القيم الرقمية نفسها قبل الصيانة وبعدها، بينما يختلف رسم البحث التقريبي الذي يربط بينها.

يعتمد البحث التقريبي عن أقرب جار على طوبولوجيا الرسم البياني

لا يقارن HNSW الاستعلام بكل متجه. بل يتنقل عبر رسم بياني متعدد الطبقات ويتبع مجموعة محدودة من الروابط الواعدة، ولذلك يؤثر المسار المتخذ عبر الرسم البياني في المرشحين الذين يجري فحصهم.

يوضح Elasticsearch أن عمليات دمج المقاطع قد تتطلب إعادة حساب رسوم HNSW. ويمكن للرسم البياني المعاد بناؤه أن يربط المتجهات نفسها بطرق مختلفة، لأن ترتيب الإنشاء وحالة الحذف والآليات الاستدلالية لبناء الرسم البياني تؤثر في الروابط.

إذا كانت مسافات مرشحين متقاربة جدًا، فقد يجعل تغير صغير في الطوبولوجيا أحدهما يدخل مجموعة المرشحين، بينما لا تتم زيارة الآخر أصلًا. وتكون النتيجة جيرانًا تقريبيين مختلفين من دون أي تغيير في نموذج التضمين.

تحدد معلمات البحث مقدار استكشاف الرسم البياني الجديد

بعد الدمج، قد تبحث قاعدة البيانات في رسم بياني واحد أكبر بدلًا من عدة رسوم أصغر. لذلك قد يتنقل طلب top-k نفسه في مشهد مختلف من المرشحين، حتى عندما تبدو ميزانية البحث المُهيّأة دون تغيير.

توثّق Weaviate الموازنة بين ef وجودة البحث في HNSW: إذ تحسّن قائمة المرشحين الأكبر الاسترجاع عمومًا، مع زيادة مقدار العمل. وبالقرب من حد الترتيب، يجعل انخفاض جهد البحث النتائج أكثر حساسية لبناء الرسم البياني.

ومن أساليب التشخيص المفيدة مقارنة النتائج التقريبية ببحث عالي ef أو ببحث دقيق على مجموعة اختبار صغيرة. فإذا ظلت الجيران الدقيقة ثابتة بينما تغيرت جيران ANN، فهذا يعني أن الدمج غيّر مسار الاسترجاع بدلًا من المتجهات.

Featured

ZimaCube 2 سحابة شخصية منزلية NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

تغيّر عمليات الحذف والتحديث العقد التي تبقى بعد إعادة البناء

قبل الدمج، قد تظل السجلات المحذوفة أو المستبدلة موجودة فعليًا مع علامات حذف أو بيانات إدارية على مستوى المقطع. وتستبعدها عمليات البحث، لكن وجودها التاريخي قد يؤثر في الرسم البياني الذي بُني سابقًا.

توضح Milvus أن HNSW يخزّن بنية رسم بياني صريحة بالإضافة إلى المتجهات الخام. وتؤدي إعادة البناء بعد إزالة السجلات القديمة إلى إنشاء رسم بياني من مجموعة السجلات الباقية.

وقد يغيّر ذلك الاتصال المحلي حول مستند منزلي، حتى عندما لا يكون ذلك المستند قد عُدّل قط. فقد تكتسب ملاحظة عقدة جسر قريبة أو تفقدها، مما يغير المنطقة التي يصل إليها اجتياز ANN أولًا.

يمكن أن تنقلب نتائج التعادلات والتقاربات حتى دون تغير المسافات

تحتوي كثير من المجموعات الخاصة على نسخ متقاربة جدًا: أدلة مكررة، وملفات ذات إصدارات متعددة، وتعليقات للصور، وملاحظات منسوخة، أو مقاطع تتضمن نصوصًا عامة متطابقة. وقد تكون درجات تشابه جيب التمام أو حاصل الضرب الداخلي بينها متطابقة تقريبًا.

يوضح شرح Pinecone لـ HNSW كيف تحدّد آليات التنقل في الرسم البياني المتجهات التي يجري فحصها. وعندما يقع عنصران بالقرب من حد النتائج، قد يغير مسار مختلف للمرشحين أو ترتيب التعادل قائمة top-k المُعادة، من دون فرق دلالي مهم.

لذلك ينبغي للتطبيقات تجنب التعامل مع احتلال الجار المرتبة 7 بدلًا من المرتبة 8 على أنه إثبات دائم للهوية. خزّن معرّفات مستندات ثابتة، وقارن المسافات الفعلية عندما يكون السلوك الحتمي مهمًا.

البحث الدقيق هو الحد الفاصل بين انجراف البيانات وانجراف ANN

أنظف طريقة للفصل بينهما هي الاحتفاظ بمجموعة صغيرة قابلة لإعادة الإنتاج من الاستعلامات، وتسجيل التضمينات، ومقياس المسافة، ونتائج top-k الدقيقة، ونتائج top-k التقريبية، وإعدادات الفهرس، وإصدار قاعدة البيانات قبل الصيانة.

يتناول نقاش ZimaSpace حول تغيرات مجال التضمين في الاسترجاع الخاص فئة مختلفة من الأعطال: تغير فضاء المتجهات نفسه. وينبغي تشخيص الدمج بصورة منفصلة، لأنه قد يغير الاسترجاع التقريبي مع إبقاء ذلك الفضاء سليمًا.

يوفر دليل ZimaSpace حول البحث في المستندات وسير عمل RAG السياق التطبيقي: إذ تظل هوية المستند الثابتة والتقييم مهمين، حتى عندما يُسمح لطبقة ANN بأن تكون تقريبية.

إذا تغيرت النتائج الدقيقة، فتحقق من المتجهات والمرشحات والتطبيع والمقياس وإصدارات البيانات. وإذا بقيت النتائج الدقيقة ثابتة بينما تغيرت نتائج ANN، فالسبب هو إعادة بناء الفهرس أو جهد البحث أو معالجة التعادلات أو تخطيط المقاطع.

لذلك لا يُتوقع من الدمج أن يضمن ترتيبًا مطابقًا بايتًا ببايت للجيران في فهرس تقريبي. ويتطلب الترتيب الحتمي بحثًا أكثر صرامة أو قواعد للتعادلات على مستوى التطبيق.

الأسئلة الشائعة

هل يغير الدمج متجهات التضمين؟

ليس بمفرده. إذ يعيد الدمج أو دمج المقاطع المعتاد تنظيم التخزين والفهارس. ولا تتغير التضمينات إلا إذا أعاد التطبيق إنشاء التضمينات أو أجرى إعادة تكميم أو إعادة تطبيع أو أعاد كتابة قيم المتجهات بطريقة أخرى.

هل ينبغي أن تتغير أقرب الجيران الدقيقة بعد الدمج؟

ينبغي أن تظل كما هي عندما تكون المتجهات الباقية والمقياس والتمثيل الرقمي دون تغيير، باستثناء حالات التعادل الحقيقي في الدرجات أو تفاصيل تنفيذ أرقام الفاصلة العائمة.

هل يمكن لإعادة بناء HNSW أن تعيد الترتيب القديم نفسه تمامًا؟

ليس دائمًا. فـ HNSW تقريبي، وقد يتأثر بناء الرسم البياني بترتيب الإدراج والعشوائية وعمليات الحذف وتفاصيل التنفيذ. ويتطلب الترتيب الدقيق مقارنة شاملة أو مقارنة حتمية بطريقة أخرى.