كيف يُقلّص التكميم المتجهي فهرس البحث المنزلي؟
يُقلّص التكميم المتجهي فهرس البحث المنزلي باستبدال قيم التضمين عالية الدقة برموز مدمجة تقرّب المتجهات الأصلية.
قد يفهرس خادم بحث خاص مئات الآلاف أو ملايين المقاطع المستخرجة من الملاحظات، ونصوص التعرف الضوئي على الحروف، والكتيبات، والبيانات الوصفية للصور، والنصوص المفرغة، وسجلات التطبيقات. ويمكن أن يؤدي تخزين كل تضمين كقيم فاصلة عائمة كاملة الدقة إلى جعل مجموعة العمل المتجهية أكبر من النص المصدر نفسه. يغيّر التكميم التمثيل المستخدم في البحث، بحيث يشغل كل متجه عددًا أقل من البايتات، مع قبول تقريب مضبوط مقابل تقليل الضغط على الذاكرة والتخزين.
التضمينات كاملة الدقة تستهلك عدة بايتات لكل بُعد
التضمين عبارة عن مصفوفة من الإحداثيات العددية. ويحتاج متجه مكوّن من 1,024 بُعدًا والمخزن كأعداد عائمة بحجم 32 بت إلى 4,096 بايتًا لقيمه الخام، قبل احتساب روابط الرسم البياني، والمعرّفات، والبيانات الإضافية، والحمولة الزائدة للمخصّص، أو النسخ المتماثلة.
تقلّل تمثيلات المتجهات المضغوطة عدد البايتات المطلوبة لجزء المتجه من الفهرس، ما يتيح بقاء مجموعة عمل أكبر قابلة للبحث مقيمة في خادم منزلي محدود الذاكرة.
عند ضرب هذا الحجم الخام في مليون مقطع، تقترب قيم المتجهات غير المضغوطة وحدها من عدة غيغابايتات. وتزيد المجموعات المتعددة، والنسخ المتماثلة، وفهارس البحث المقيمة من البصمة الإجمالية على الخادم المنزلي. يستهدف التكميم هذا التمثيل العددي، ولا يضغط تلقائيًا ملفات PDF المصدر، أو البيانات الوصفية للحمولة، أو الفهارس المعكوسة، أو كل حافة من حواف الرسم البياني المحيطة بهذه المتجهات.
يحوّل التكميم الإحداثيات التفصيلية إلى مجموعة أصغر من التمثيلات
الفكرة العامة هي استبدال العديد من قيم الفاصلة العائمة الممكنة بعدد أقل من الحالات القابلة للتمثيل. ويعتمد أسلوب التعيين الدقيق على ما إذا كان النظام يستخدم عائلة تكميم قياسي، أو ثنائي، أو حاصل ضرب، أو دوراني، أو غيرها.
تقلّل أوضاع التكميم المتجهي حجم التمثيل بطرق مختلفة، ولذلك لا تشترك الأساليب القياسية والثنائية وحاصل الضرب في مقايضة عامة واحدة بين الدقة والأداء.
يمكن لمخطط قياسي تقليل دقة كل إحداثي. أما المخططات الثنائية فترمّز معلومات اتجاهية أكثر خشونة بكثير. ويقسّم تكميم حاصل الضرب المتجه إلى فضاءات جزئية ويخزّن معرّفات كتب الرموز.
والنتيجة المشتركة هي أن محرك البحث يستطيع الاحتفاظ بتقريب مدمج في مجموعة عمله الساخنة، بدلًا من تمرير المصفوفة الأصلية كاملة الدقة خلال كل مقارنة للمرشحين.
تقلّل المتجهات الأصغر الذاكرة المقيمة وحركة البيانات اللازمة لحساب المسافات
يحمّل البحث متجهات المرشحين مرارًا ويقارنها بالاستعلام. وعندما تكون هذه التمثيلات أصغر، يتسع ذاكرة التخزين المؤقت للمعالج أو ذاكرة المسرّع لعدد أكبر من المرشحين، كما تقل كمية البيانات التي يجب نقلها عبر هرم الذاكرة.
تقلّل المتجهات التقريبية المدمجة التخزين وحركة البيانات في الذاكرة أثناء البحث الواسع عن المرشحين، لكن مسافاتها تقرّب العلاقات المرمّزة في التضمينات الأصلية كاملة الدقة.
على الخادم المنزلي، تتمثل الفائدة غالبًا في إبقاء الفهرس النشط مقيمًا في الذاكرة أكثر من تحقيق نسب ضغط بارزة. ويمكن لتجنب ضغط الذاكرة أن يمنع أخطاء الصفحات المتكررة على القرص أو التنافس على الموارد مع نموذج اللغة المحلي، وقاعدة البيانات، والحاويات الأخرى.
يعتمد تحسّن زمن الاستجابة على محرك البحث، وتعليمات المعالج، وبنية الفهرس، وأي مراحل إضافية لفك الترميز أو إعادة التقييم.
قد تغيّر المتجهات التقريبية ترتيب الجيران
يكون التكميم عادةً فاقدًا للمعلومات. فقد تُعيَّن عدة متجهات مختلفة كاملة الدقة إلى تمثيلات مدمجة متقاربة أو متطابقة، ولذلك لا تحافظ المسافات التقريبية على كل ترتيب أصلي بدقة تامة.
تستبدل عملية البحث الفاقدة في النطاق المضغوط التمثيل العددي الدقيق بمجموعة عمل أصغر أو أسرع للبحث عن التشابه، ولهذا يجب قياس الاستدعاء بعد الضغط.
قد يتبادل مقطع ذو صلة، كان أقرب بفارق ضئيل من مقطع آخر وفق الدقة الكاملة، الترتيب بعد الضغط. ويعتمد التأثير على توزيع البيانات، ونموذج التضمين، والمكمّم، وحجم الرمز، وصعوبة الاستعلام. لذلك يُعد اختبار الاستدعاء أمرًا أساسيًا. فقد يبدو إعداد ضغط آمنًا في الاستعلامات الدلالية العامة، لكنه يتصرف بصورة مختلفة مع كتيبات المنتجات المتشابهة جدًا أو المقاطع ذات الإصدارات المتقاربة.
يمكن للإفراط في أخذ العينات وإعادة التقييم استعادة الدقة من المرور الأول المدمج
يبحث أحد التصاميم الشائعة في الفهرس المضغوط عن عدد من المرشحين يفوق قيمة top-k النهائية، ثم يستخدم المتجهات الأصلية لإعادة حساب المسافات الدقيقة أو الأعلى دقة لهذه المجموعة الأصغر.
يمكن لـالإفراط في أخذ العينات وإعادة التقييم البحث على نطاق واسع في تمثيل مضغوط، ثم إعادة حساب المسافات الأعلى دقة لمجموعة أصغر من المرشحين قبل الترتيب النهائي.
يُبقي هذا المسار الهجين المتجهات الكاملة المكلفة خارج عملية المسح الواسع للمرشحين، مع إتاحة تصحيح النتائج الحدّية قبل وصول الأدلة إلى RAG.
لكن المقابل هو أن الاحتفاظ بالمتجهات الأصلية يستهلك مساحة إضافية على القرص أو في الذاكرة، كما أن إعادة التقييم تتطلب عملًا أكبر لكل استعلام. وينبغي للخادم المنزلي قياس البصمة الإجمالية بدلًا من احتساب البايتات المضغوطة فقط.
يحل التكميم مشكلة حجم المتجهات، لا كل اختناقات فهرس البحث
يخزّن فهرس HNSW أيضًا ترابط الرسم البياني، بينما تستهلك مرشحات البيانات الوصفية، وفهارس النصوص، وحمولات المستندات، وذاكرات التخزين المؤقت، ومخازن الاستعلام المؤقتة مواردها الخاصة.
تشمل بنية البحث الدلالي مراحل التضمين والفهرسة والتصفية والاسترجاع، ولذلك يؤثر تصغير المتجهات في طبقة موارد واحدة فقط من خط أنابيب البحث المنزلي الكامل.
يحتوي فهرس HNSW على كل من المتجهات ورسم بياني للاتصالات، ما يعني أن ضغط المتجهات لا يمكنه تقليل البصمة الكاملة للفهرس بالنسبة نفسها التي تقل بها بايتات التضمين الخام.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
هل يمكن للكاميرات المنزلية مزامنة الأحداث دون خدمات الوقت السحابية؟
شرح يعتمد أولًا على الآلية لوقت الكاميرا دون سحابة، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن لخدمة ذكاء اصطناعي محلية اكتشاف طبقات النموذج التالفة قبل الاستدلال؟
شرح يركز أولًا على الآلية لاكتشاف تلف طبقة النموذج، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن استعادة نظام RAG دون إعادة توليد كل التضمينات؟
شرح قائم على الآلية لاستعادة RAG دون إعادة التضمين، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
