كيف يؤثر ضغط فهرس المتجهات في استرجاع نتائج البحث واستخدام ذاكرة الوصول العشوائي؟

يقلّل ضغط فهرس المتجهات من استهلاك ذاكرة RAM عبر تخزين تمثيلات بدقة أقل، لكن تشوّه المسافات الناتج قد يخفض استرجاع أقرب الجيران.

قد يتسع فهرس RAG منزلي بسهولة لمئة ألف مقطع، ثم يبدأ باستهلاك الذاكرة بالكامل بعد سنوات من تراكم المستندات والصور والنصوص المفرغة. يمكن للتكميم إبقاء عدد أكبر من المتجهات في الذاكرة، لكن جودة البحث تعتمد على مدى حفاظ المسافات المضغوطة على ترتيب المرشحين نفسه مقارنةً بالدقة الكاملة. وتتغير النتيجة بحسب توزيع التضمينات، ونسبة الضغط، ونوع الفهرس، واتساع مجموعة المرشحين، وما إذا كانت المتجهات الأصلية لا تزال متاحة لإعادة الترتيب.

يقلّص الضغط حمولة المتجهات، وليس كل تكاليف الفهرس

يستخدم فهرس المتجهات الذاكرة لقيم التضمين، وهياكل الرسوم البيانية أو التقسيم، والمعرّفات، والبيانات الوصفية، والنفقات العامة للمخصّص، ومخازن الاستعلام المؤقتة. يقلّل الضغط أساسًا من حجم تمثيل التضمين. وقد تظل روابط HNSW والبيانات الوصفية متقاربة، لذا قد تكون وفورات ذاكرة RAM الإجمالية أصغر مما توحي به نسبة ضغط المتجهات.

المتجهات عالية الأبعاد مكلفة لأن كل بُعد مخزّن كقيمة كاملة الدقة يضيف إلى تكلفة الذاكرة وحساب المسافات. ويؤدي استبدال هذه القيم برموز مدمجة إلى تقليل الحمولة المقيمة في الذاكرة، وقد يحسّن كفاءة ذاكرة التخزين المؤقت.

لذلك يعتمد التوفير العملي على مكونات الفهرس. فعادةً ما توفر متجهات الأعداد العشرية عالية الأبعاد مجالًا كبيرًا للضغط، بينما قد تحقق المتجهات الصغيرة ذات الاتصال الكثيف في الرسم البياني وفورات نسبية أقل. قِس الذاكرة المقيمة للعملية وملفات الفهرس قبل الضغط وبعده، بدلًا من ضرب عدد المستندات في عدد البايتات الخام للمتجه.

يُحدث التكميم تشوّهًا في المسافات

يحوّل التكميم القياسي كل بُعد إلى نطاق عددي أصغر، بينما يقسم تكميم حاصل الضرب المتجه إلى فضاءات جزئية ويخزّن اختيارات قاموس الرموز. ويستبدل كلاهما الإحداثيات الدقيقة بتقريبات. ثم تُحسب مسافة الاستعلام باستخدام قيم معاد بناؤها أو مسافات قاموس الرموز بدلًا من المتجه العشري الأصلي.

تقيّم التجارب باستخدام تكميم حاصل الضرب الضغط عبر قياس تشوّه المسافة المعاد بناؤها والاسترجاع. ويمكن للرموز الأكثر دمجًا تقليل زمن الاستجابة أو استهلاك الذاكرة، لكنها تجعل ترتيب المرشحين القريبين ترتيبًا صحيحًا أكثر صعوبة عندما تكون المسافات الحقيقية متقاربة.

ينخفض الاسترجاع عندما يُدفَع جار ذو صلة إلى ما دون حد المرشحين، وليس لمجرد أن كل مسافة أصبحت خاطئة قليلًا. وقد تصمد الاستعلامات التي تفصل فيها مسافة واضحة بين المقاطع ذات الصلة وغير ذات الصلة أمام ضغط شديد، بينما تكون الأحياء الدلالية الكثيفة التي تحتوي على حالات تعادل كثيرة أكثر حساسية.

يمكن لتوسيع مجموعة المرشحين وإعادة الترتيب استعادة الاسترجاع

يستخدم البحث على مرحلتين المتجهات المضغوطة للعثور على قائمة مختصرة واسعة، ثم يعيد حساب المسافات باستخدام متجهات أعلى دقة لهؤلاء المرشحين. ويمنح الإفراط في أخذ العينات العناصر ذات الصلة فرصًا إضافية للنجاة من المرحلة التقريبية الأولى، بينما تعيد إعادة الترتيب ترتيب العناصر عندما تكون الرموز المدمجة قد طمست فروقًا صغيرة في المسافات.

تؤدي مستويات الضغط الأعلى عادةً إلى تقليل الاسترجاع، بينما يمكن للإفراط في أخذ العينات وإعادة الترتيب تحسين الدقة. ويستهلك هذا الاسترداد قراءات وذاكرة وعملًا إضافيًا أثناء الاستعلام، لذا ينقل الضغط الموارد بدلًا من إلغاء تكلفة الجودة.

يمكن أن يؤدي الاحتفاظ بالمتجهات الكاملة على القرص إلى الحفاظ على استهلاك منخفض لذاكرة RAM، لكنه يضيف زمن تخزين أثناء إعادة الترتيب. أما الاحتفاظ بها في RAM فيحسّن زمن الاستجابة، لكنه يقلل فائدة الذاكرة. ويعتمد الإعداد المفيد على ما إذا كان الخادم المنزلي محدودًا بسعة الذاكرة، أو بعمليات الإدخال والإخراج في التخزين، أو بأهداف زمن الاستجابة.

Featured

ZimaCube 2 سحابة شخصية منزلية NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

يجب قياس الاسترجاع في مهمة الاسترداد المحلية

أنشئ مجموعة مرجعية عبر تشغيل بحث دقيق أو عالي الدقة لاستعلامات تمثيلية، ثم قارن ما إذا كان البحث المضغوط يعيد الجيران ذوي الصلة أنفسهم ضمن أعلى k نتائج. أدرج إعادة الصياغة، والأسماء الصحيحة، والمستندات المتشابهة إلى حد كبير، والمصطلحات النادرة، والاستعلامات التي تعتمد إجابتها على تمييز دقيق بين الأدلة.

يكمل هذا ثقة تأسيس الاسترداد: فالتشابه بين الجيران ودعم الإجابة مرتبطان، لكنهما ليسا متطابقين. قِس Recall@k مقارنةً بخط أساس البحث، وتحقق أيضًا مما إذا كانت المقاطع المفقودة أو التي تغير ترتيبها تؤثر في الأدلة المتاحة للمولّد.

لا يوجد فائز عالمي بين أقصى ضغط وأقصى دقة. زد الضغط حتى تصل الذاكرة وزمن الاستجابة واسترجاع المهمة إلى التوازن المطلوب، ثم أعد الاختبار بعد أي تغييرات في نموذج التضمين أو المجموعة النصية. فقد يكون إعداد مناسب لتشابه الصور العام فاقدًا للكثير من المعلومات عند استرداد المستندات التقنية التي تحتوي على مقاطع كثيرة متجاورة دلاليًا.