كيف تُسرّع تكميم المنتجات مجموعات المتجهات الخاصة الكبيرة؟
تُسرّع كمّية المنتجات مجموعات المتجهات الخاصة الكبيرة عبر تقسيم التضمينات إلى فضاءات جزئية واستبدال كل متجه جزئي برمز مركز تعلّمي مضغوط.
هذه آلية محددة ضمن عائلة أوسع تُعرف بكمّية المتجهات. وبدلًا من تقليل كل إحداثي على حدة، تتعلم كمّية المنتجات عدة كتب رموز أصغر، وتمثل تضمينًا واحدًا عالي الأبعاد كسلسلة من معرّفات الرموز. ويمكن لخادم بحث منزلي الاحتفاظ بعدد أكبر بكثير من هذه الرموز في الذاكرة، وتقدير مسافات الاستعلام باستخدام جداول محسوبة مسبقًا، ما يقلل وحدات بايت المتجهات المخزنة وكمية الحسابات عالية الدقة اللازمة أثناء المسح الواسع للمرشحين.
تقسّم PQ تضمينًا واحدًا عالي الأبعاد إلى عدة متجهات جزئية
لنفترض أن أبعاد التضمين هي `d`. تختار PQ عدد `M` من الكمّيات الفرعية وتقسّم الإحداثيات إلى `M` كتل منخفضة الأبعاد، بحيث يمكن نمذجة كل كتلة على حدة.
يحدد عدد الكمّيات الفرعية عدد الكتل منخفضة الأبعاد التي يُقسَّم إليها التضمين الأصلي، وبالتالي عدد معرّفات الرموز التي تكوّن تمثيلًا واحدًا باستخدام PQ.
هذا التحليل إلى عوامل هو ما يمنح كمّية المنتجات اسمها: إذ يُجمَّع التقريب الكامل من اختيارات تُتخذ باستقلالية في عدة فضاءات جزئية، بدلًا من استخدام كتاب رموز ضخم واحد للمتجه الكامل. ويجب أن تقسم الفضاءات الجزئية أبعاد المتجه بطريقة متوافقة. ويؤثر حجمها وعددها في الضغط، وتكلفة تدريب كتاب الرموز، ودقة المسافة، ومدى ملاءمة توزيع البيانات للتمثيل المُحلَّل إلى عوامل.
يتعلم كل فضاء جزئي كتاب رموز من المراكز التمثيلية
تُدرَّب PQ عادةً على عينة تمثيلية من المجموعة. وبالنسبة إلى كل فضاء جزئي، يعثر التجميع على متجهات مركزية تمثل مجموعات من المتجهات الجزئية المتشابهة.
يستخدم كمّي المنتجات عادةً خوارزمية k-means لتعلّم المراكز داخل كل فضاء جزئي، مع تقليل خطأ التقريب بين المتجهات الجزئية المستخدمة في التدريب وممثلاتها المعيّنة.
بعد التدريب، لا تعود قاعدة البيانات بحاجة إلى تخزين جميع الإحداثيات الأصلية في رمز البحث المضغوط، بل تحتاج فقط إلى معرّف أقرب مركز من كل فضاء جزئي.
إذا لم تمثل عينة التدريب مستندات المنزل المستقبلية تمثيلًا جيدًا، فقد تقترب المراكز المتعلَّمة من المتجهات اللاحقة بشكل سيئ. لذلك تُعد جودة كتاب الرموز حدًا تنفيذيًا مهمًا، وليست تفصيلًا يُهمل بعد المرة الأولى.
يتحول المتجه المخزن إلى سلسلة قصيرة من معرّفات الرموز
لكل متجه جزئي، يجد المُرمِّز أقرب مركز ويخزن فهرس ذلك المركز. ويشكّل ضم فهارس `M` رمز PQ للتضمين الكامل.
يؤدي تخزين رموز m للمتجهات الجزئية مع بتات قابلة للضبط إلى استبدال مصفوفة طويلة من أعداد الفاصلة العائمة بسلسلة قصيرة من معرّفات المراكز، إلى جانب كتب الرموز المشتركة.
فعلى سبيل المثال، يمكن لثمانية بتات لكل كمّية فرعية تمثيل 256 اختيارًا لمركز في ذلك الفضاء الجزئي. وينمو رمز المتجه الإجمالي مع عدد الكمّيات الفرعية، بدلًا من استخدام دقة 32 بت لكل بُعد أصلي. ولا تزال كتب الرموز وتكاليف الفهرس الإضافية تستهلك الذاكرة، لذلك تكون المجموعة الكاملة أكبر من وحدات بايت الرموز وحدها. وتصبح الوفورات أكثر أهمية عندما يكون عدد المتجهات كبيرًا بما يكفي لتوزيع تكلفة كتب الرموز المشتركة عليه.
يبني الاستعلام جداول بحث للمسافات لكل فضاء جزئي
عند وصول استعلام، يقسم النظام الاستعلام إلى الفضاءات الجزئية نفسها، ويحسب مسافته إلى كل مركز في كل كتاب رموز. وتشكل هذه القيم جداول بحث صغيرة.
يحسب جدول المسافات بين الاستعلام والمراكز مسافة الاستعلام إلى كل مركز في كل فضاء جزئي مسبقًا، بحيث يمكن تجميع مسافات المرشحين من عمليات بحث صغيرة بدلًا من إجراء حسابات على المتجه الكامل.
ولتقدير المسافة إلى متجه مخزن في قاعدة البيانات، لا يعيد البحث بناء كل إحداثية كاملة. بل يقرأ كل معرّف رمز، ويبحث عن مسافة الفضاء الجزئي المقابلة، ثم يجمع هذه القيم.
يُعرف هذا المسار القائم على الجداول غالبًا باسم حساب المسافة غير المتماثل، لأن الاستعلام يمكن أن يظل عالي الدقة، بينما تُمثَّل متجهات قاعدة البيانات برموز مكمّاة.
تحسّن الرموز المضغوطة محلية الذاكرة مع نمو المجموعات
غالبًا ما تكون عمليات المسح على المتجهات الكبيرة محدودة بنقل بيانات المرشحين عبر الذاكرة، لا بالتعقيد الرياضي لعملية حساب مسافة واحدة.
تتيح الرموز القصيرة وضع عدد أكبر من المرشحين في ذاكرة التخزين المؤقت للمعالج، وتقلل عرض النطاق الترددي المطلوب لكل مقارنة.
يمكن تسريع مسار حساب المسافات المضغوط باستخدام عمليات بحث في جداول ملائمة لـ SIMD، لأن البحث باستخدام كمّية المنتجات يقرأ الرموز المضغوطة مرارًا ويجمع مسافات الفضاءات الجزئية.
وفي مجموعة منزلية خاصة، قد يصنع ذلك الفرق بين فهرس يظل تمثيله النشط للبحث في ذاكرة الوصول العشوائي، وآخر ينافس باستمرار نموذج اللغة المحلي وقاعدة البيانات وذاكرة التخزين المؤقت لنظام الملفات.
وتصبح الفائدة أقل عندما تكون المجموعة صغيرة جدًا، أو عندما يقلل ترشيح البيانات الوصفية كل استعلام إلى بضعة متجهات، أو عندما تهيمن طبقة فهرسة أخرى على زمن الاستجابة.
تبادل PQ عادةً بعض الاسترجاع مقابل الضغط والسرعة
تقرب رموز المراكز المتجهات الجزئية الأصلية، لذلك قد يتغير ترتيب مرشحين عندما تكون مسافاتهما الحقيقية متقاربة. ويترك الضغط الأقوى عادةً معلومات أقل للتمييز بينهما.
إن التعامل مع كمّية المنتجات باعتبارها ضغطًا منخفض الفقد يوضح الحد الفاصل: فالرموز الأصغر تقلل ذاكرة المتجهات، لكن خطأ التكمية قد يغير ترتيب الجيران المتقاربين.
يمكن لزيادة عدد الكمّيات الفرعية أو عدد البتات الحفاظ على تفاصيل أكثر، لكنها تكبّر كل رمز وهياكل البحث. أما الرموز الأصغر فتوفّر ذاكرة أكبر، لكنها ترفع احتمال خطأ التكمية. ويعتمد الإعداد المفيد على مجموعة البيانات. فقد تتطلب الأدلة المتشابهة جدًا وإصدارات المستندات المكررة والبحث الدقيق في الشيفرة دقة أعلى من الاسترجاع الدلالي العام عبر ملاحظات منزلية متنوعة.
يمكن أن يتبع المرور الأول المضغوط إعادة ترتيب بدقة كاملة
لا تتطلب PQ أن تثق النتيجة النهائية بترتيب المسافات المضغطة دون تحقق. إذ يمكن للنظام استرجاع مجموعة مرشحين أوسع باستخدام PQ، ثم إعادة ترتيب هؤلاء المرشحين فقط باستخدام المتجهات الأصلية المخزنة في مكان آخر.
ضمن الاسترجاع الدلالي للمتجهات، تغيّر PQ التمثيل المستخدم لمقارنة المرشحين؛ بينما يستمر تتبع المصدر وترشيح البيانات الوصفية وإعادة الترتيب وRAG حول مرحلة المتجهات هذه.
ينفق هذا الأسلوب ذو المرحلتين الذاكرة والحوسبة بصورة غير متماثلة: تتولى الرموز المضغوطة التعامل مع مساحة المرشحين الكبيرة، بينما لا تُلمس المتجهات الدقيقة إلا لقائمة مختصرة صغيرة.
تُسرّع كمّية المنتجات مجموعة خاصة عندما تقلل الرموز المضغوطة مجموعة العمل وحركة بيانات المسافات بشكل ملموس، من دون خفض الاسترجاع المقاس إلى ما دون جودة الأدلة التي يتطلبها نظام RAG المحلي.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
هل يمكن للكاميرات المنزلية مزامنة الأحداث دون خدمات الوقت السحابية؟
شرح يعتمد أولًا على الآلية لوقت الكاميرا دون سحابة، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن لخدمة ذكاء اصطناعي محلية اكتشاف طبقات النموذج التالفة قبل الاستدلال؟
شرح يركز أولًا على الآلية لاكتشاف تلف طبقة النموذج، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن استعادة نظام RAG دون إعادة توليد كل التضمينات؟
شرح قائم على الآلية لاستعادة RAG دون إعادة التضمين، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
