ما مقدار التخزين المتجهي الذي تتطلبه مليون قطعة من المستندات المنزلية؟
يحتاج مليون مقطع تقريبًا إلى 1.5–6.1 جيجابايت لمتجهات float32 الشائعة وحدها، وذلك قبل احتساب فهارس الرسوم البيانية والبيانات الوصفية والنصوص والنسخ المكررة ومساحة العمل.
تبدأ الحسابات من عدد الأبعاد، لا من عدد المستندات: إذ تحتوي مليون متجهة مكوّنة من 768 بُعدًا بنظام float32 على 768 مليون قيمة، كل منها من أربعة بايتات، أي نحو 3.07 جيجابايت بالنظام العشري. ويكون مخزن قابل للنشر أكبر حجمًا لأنه يجب أن يعرّف المتجهات، ويبحث فيها بكفاءة، ويصفّي البيانات الوصفية، ويحتفظ بنصوص المقاطع، ويتحمّل صيانة الفهرس أثناء عمليتي البحث والصيانة على الخادم.
توفر وحدات بايت المتجهات الخام الحد الأدنى القابل لإعادة الإنتاج
اضرب عدد المقاطع في عدد أبعاد التضمين وعدد البايتات لكل إحداثي. بالنسبة إلى مليون متجهة بنظام float32، تستخدم الأبعاد البالغ عددها 384 مقدار 1.536 جيجابايت، وتستخدم 768 مقدار 3.072 جيجابايت، بينما تستخدم 1,536 مقدار 6.144 جيجابايت. وتظهر الجيجابايت الثنائية أصغر بنحو سبعة بالمئة في الوحدات المعروضة.
تقدم نظرة عامة على التوسع العلاقة نفسها الخاصة بـ تخزين المتجهات الخام: إذ يحدد عدد الأبعاد مضروبًا في عرض القيمة حمولة الإحداثيات قبل إضافة هياكل قاعدة البيانات.
يمكن لـ float16 أن يقلل مكوّن المتجه إلى النصف، كما يمكن لـ int8 أو التكميم بالمنتج تقليله أكثر. وقد يؤثر الضغط في الاسترجاع، ويتطلب دعمًا من قاعدة البيانات. ولا تشمل هذه الأرقام المستندات المصدرية ونصوص المقاطع المُنشأة.
قد تنافس الفهارس والبيانات الوصفية الإحداثيات في الحجم
تضيف عملية البحث المسطّح بنية فهرس قليلة نسبيًا، لكنها تفحص عددًا كبيرًا من المتجهات. ويخزّن HNSW روابط الجيران وطبقات متعددة من الرسم البياني لتقليل عمل البحث. كما تضيف معرّفات المتجهات وسجلات الحذف والمرشحات والمحاذاة وصفحات قاعدة البيانات أعباءً إضافية.
تشرح مقدمة عن ترابط HNSW سبب تسريع ترابط الرسم البياني لعملية البحث التقريبي مع استهلاكه ذاكرة وتخزينًا إضافيين. ويغيّر عدد الجيران المُكوّن هذه التكلفة مباشرةً.
تتباين البيانات الوصفية بدرجة أكبر. فقد يضيف معرّف مستند ورمز لغة مضغوطان عشرات البايتات، بينما قد تضيف المسارات المتكررة والأذونات ونصوص المقاطع الكاملة مئات البايتات أو آلافها. خزّن النص مرة واحدة أو داخل قاعدة بيانات المتجهات بصورة متسقة قبل مقارنة الإجماليات.
متى يفشل تقدير تخزين واحد
غالبًا ما يتراوح نطاق التخطيط العملي لمليون مقطع بمقاس 768 بُعدًا وبنظام float32 بين 5 و12 جيجابايت للمتجهات مع فهرس تقريبي، قبل إضافة نصوص كبيرة ونسخ مكررة. وهذا نطاق لإعداد الميزانية، وليس ضمانًا لتنسيق محدد.
يقدّر أحد مقارنات بنية المتجهات العبء التخزيني لـ HNSW، الذي يتجاوز الإحداثيات الخام بدرجة كبيرة في بعض إعدادات HNSW. وتحدد الإعدادات الافتراضية للمحرك ومعلمات الرسم البياني معامل الزيادة الفعلي.
يفشل هذا النطاق عند استخدام تضمينات متعددة لكل مقطع، أو فهارس كلمات مفتاحية هجينة، أو النسخ المتماثل، أو اللقطات، أو عمليات إعادة البناء التي تكرر البيانات مؤقتًا. وقد يبالغ أيضًا في تقدير مخزن مضغوط يعتمد على القرص. ولا تكفي عبارة «مليون مقطع» ما لم تُذكر الأبعاد ونوع البيانات والفهرس والبيانات الوصفية وعدد النسخ.
استقراء الحجم من عينة فهرس تمثل عشرة بالمئة
أدرج 100,000 مقطع ممثل باستخدام نوع بيانات التضمين النهائي ومخطط البيانات الوصفية ومعلمات الفهرس. قِس أعمدة المتجهات الخام والفهرس والبيانات الوصفية والنص وسجل الكتابة المسبقة ولقطات النظام كلًّا على حدة بعد الدمج. واستقرأ المكوّنات القابلة للتوسع بضربها في عشرة، ثم أضف هامشًا لإعادة البناء والنسخ الاحتياطي.
أجرِ الاختبار على طبقة مساحة العمل التخزينية المستهدفة، لأن الضغط وتخصيص نظام الملفات يؤثران في الإجماليات الفعلية. وتجنب الاستقراء من ملفات قواعد البيانات الفارغة.
خصص على الأقل إجمالي الحجم المستقر المقاس، بالإضافة إلى نسخة مؤقتة واحدة من الفهرس ومساحة خالية بنسبة 20 بالمئة. وإذا كان النسخ المتماثل مفعّلًا، فاضرب المكونات المنسوخة فقط. وكرر العينة كلما تغيرت الأبعاد أو البيانات الوصفية أو إعدادات عدد جيران HNSW.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
كيفية قياس جودة استرجاع RAG المحلي وتفسير الاستدعاء والدقة وتغطية الاستشهادات
أنشئ مجموعة اختبار محلية لـ RAG، واحسب مقاييس الاسترجاع الأساسية، وفسّر المفاضلات بينها، ودقّق فيما إذا كانت ادعاءات الإجابات مدعومة بالأدلة المُستشهد بها.
لماذا تصبح حوسبة ميزات المنزل الذكي أكثر أهمية مع زيادة عدد المستشعرات عند معدل أخذ العينات نفسه؟
تتبّع الحوسبة لكل مستشعر وعبر المستشعرات مع زيادة عدد الأجهزة، وحدّد تكاليف الدمج غير الخطية، وقِس أداء مسار الميزات قبل أن تبدأ الأتمتة بالتباطؤ.
لماذا تصبح تكلفة تقييم RAG أكثر أهمية كلما اتسعت مكتبة المستندات مع ثبات حجم الاستعلامات؟
افهم لماذا يؤدي نمو مجموعة البيانات إلى زيادة جهد تقييم نظام RAG من دون زيادة في استفسارات المستخدمين، وكيف تحافظ الاختبارات الطبقية على ارتباط...
