هل يمكن لنماذج تضمين متعددة أن تتعايش في نظام بحث خاص واحد؟

نعم. يمكن لنظام بحث خاص واحد تخزين التضمينات من نماذج متعددة والاستعلام عنها في الوقت نفسه. ويتمثل النهج الآمن في التعامل مع كل نموذج تضمين باعتباره مساحة متجهات مستقلة ذات أبعاد صريحة، ومقياس مسافة، وإصدار، وإعدادات فهرسة محددة. لا تخلط المتجهات غير المتوافقة في عمود مجهول واحد وتفترض أنها قابلة للمقارنة.

تفيد النماذج المتعددة في عمليات الترحيل، والبحث متعدد اللغات، والاسترجاع الذي يجمع بين الصور والنصوص، والتضمينات الخاصة بالمجال، أو اختبار A/B. ويظهر التعقيد عندما تحتاج إلى دمج النتائج عبر تلك المساحات.

لماذا قد تحتفظ بأكثر من نموذج تضمين واحد؟

تتطور قاعدة المعرفة الخاصة. إن تثبيت كل مستند نهائيًا على أول نموذج تضمين اخترته يجعل الترقيات معطِّلة بلا داعٍ.

تُنتج النماذج المختلفة مساحات متجهات مختلفة

قد يُنتج نموذجان متجهات من 768 بُعدًا، ومع ذلك يظلان غير متوافقين. لا تكتسب الإحداثيات معناها إلا بالنسبة إلى النموذج الذي أنتجها.

المستند A
  |
  +-- النموذج v1 -> vector_v1 [768]
  |
  +-- النموذج v2 -> vector_v2 [1024]
  |
  +-- نموذج الصور -> vector_image [512]

يجب أن يبحث استعلام مُنشأ باستخدام النموذج v2 في مساحة v2. ومقارنته مباشرةً بمتجهات النموذج v1 لا معنى لها، حتى إذا قبلت واجهة برمجة التطبيقات الأبعاد.

تدعم وثائق المتجهات المسماة الحالية في Qdrant صراحةً متجهات متعددة بأحجام وأنواع مختلفة في النقطة نفسها، بحيث يكون كل منها ضمن مساحة متجهات مسماة منفصلة.

استخدم سجلًا للنماذج، وليس اسمًا للمتجه فقط

سجّل بيانات وصفية كافية لإعادة إنتاج كل تضمين:

مساحة التضمين: text_v2
معرّف النموذج:  example/model-name
مراجعة النموذج:  sha أو الإصدار
بُعد المتجه:      1024
المقياس:      جيب التمام
تم التطبيع:      صحيح
سياسة التقسيم إلى مقاطع: دلالية-v3
تاريخ الإنشاء:      2026-09-03

يجب أن يكون تقسيم النصوص إلى مقاطع جزءًا من السجل أيضًا. فإذا غيّرت نموذج التضمين وطريقة تقسيم المستندات معًا، تغيّر الاسترجاع لسببين. ويتيح إبقاء إصدار خط الأنابيب محددًا إجراء المقارنة والتراجع.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

مجموعة واحدة بمتجهات مُسمّاة أم مجموعات منفصلة؟

يمكن أن يكون كلا التصميمين صحيحًا.

وبالمثل، تدعم وثائق المجموعات في Weaviate مساحات متجهات مُسمّاة متعددة لكل كائن، ولكل منها إعداد المُحوّل المتجهي والفهرس الخاص به.

إذا اختلفت الأذونات—مثلًا بين مستندات العائلة ومستندات العمل—فقد تكون المجموعات المنفصلة أوضح من وضع كل تمثيل في كائن واحد.

هل يستطيع pgvector تخزين أبعاد مختلفة؟

نعم. توضّح وثائق pgvector عمود vector عامًا مع model_id، ثم تستخدم فهارس تعبيرية وجزئية للصفوف ذات الأبعاد المحددة.

المبدأ نفسه: احتفظ بهوية النموذج في نموذج البيانات، وأنشئ فهرس ANN فقط على الصفوف المتوافقة.

لا تقارن درجات التشابه الخام بين النماذج

هذا هو الإخفاق الأكثر دقة. فدرجة تشابه جيب التمام البالغة 0.78 من النموذج A لا تعني بالضرورة الجودة نفسها التي تعنيها 0.78 من النموذج B. تعتمد توزيعات الدرجات على تدريب النموذج، والتطبيع، والمقياس، والنطاق، وسلوك الفهرس.

إذا أردت قائمة نتائج واحدة من نموذجي تضمين، فابدأ بالاسترجاع بشكل منفصل:

الاستعلام
  |
  +-- النموذج A -> أفضل 20 نتيجة + الرتب
  |
  +-- النموذج B -> أفضل 20 نتيجة + الرتب
                      |
                      v
               الدمج / مُعيد الترتيب
                      |
                      v
                  أفضل 10 نتائج نهائية

تشمل أساليب الدمج الأكثر أمانًا دمج الرتب، أو تطبيع الدرجات الخاص بالنموذج والمُعاير على بياناتك، أو استخدام مُرمّز تقاطعي/مُعيد ترتيب يقيّم النص المرشح بعد الاسترجاع.

توضح وثائق البحث متعدد الأهداف في Weaviate استراتيجيات دمج تتضمن التركيبات المطبّعة/الموزونة، ما يوضح سبب حاجة الدمج عبر المساحات إلى استراتيجية صريحة بدلًا من الترتيب الساذج للدرجات الخام.

كيف تُرحّل إلى نموذج تضمين جديد دون توقف؟

لا تحذف التضمينات القديمة أولًا. استخدم عملية ترحيل متوازية:

1. سجّل النموذج الجديد ومساحة المتجهات؛
2. أنشئ تضمينات جديدة للمستندات التي يتم إدخالها حديثًا؛
3. أعد ملء المستندات القديمة على دفعات؛
4. نفّذ عمليات بحث في الظل مقابل كلتا المساحتين؛
5. قارن الاستدعاء ونجاح المهام في الأسئلة الفعلية؛
6. حوّل مساحة الاستعلام الافتراضية؛
7. احتفظ بالمتجهات القديمة خلال فترة تراجع؛
8. أزلها فقط بعد ارتفاع مستوى الثقة.

توضح Weaviate أن إضافة متجه مُسمّى جديد لا تؤدي تلقائيًا إلى إعادة إنشاء متجهات الكائنات الحالية. ومن المفيد تذكّر هذا السلوك، لأن «المخطط يدعم النموذج الجديد» و«جميع البيانات القديمة لها متجهات جديدة» مرحلتان منفصلتان.

التضمينات المتعددة تزيد مساحة التخزين أسرع مما يتوقعه كثير من المستخدمين

يمكن لكل تمثيل متجه إضافي أن يضيف مصفوفة كثيفة أخرى وفهرس ANN آخر. لذلك قد يؤدي نموذج تضمين ثانٍ إلى مضاعفة جزء المتجهات/الفهارس من قاعدة البيانات تقريبًا، رغم تخزين المستندات الأصلية مرة واحدة فقط.

التقدير:

حجم المتجهات بالبايتات ≈
  أجزاء المستندات
  × الأبعاد
  × عدد البايتات لكل عنصر
  × عدد مساحات التضمين

+ تكاليف فهرس ANN
+ فهارس البيانات الوصفية / الحمولة

يمكن للفهرسة بالتكميم أو بنصف الدقة تقليل الحجم، لكن اختبر جودة الاسترجاع قبل تطبيق الضغط على كل نموذج.

يرتبط هذا مجددًا بسؤال بنية قاعدة المعرفة المحلية: فالتضمينات بيانات مشتقة قابلة للاستبدال، بينما تظل المستندات المصدرية والبيانات الوصفية أصولًا دائمة تتيح لك إعادة بنائها.

استخدم نماذج مختلفة لمسارات استعلام مختلفة

ليس عليك البحث في كل مساحة متجهات لكل سؤال. وجّه البحث حسب الحاجة:

يمكن لمصنّف استعلام صغير اختيار المساحة المناسبة، بينما يمكن لعمليات البحث الملتبسة التوزّع عبر تمثيلين ودمج النتائج.

يجب تطبيق الأذونات قبل الدمج

لا تسترجع مرشحين غير مصرّح لهم من كل مساحة متجهات على أمل أن يخفيهم مُعيد الترتيب النهائي. طبّق أذونات المستخدم/المستند في كل مرحلة من مراحل الاسترجاع حتى لا تدخل الأجزاء الحساسة إلى مجموعة المرشحين أو السجلات أو مطالبة مُعيد الترتيب.

في بحث NAS الخاص، يجب أن تستمر قاعدة التحكم في الوصول نفسها أثناء عمليات ترحيل النماذج. وينبغي للفهرس الجديد أن يرث بيانات أذونات المستند بدلًا من أن يصبح نسخة مؤقتة غير محمية.

يوفّر دليل المساعد الخاص بالذكاء الاصطناعي السياق الأوسع: لا يكون البحث المتجهي مفيدًا إلا عندما يحترم حدود البيانات الخاصة نفسها التي يلتزم بها مخزن الملفات.

قائمة التحقق لضمان جودة التضمينات المتعددة

• امنح كل مساحة تضمين معرّفًا فريدًا للنموذج/الإصدار.
• سجّل الأبعاد والتطبيع ومقياس المسافة.
• حدّد إصدارات تقسيم النص والمعالجة المسبقة.
• لا تستعلم باستخدام متجه نموذج واحد في فهرس نموذج آخر.
• لا تقارن الدرجات الأولية مباشرةً بين المساحات من دون معايرة.
• طبّق الأذونات داخل كل مسار من مسارات الاسترجاع.
• أنشئ المتجهات الجديدة بالملء الخلفي قبل تغيير الإعداد الافتراضي.
• قيّم الأداء باستخدام أسئلة حقيقية ومستندات معروفة الصلة.
• أبقِ الفهرس السابق طوال فترة التراجع.
• أدرج المتجهات والفهارس الإضافية في تخطيط سعة القرص وذاكرة RAM.

الأسئلة الشائعة

هل يمكن لنموذجي تضمين استخدام بُعدين مختلفين في قاعدة بيانات واحدة؟

نعم، إذا كانت قاعدة البيانات تدعم مساحات متجهات أو مجموعات أو فهارس منفصلة ومُسمّاة لكل بُعد متوافق. وتوفّر Qdrant وWeaviate وpgvector أنماطًا تدعم ذلك.

هل يمكنني تبديل نماذج التضمين من دون إعادة تضمين المستندات القديمة؟

ليس إذا كنت تريد البحث في المستندات القديمة ضمن مساحة المتجهات الخاصة بالنموذج الجديد. فمتجه الاستعلام الجديد غير متوافق مع التضمينات التي أنشأها نموذج آخر.

هل ينبغي أن أحتفظ بالتضمينات القديمة إلى الأبد؟

لا. احتفظ بها أثناء التقييم وإمكانية التراجع. بعد التحقق من النموذج الجديد واكتمال الترحيل، يمكن أن تؤدي إزالة المتجهات القديمة إلى استعادة مساحة تخزين كبيرة وتقليل استهلاك ذاكرة الفهرس.

الحكم النهائي

يمكن أن تتعايش نماذج تضمين متعددة بسلاسة في نظام بحث خاص واحد عندما تظل مساحاتها المتجهية واضحة. خزّن بيانات النموذج ومسار المعالجة، واستعلم من كل مساحة باستخدام المُرمِّز المطابق، وادمج النتائج بوعي، ثم رحّل البيانات عبر الملء الخلفي بالتوازي. التصميم الخطير ليس «استخدام أكثر من نموذج»، بل فقدان القدرة على تتبّع النموذج الذي أنشأ كل متجه، وافتراض أن كل درجة تشابه تعني الشيء نفسه.