ما الذي يسبب انحراف التضمينات بعد إعادة فهرسة مكتبة المستندات نفسها؟
يظهر انحراف التضمين عند إعادة الفهرسة عندما يتغير النموذج أو النص أو إعدادات المُرمِّز أو المسار العددي أو قواعد المقارنة المستخدمة لتمثيل المكتبة.
قد تحتوي قاعدة المعرفة المنزلية على ملفات PDF والملاحظات والأدلة والسجلات العائلية نفسها قبل إعادة البناء وبعدها، ومع ذلك تُرجع جيرانًا أقرب أو درجات تشابه مختلفة. بعض التغييرات تمثل انحرافًا حقيقيًا في التضمين، أي أن المتجه الناتج عن الإدخال المتطابق قد تغيّر. أما التغييرات الأخرى فتمثل انحرافًا في الإدخال، حيث تغيّر النص المُرسل إلى المُرمِّز، أو انحرافًا في الاسترجاع، حيث يجري البحث في المتجهات المتطابقة باستخدام مقاييس أو إعدادات فهرس مختلفة. لذلك تتمثل الحدود التشخيصية الأولى في مقارنة بايتات المصدر، والنص المستخرج، وهوية المقطع، والمتجهات الخام، والنتائج المرتبة باعتبارها عناصر منفصلة.
يختلف انحراف المتجه الفعلي عن انحراف الاسترجاع الظاهري
يعني الانحراف الفعلي أن النص المُطبَّع نفسه ينتج متجهًا مختلفًا. أما الانحراف الظاهري فيعني أن المتجه ثابت، لكن عضوية المقطع أو مقياس التشابه أو التصفية أو التكميم أو البحث التقريبي عن الجيران يغيّر النتائج المرتبة.
تحدد مجموعات Qdrant حجم المتجه ومقياس المسافة كمعلمات على مستوى المجموعة. وقد تؤدي إعادة البناء في مجموعة تستخدم مقياسًا آخر إلى تغيير الدرجات والترتيب من دون تغيير قيم التضمين نفسها.
تؤدي مقارنة نتائج البحث الأولى فقط إلى دمج هذه الأسباب. أما المجموع الاختباري للمتجهات الخام لمجموعة ثابتة من النصوص الاختبارية، فيفصل بين انحراف المُرمِّز وانحراف الفهرس أو الترتيب.
قد تستبدل مراجعة نموذج غير مثبّتة المُرمِّز
لا يمثل اسم النموذج دائمًا مجموعة دائمة من الأوزان وملفات التكوين. إذ يمكن لمالك المستودع تحديث الأوزان أو ملفات المُرمِّز أو إعدادات التجميع أو كود النموذج مع الإبقاء على اسم المستودع العام.
تستخدم مستودعات Hugging Face نظام التحكم في الإصدارات، ويمكن أن تستند التنزيلات إلى مراجعة محددة بدلًا من حالة الفرع الأحدث.
ينتج هذا السبب حركة واسعة عبر مجموعة ثابتة من النصوص الاختبارية، وغالبًا ما يترافق مع تغيّر في اعتماد النموذج أو مسار ذاكرة التخزين المؤقت أو تجزئة التكوين أو أصول المُرمِّز. ويختلف ذلك عن الانحراف الخاص بالمستند، الذي يؤثر فقط في الملفات التي تغيّر استخراجها أو تقسيمها إلى مقاطع.
يمكن أن تغيّر خيارات المُرمِّز طول المتجه ومقياسه وهندسته
يمكن للأوزان نفسها أن تنتج تمثيلات مختلفة عند تغيير التجميع أو التطبيع أو الدقة أو بادئات الطلبات أو الحد الأقصى لطول التسلسل أو أبعاد المخرجات.
توفّر Sentence Transformers عناصر تحكم في المُرمِّز، تشمل الدقة والتطبيع والطلبات والأبعاد المقتطعة.
قد يحافظ تغيير التطبيع على الاتجاه مع تغيير مقدار المتجه، بينما يمكن لبادئة الطلب أن تنقل كل مستند إلى فضاء آخر مشروط بالمهمة، وقد يؤدي الاقتطاع إلى حذف أبعاد. هذه تغييرات في التكوين وليست عدم استقرار عشوائيًا.
قد لا يكون النص الذي يصل إلى المُرمِّز هو نفسه
قد تستدعي إعادة الفهرسة إصدارًا آخر من المُحلِّل أو مسارًا مختلفًا للتعرّف الضوئي على الحروف أو أداة أخرى لتطبيع المسافات البيضاء أو قاعدة مختلفة لترتيب الصفحات أو استراتيجية أخرى لتقسيم النص إلى مقاطع، حتى عندما تكون الملفات الأصلية متطابقة بايتًا ببايت.
تنفّذ Unstructured تقسيم النص إلى مقاطع بعد التجزئة، وتوضح كيف يحدد حجم المقطع والتداخل وحدود الأقسام النص الذي يدخل في كل مقطع.
إذا جرى اكتشاف عنوان واحد حديثًا أو أنتجت إحدى الصفحات نصًا مختلفًا عبر التعرّف الضوئي على الحروف، فقد تتحول حدود جميع المقاطع اللاحقة. وفي هذه الحالة لا تمثل المتجهات الناتجة تمثيلات منحرفة لإدخال متطابق؛ بل تمثل نطاقات نصية مختلفة.
قد ينتج التنفيذ غير الحتمي فروقًا عددية صغيرة
قد تجعل النوى المتوازية ومكتبات الأجهزة وترتيب العمليات والمكونات العشوائية نتائج الاستدلال المتكررة مختلفة قليلًا، حتى مع النموذج والإدخال نفسيهما.
تشير PyTorch إلى أن قابلية إعادة الإنتاج الكاملة ليست مضمونة عبر الإصدارات أو المنصات أو الأجهزة، وتوفّر عناصر تحكم في الخوارزميات الحتمية للعمليات المدعومة.
ينتج هذا السبب عادةً فروقًا صغيرة في الإحداثيات بدلًا من إعادة تنظيم كاملة للفضاء الدلالي. وإذا ظل تشابه جيب التمام بين المتجهات الاختبارية القديمة والجديدة مرتفعًا للغاية، فقد يكون التغيير ضجيجًا عدديًا لا يظهر إلا قرب حالات تعادل الترتيب.
قد يغيّر التكميم والدقة ترتيب الجيران الحدّيين
قد تنتقل عملية إعادة البناء من float32 إلى float16 أو int8 أو ملف تعريف آخر لوقت تشغيل محسّن لتقليل استهلاك الذاكرة وتحسين معدل المعالجة.
توضح ONNX Runtime أن تحويل float16 قد يؤدي إلى فروق في الدقة تتطلب اختبار التفاوت.
غالبًا ما يكون التأثير الدلالي صغيرًا، لكن المكتبة المحلية قد تحتوي على مقاطع كثيرة متشابهة. ويمكن لتحولات صغيرة في الإحداثيات أن تبدّل ترتيب الجيران الذين كانت درجاتهم الأصلية متقاربة للغاية.
قد تخلط إعادة الفهرسة بين أجيال المتجهات القديمة والجديدة
قد تحتوي مجموعة أُعيد بناؤها جزئيًا على متجهات أُنشئت باستخدام اعتمادات مختلفة للنموذج أو إعدادات مختلفة للمقاطع أو أبعاد مختلفة أو قواعد تطبيع مختلفة.
تؤدي الأجيال المختلطة إلى سلوك غير منتظم: فقد تظل المستندات غير المتغيرة مستقرة بينما تتحرك الملفات التي أُعيدت معالجتها فقط، وقد تكون متجهات الاستعلام غير متوافقة مع جزء من المجموعة المخزنة.
يوضح دليل ZimaSpace حول الفهرسة الدلالية على NAS الحد الفاصل ذي الصلة: فمكتبة المصدر والسجلات المستخرجة والتضمينات وفهرس البحث طبقات منفصلة، ولا ينبغي التعامل معها ككائن واحد غير قابل للتغيير.
الأسئلة الشائعة
هل ينتج النص المتطابق دائمًا تضمينات متطابقة بتًا ببت؟
فقط عند تثبيت النموذج، وتطابق التكوين، ومسار التنفيذ الحتمي، وتطابق بيئة الأجهزة والبرمجيات. وقد تحدث فروق صغيرة في الفاصلة العائمة بخلاف ذلك.
هل يمكن لثبات نتائج البحث أن يثبت عدم انحراف التضمينات؟
لا. فقد تتحرك المتجهات من دون تجاوز حدود الترتيب. قارن المتجهات الخام أو تجزئاتها وأوجه تشابهها على مجموعة ثابتة من النصوص الاختبارية.
هل يشير تغيّر أقرب جار دائمًا إلى انحراف النموذج؟
لا. فقد يغيّر تقسيم النص إلى مقاطع والتصفية ومقاييس المسافة والتكميم وبناء الفهرس التقريبي نتائج الاسترجاع، بينما تظل مخرجات المُرمِّز مستقرة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما الميزات التي تتيح إنشاء حدود ثقة للذكاء الاصطناعي المنزلي حول الملفات الحساسة؟
يجمع حدّ الثقة للذكاء الاصطناعي المنزلي بين التشفير أثناء السكون، وصلاحيات الحد الأدنى، والعزل الآمن أثناء التشغيل، والاسترجاع المقيّد النطاق؛ ولا تكفي أي ميزة...
ما الذي يجعل نتائج البحث الخاصة تُفضّل الملفات التي يتم تعديلها بشكل متكرر؟
تحظى الملفات التي تُعدَّل بكثرة بمزايا في الترتيب عندما يضيف كل تحديث إشارات إلى الحداثة أو المقاطع أو الإصدارات أو التفاعل، من دون إجراء...
ما الذي يتسبب في خلط نماذج الحضور في المنازل الذكية بين الضيوف والمقيمين؟
قد يبدو الضيوف كأنهم من المقيمين عندما يرصد النظام أنماط نشاط الأسرة، لكنه يفتقر إلى إشارة هوية مستقرة للشخص الذي يصدر هذه الأنماط.
