كيف تستعيد عملية ضغط قاعدة بيانات المتجهات المساحة بعد حذف المستندات؟

تستعيد عملية ضغط قاعدة بيانات المتجهات المساحة المحذوفة عبر إعادة كتابة السجلات النشطة في مقاطع نظيفة، والتخلص من ملفات المقاطع الأقدم التي لا تزال تحتوي على متجهات محذوفة.

قد يؤدي حذف مستند منزلي من مكتبة RAG محلية إلى اختفائه من البحث فورًا، بينما بالكاد يتغير استخدام القرص. وهذا لا يعني بالضرورة أن الحذف فشل. تفصل العديد من قواعد بيانات المتجهات بين الظهور المنطقي والتنظيف الفعلي للتخزين، بحيث تظل عمليات الكتابة الأمامية سريعة ويستمر القراء في استخدام المقاطع غير القابلة للتغيير أو الموجهة نحو الإضافة. والضغط هو مسار الصيانة اللاحق الذي يحوّل عمليات الحذف المنطقية هذه إلى تمثيل فعلي أصغر حجمًا.

يغيّر الحذف عادةً مستوى الظهور قبل أن يعيد كتابة البايتات المخزنة

سيؤدي تعديل ملف فهرس كبير فعليًا عند كل عملية حذف إلى عمليات كتابة عشوائية مكلفة وتعقيدات في التزامن. لذلك تسجل العديد من المحركات بدلًا من ذلك علامة حذف أو سجل حذف يخبر البحث بتجاهل المتجه.

تتيح علامات حذف HNSW جعل الكائنات المحذوفة غير مؤهلة للبحث في الرسم البياني قبل أن تزيل الصيانة الخلفية كل حالة الفهرس الخاصة بها فعليًا.

لذلك تحدث النتيجة التي يراها المستخدم والنتيجة على مستوى القرص في وقتين مختلفين. فقد يتوقف السجل عن الظهور في نتائج أقرب الجيران، بينما تبقى بايتاته القديمة داخل مقطع موجود.

ويمنح هذا الفصل قاعدة البيانات أيضًا مجالًا لتنسيق الاستعلامات المتزامنة والنسخ المتماثلة واللقطات وقواعد الاحتفاظ قبل إتلاف هياكل التخزين التاريخية.

تتراكم السجلات المحذوفة داخل المقاطع حتى بلوغ حد التنظيف

قد يحتوي المقطع على متجهات نشطة وسجلات لم تعد مؤهلة للبحث. ومع تراكم التحديثات وعمليات الحذف، تنخفض نسبة البيانات المفيدة إلى البيانات المتقادمة.

يمكن أن يؤخر حد المتجهات المحذوفة عملية التنظيف المكلفة حتى تتراكم نقاط متقادمة كافية لجعل إعادة كتابة المقطع مجدية.

يؤدي الانتظار حتى بلوغ الحد إلى توزيع تكلفة الصيانة. فإعادة كتابة مقطع لاستعادة سجل محذوف صغير جدًا قد تتطلب عمليات إدخال وإخراج تفوق قيمة المساحة المستعادة. وعلى خادم منزلي تتكرر فيه إعادة الفهرسة، قد ترتفع كمية التخزين الفعلي المتقادم لفترة من الوقت قبل أن يقرر المُحسِّن أن التنظيف يستحق التنفيذ.

ينسخ الضغط البيانات النشطة إلى مقاطع جديدة أو مدمجة

عند بدء الصيانة، تقرأ قاعدة البيانات المقاطع المصدر المؤهلة، وتتخطى السجلات المحذوفة منطقيًا، ثم تكتب المتجهات والحمولات المتبقية في تمثيل مضغوط جديد.

تؤدي عملية الضغط بوصفها دمجًا للمقاطع وتنظيفًا للحذف إلى إعادة كتابة البيانات المتبقية في مقاطع أنظف، مع استبعاد السجلات المحذوفة منطقيًا أو المنتهية صلاحيتها.

يمكن دمج المقاطع الصغيرة في الوقت نفسه، ما يقلل عدد الهياكل المنفصلة التي يجب على البحث الرجوع إليها. ويمثل المقطع الجديد الحالة النشطة بدلًا من نقل كل تغيير تاريخي إلى الأمام.

وقد تتطلب عملية إعادة الكتابة هذه مساحة حرة إضافية مؤقتًا، لأن المقاطع القديمة والجديدة قد تتعايش حتى يتم التحقق من البديل وتفعيله.

Featured

ZimaCube 2 سحابة شخصية منزلية NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

تُعاد بناء الفهارس حول مجموعة المتجهات المتبقية

إن إزالة بايتات حمولات المتجهات ليست سوى جزء من عملية التنظيف. فقد تشير روابط الرسم البياني والهياكل المُكمَّمة والمرشحات وبيانات المقاطع الوصفية إلى سجلات لم تعد تنتمي إلى المقطع النشط.

يضمن مسار الضغط الذي يعيد بناء الفهارس أثناء التحسين توافق هياكل البحث في الرسم البياني والهياكل المساعدة مع مجموعة المتجهات المتبقية، بدلًا من الاحتفاظ بمراجع إلى النقاط المحذوفة.

وبالنسبة إلى HNSW، قد يغير ذلك طوبولوجيا الرسم البياني حتى عندما تظل المتجهات المتبقية نفسها دون تغيير. ولهذا قد يؤثر الضغط في اجتياز البحث عن الجيران التقريبي، مع الحفاظ على مجموعة البيانات المنطقية نفسها. والآلية الموضحة في هذه المقالة هي دورة حياة التخزين: إذ تُستبعد السجلات المتقادمة من الفهرس المعاد كتابته حتى يختفي أثرها الفعلي في النهاية.

يجب التخلص من المقاطع القديمة قبل تحرير مساحة التخزين الخاصة بها

بعد أن يصبح المقطع المضغوط التمثيل النشط، تُعلَّم المقاطع القديمة بأنها متقادمة أو تُسقط. وقد تنتظر الملفات الأساسية رغم ذلك فترة جمع مهملات أو احتفاظ قبل تحرير كتل القرص فعليًا.

عندما يتبع جمع المهملات عملية الضغط، قد تبقى ملفات المقاطع المسقطة مؤقتًا بعد تفعيل البديل المضغوط، ولذلك قد تُحرَّر مساحة نظام الملفات في وقت لاحق لتغير مستوى الظهور في الاستعلامات.

وقد تطيل اللقطات والاحتفاظ بالنسخ الاحتياطية والنسخ المتماثلة أو القراء الذين يحتفظون بالمراجع هذا التأخير في الأنظمة التي تحتفظ بأجيال المقاطع الأقدم.

لذلك يجب أن يميز رصد القرص بين عدد الكيانات المنطقي وحجم المقاطع النشطة ومساحة الضغط المؤقتة والمقاطع المسقطة وسعة نظام الملفات الحرة.

الضغط صيانة خلفية لها تكلفة موارد خاصة بها

يستهلك قراءة المقاطع القديمة وكتابة المقاطع الجديدة وإعادة بناء الفهارس وحذف الملفات المتقادمة موارد من وحدة المعالجة المركزية وعرض نطاق القرص والذاكرة، وأحيانًا مساحة تخزين مكررة مؤقتة.

تجعل مقاييس تنظيف علامات الحذف إصلاح عمليات الحذف قابلًا للرصد بوصفه مهمة صيانة لها دوراتها ومددها واستهلاكها الخاص للموارد.

يُعد تجنب سجلات الفهرس المتقادمة بعد تحديثات الملفات متطلبًا سابقًا: إذ يجب أن يصل حذف المصدر أولًا إلى قاعدة بيانات المتجهات قبل أن يتمكن الضغط من استعادة التمثيل المتقادم.