لماذا تبطئ أدوات الفهرسة الخلفية خادم المنزل الذي يكون في حالة خمول؟

تبطئ الفهارس الخلفية خادم المنزل الخامل عادةً لأن "الخامل" يعني عادةً وجود حركة مرور قليلة موجهة للمستخدم، وليس أن الخادم بلا عمل. يقوم الفهرس بمسح الدلائل بنشاط، وقراءة البيانات الوصفية أو محتويات الملفات، وتوليد المعاينات، وتحديث قاعدة بيانات البحث، وتثبيت المراقبين حتى يمكن اكتشاف التغييرات المستقبلية.

يتم تحميل التكلفة مقدمًا أثناء الفحص الأولي أو إعادة البناء، لكن الفهرسة التدريجية تستخدم أيضًا التخزين والذاكرة والمعالج وإدخال/إخراج قاعدة البيانات. قد يعرض لوحة التحكم عدم وجود مستخدمين نشطين بينما لا يزال الفهرس يحول مكتبة كبيرة إلى بيانات تجعل عمليات البحث اللاحقة سريعة.

ما العمل الذي يحدث قبل أن يصبح البحث سريعًا؟

يتجنب البحث فتح كل ملف في وقت الاستعلام لأن الفهرس يقوم بهذا العمل مسبقًا. تبادل الفهرسة العمل في الخلفية مقابل بحث أسرع، حيث يخزن المصطلحات والخصائص القابلة للبحث في هيكل مصمم للبحث السريع.

يمكن أن تشمل سلسلة المعالجة اكتشاف المسارات، واكتشاف نوع الملف، والطوابع الزمنية، والملكية، والوسوم، واستخراج النصوص، ومدة الوسائط، وفحوصات التحقق، والوجوه، والكائنات، والبيانات الوصفية الخاصة بالتطبيق.

ينقل هذا التكلفة من كل بحث إلى مرحلة الإدخال والصيانة. يشعر الخادم بأنه مشغول قبل أن يطرح المستخدم سؤالًا لأنه يحسب مسبقًا الإجابات التي يتوقع واجهة البحث إرجاعها فورًا.

لماذا يلمس الفحص الأولي هذا القدر الكبير من التخزين؟

لا يحتوي الفهرس الأولي على سجل موثوق لما هو موجود بالفعل، لذا تقرأ الفحوصات الأولية هيكل المكتبة بالكامل. تتطلب الأشجار الكبيرة تعداد الدلائل وقراءة البيانات الوصفية حتى عندما لا تحتاج معظم الملفات إلى استخراج المحتوى الكامل.

يمكن لعمليات البيانات الوصفية الصغيرة أن تهيمن على الفحص. فتح الدلائل، واستدعاء stat، والتحقق من ملفات sidecar، ومقارنة سجلات قاعدة البيانات تخلق العديد من طلبات الإدخال/الإخراج الحساسة للكمون بدلاً من قراءة تسلسلية واحدة نظيفة.

تزيد عمليات التوصيل عن بُعد من التكلفة لأن كل رحلة ذهاب وإياب للبيانات الوصفية تعبر عبر بروتوكول SMB أو NFS أو بروتوكول تخزين آخر. يمكن لمكتبة على أقراص صلبة بطيئة أو مجموعة مشغولة أن تجعل مرحلة اكتشاف الفهرس تتنافس مع الوصول العادي للتطبيقات والملفات.

كيف تضيف الصور المصغرة، والتعرف الضوئي على الحروف (OCR)، واستخراج المحتوى عبئًا على الحوسبة؟

يقوم بعض الفهارس بأكثر من تسجيل أسماء الملفات. تضيف الصور المصغرة والتحليل الذكي عبئًا حسابيًا، مما يتطلب فك تشفير الصور، وتغيير الحجم، واستدلال النماذج، والتعرف الضوئي على الحروف، وتحليل الصوت، أو استخراج إطارات الفيديو.

قد ينتج ملف مصدر واحد عدة مشتقات: صور مصغرة صغيرة، معاينات أكبر، بيانات الموجة الصوتية، صور الفصول، التضمينات، أو النص المعترف به. تحتاج هذه المخرجات أيضًا إلى ذاكرة وتخزين مؤقت قبل الالتزام بها.

تساعد التسريع المادي فقط في المراحل المدعومة. قد تبقى اكتشاف الملفات، وعمليات قواعد البيانات، والرموز غير المدعومة، والتحضير للتعرف الضوئي على الحروف، وبعض تحويلات الصور على وحدة المعالجة المركزية بينما تتعامل وحدة معالجة الرسوميات أو محرك الوسائط مع جزء آخر من الخط.

لماذا يخلق بناء الفهرس كتابات جديدة؟

فهرس البحث هو هيكل بيانات دائم آخر، وليس عرضًا مجانيًا للملفات الأصلية. صيانة الفهرس تضيف عمليات كتابة دائمة لقاعدة البيانات. يكتب الفهرس صفوفًا، ومصطلحات، وقوائم نشر، وصور مصغرة، وملفات ذاكرة مؤقتة، وسجلات، وسجلات معاملات.

يمكن للتحديثات التدريجية أن تخلق العديد من الكتابات الصغيرة التي تشترك في نفس مجموعة SSD أو HDD مع قواعد بيانات التطبيقات وحالة الحاويات. يمكن أن تضيف عمليات الضغط الدورية، أو نقاط التحقق، أو التنظيف، أو دمج الشظايا مراحل قراءة وكتابة أكبر لاحقًا.

حذف أو إعادة تسمية ملفات المصدر يخلق أيضًا عملًا. يجب على الفهرس إزالة السجلات القديمة، وتحديث المسارات والعلاقات، وتنظيف المشتقات، والحفاظ على الاتساق إذا تم مقاطعة المهمة.

لماذا تستهلك المراقبة التدريجية الموارد؟

بعد الفحص الأول، يمكن للفهرس مراقبة الدلائل ومعالجة التغييرات فقط. ومع ذلك، تتطلب الأشجار الكبيرة من الدلائل العديد من مراقبات نظام الملفات. يستهلك تسجيل المراقبة ذاكرة النواة حتى عندما لا تحدث تغييرات في الملفات.

يمكن أن تتجاوز تدفقات الأحداث السعة، أو تتكرر، أو تصل أسرع مما تعالجه التطبيقات. لذلك، يقوم العديد من الفهارس بجدولة عمليات فحص للتحقق من صحة الأحداث لتعويض الأحداث الفائتة، مما يعني أن المراقبة المعتمدة على الأحداث تقلل ولكن لا تلغي دائمًا العمل الكامل على الشجرة.

يمكن أن يتسبب تدفق مفاجئ من عمليات التحميل، أو الأرشفة المستخرجة، أو عمليات المزامنة، أو إعادة تسمية المجلدات في موجة فهرسة ثانية. قد يكون الخادم هادئًا من وجهة نظر المستخدم بينما يقوم الفهرس بتفريغ تراكم أحداث نظام الملفات.

متى يجب تقليل سرعة الفهرسة أو توزيعها أو عزلها؟

تحتاج الفهرسة الخلفية إلى حدود موارد صريحة. حدد عدد العمال، واستخدام وحدة المعالجة المركزية أو وحدة معالجة الرسوميات، وأولوية الإدخال/الإخراج، والذاكرة، وجداول الفحص عندما يشارك الفهرس الأجهزة مع الخدمات التفاعلية.

احتفظ بقاعدة بيانات الفهرس، والصور المصغرة، والتخزين المؤقت المؤقت على تخزين أسرع عندما تعيش النسخ الأصلية على مجموعة HDD موجهة للسعة. وزع عمليات الفحص الأولية بعيدًا عن النسخ الاحتياطية، والتنظيف، والنسخ الكبيرة، وتحويلات الوسائط بدلاً من اعتبار كل العمل الخلفي غير ضار.

عطّل تحليل المحتوى الذي لا يوفر قيمة بحث مفيدة، استبعد الأدلة المتقلبة أو المولدة، وفضل التحديثات التدريجية بعد وجود قاعدة مستقرة. عزل الفهرس على حوسبة منفصلة فقط عندما تكون تكلفة الوصول إلى الشبكة ونقل البيانات أقل من التنافس الذي يزيله.

الأسئلة الشائعة

لماذا يكون التشغيل الأول للفهرسة أبطأ بكثير من التشغيلات اللاحقة؟

يجب أن يكتشف التشغيل الأول المكتبة الكاملة وينشئ كل سجل فهرس ومشتق. يمكن أن تعالج التشغيلات اللاحقة عادةً البيانات الجديدة أو المتغيرة فقط.

هل يمكن أن يبطئ الفهرس الخادم مع حركة مرور شبكة منخفضة؟

نعم. يمكن لقراءات البيانات الوصفية المحلية، وتوليد الصور المصغرة، وكتابة قواعد البيانات، وضغط التخزين المؤقت، وتحليل وحدة المعالجة المركزية أن تهيمن حتى عندما تعبر بيانات قليلة الشبكة.

هل تلغي مراقبات نظام الملفات إعادة الفحص؟

ليس بالكامل. يمكن أن تتطلب حدود المراقبة، وتجاوز الأحداث، والأحداث الفائتة، وإعادة تشغيل التطبيقات، وفحوصات التناسق مسحًا جزئيًا أو كاملاً للتحقق.

هل يجب تخزين قواعد بيانات الفهرس مع الوسائط الأصلية؟

يمكن أن تكون كذلك، لكن وجود SSD منفصل للفهرس، والتخزين المؤقت، والصور المصغرة غالبًا ما يحمي النسخ الأصلية المعتمدة على HDD وقواعد البيانات التفاعلية من عمليات الإدخال/الإخراج العشوائية الصغيرة.

النتيجة النهائية

تجعل الفهارس الخلفية خادم المنزل الذي يبدو خاملاً مشغولًا لأن سرعة البحث تُشترى من خلال الفحص المبكر، والاستخراج، وتوليد المشتقات، وصيانة قاعدة البيانات. يستمر الحمل بعد التشغيل الأولي من خلال المراقبين والتحديثات التدريجية. يجب أن تكون الفهارس المفيدة محددة النطاق، ومحدودة السرعة، ومجدولة، وموضوعة بحيث تحسن الاكتشاف دون استهلاك ميزانية زمن الاستجابة لكل تطبيق مستضاف ذاتيًا.