لماذا ينخفض معدل نقل البيانات في NAS عندما يفحص مفهرس الذكاء الاصطناعي ملايين الملفات الصغيرة؟

إيفا وونغ

IceWhale author

إيفا وونغ هي كاتبة تقنية و ومهندسة هاوية في ZimaSpace. مهووسة بالتكنولوجيا مدى الحياة ولديها شغف بالمختبرات المنزلية والبرمجيات مفتوحة المصدر، تتخصص في تبسيط المفاهيم التقنية المعقدة إلى أدلة عملية وسهلة الفهم. تؤمن إيفا بأن الاستضافة الذاتية يجب أن تكون ممتعة وليست مخيفة. من خلال دروسها، تمكّن المجتمع من تبسيط إعدادات الأجهزة، بدءًا من بناء أول نظام تخزين شبكي NAS وحتى إتقان حاويات Docker.

Why Does NAS Throughput Fall When an AI Indexer Scans Millions of Small Files? - Zima Store Online

ينخفض معدل نقل البيانات في NAS أثناء فهرسة الملفات الصغيرة لأن تكاليف البيانات الوصفية الثابتة وعمليات الفتح والإغلاق تهيمن قبل أن تصل وحدة التخزين إلى معدلات نقل تسلسلية فعّالة.

يمكن لأداة فهرسة تفحص تيرابايتًا واحدًا في بضعة أرشيفات كبيرة بثّ البيانات، لكن توزيع البايتات نفسها على ملايين المستندات يتطلب ملايين عمليات البحث. قد يؤدي كل مسار إلى اجتياز الأدلة، وفحوصات الأذونات، وقراءة السمات، وفتح الملفات، وقراءات صغيرة، وإغلاق الملفات، وحساب التجزئة، وكتابة الفهرس. عندها يصبح الحمل مقيدًا بعدد العمليات في الثانية وزمن الاستجابة، لا بعرض النطاق وحده.

كل ملف يضيف عملًا لا يتناسب مع حجمه

قبل قراءة المحتوى، يحل العميل وNAS المسار، ويفحص البيانات الوصفية، ويفرض الأذونات، ويفتح مقبضًا. تكلف هذه العمليات الثابتة تقريبًا القدر نفسه لملاحظة حجمها كيلوبايتان كما تكلف لملف فيديو كبير، لذلك تتقلص البايتات المفيدة لكل طلب مع انخفاض متوسط حجم الملف.

صُمم عمل TableFS حول أحمال العمل التي تهيمن عليها البيانات الوصفية للتعامل مع أحمال تهيمن عليها البيانات الوصفية والملفات الصغيرة، موضحًا أن أنظمة الملفات المحلية التقليدية قد تختنق بسبب عمليات مساحة الأسماء حتى عندما تكون وحدة التخزين الأساسية قادرة على نقل البيانات بسرعة أكبر بكثير.

يضيف نظام الملفات عبر الشبكة تبادلات بروتوكولية وعمليات قفل من جهة الخادم أو التحقق من ذاكرة التخزين المؤقت. يمكن للتوازي إخفاء بعض زمن الاستجابة، لكن كثرة العاملين تعمّق قوائم الانتظار، وتطرد البيانات الوصفية المفيدة من الذاكرة المؤقتة، وتجعل طلبات NAS التفاعلية تنتظر خلف عمليات التعداد الجماعي.

تكسر الأدلة الكبيرة والوصول العشوائي كفاءة النقل التسلسلي

توسّع ملايين الإدخالات فهارس الأدلة ومجموعات عمل inode بما يتجاوز سعة الذاكرة المؤقتة. يقفز الفحص بين كتل البيانات الوصفية والمقاطع الصغيرة، مما يقلل فعالية القراءة المسبقة ويفرض عمليات بحث على الأقراص الصلبة أو طلبات متناثرة على أقراص SSD بدلًا من عمليات نقل تسلسلية طويلة.

يبحث العمل حول أدلة الملفات القابلة للتوسع في الأدلة التي تحتوي على ملايين إلى مليارات الملفات الصغيرة، ويوزع نمو البيانات الوصفية عبر الأقسام. يوضح تصميمه أن قابلية توسع مساحة الأسماء مشكلة منفصلة عن عرض نطاق الجهاز الخام. ويظل هذا التمييز ظاهرًا أثناء الاختبارات المنزلية اللاحقة.

يضيف مسار الذكاء الاصطناعي تدفقًا عشوائيًا آخر عندما يكتب التجزئات، أو نصوص OCR، أو الصور المصغرة، أو سجلات قاعدة بيانات المتجهات. تتنافس قوائم انتظار القراءة والكتابة، وقد تؤدي عمليات الالتزام المتزامنة لقاعدة البيانات إلى إيقاف الإدخال مؤقتًا حتى عندما تُظهر الأقراص معدل نقل تسلسليًا أقصى غير مستغل.

يُعمّم اضطراب الذاكرة المؤقتة التباطؤ على مستخدمي NAS الآخرين

تتنافس إدخالات الأدلة، والسمات، وبيانات الملفات، وصفحات النماذج، ومخازن الفهرس المؤقتة على ذاكرة الوصول العشوائي. قد يستبدل الفحص الواسع الملفات المنزلية المستخدمة بكثرة في الذاكرة المؤقتة، بينما تكرر برامج مكافحة الفيروسات، وإنشاء الصور المصغرة، أو حسابات التحقق قراءة البيانات التي تسببت فيها أحداث الوصول الجديدة نفسها.

يوضح تحليل النفقات الإضافية للملفات الصغيرة كيف تُنشئ الأعداد الكبيرة من الكائنات التي يقل حجمها عن 64KB نفقات إضافية للبيانات الوصفية والطلبات تخفيها مقاييس معدل النقل الجماعي. ويؤدي تجميع العمل إلى تغيير النسبة بين الحمولة المفيدة والمعالجة لكل كائن. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل متابعة الأتمتة.

تتمثل نقطة الفشل في افتراض أن عدد الملفات وحده يحدد الأداء. يمكن لذاكرة مؤقتة دافئة للبيانات الوصفية على SSD، وأرشيف محزّم، وقاعدة بيانات فهرس محلية، وبروتوكول مجمّع التعامل مع ملفات أكثر من قرص HDD بارد عبر SMB عالي زمن الاستجابة. قِس العمليات وقوائم الانتظار وفق التخطيط الفعلي.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

قِس الملفات في الثانية منفصلًا عن الميغابايتات في الثانية

أنشئ مجموعات بيانات ذات إجمالي بايتات متساوٍ، لكن بوسيط أحجام ملفات يبلغ 4KB و64KB و1MB و64MB، مع أدلة مسطحة وأخرى متداخلة بعمق. سجّل الملفات في الثانية، وعمليات البيانات الوصفية، وذهاب وإياب الشبكة، وعمليات الإدخال والإخراج في الثانية، وزمن انتظار قائمة الانتظار، وفقدان الذاكرة المؤقتة، وكتابات الفهرس، وزمن استجابة NAS التفاعلي.

استخدم فصل عنق الزجاجة إطارًا لتحديد عنق الزجاجة، مع التكرار باستخدام عامل فهرسة واحد وأربعة وستة عشر عاملًا، ثم باستخدام تجميع المحتوى ووضع قاعدة بيانات الفهرس على جهاز آخر. اجعل مجموعة الملفات وحالة الذاكرة المؤقتة محددتين بوضوح.

اختر التزامن عند النقطة التي يتوقف فيها عدد الملفات في الثانية عن التحسن أو يتجاوز فيها زمن الاستجابة التفاعلي p95 حده. إذا كانت البيانات الوصفية هي العامل المهيمن، فقلل عمليات الإحصاء المتكررة وجمّع العمل؛ وإذا كانت قراءات المحتوى هي المهيمنة، فحسّن تخطيط التخزين بدلًا من اعتبار عرض النطاق التسلسلي السعة المفقودة.