كيفية تخزين نماذج LLM المحلية دون امتلاء قرص SSD لمحطة العمل

احتفظ بمجموعة صغيرة نشطة على وحدة NVMe في محطة العمل، وضع مكتبة النماذج الأكبر على مساحة تخزين مشتركة، واجعل كل بيئة تشغيل تستخدم مسارات صريحة.

ينجح هذا التخطيط عندما تُقرأ أوزان النماذج في الغالب أثناء بدء التشغيل، وتوفر الشبكة أوقات تحميل مقبولة، وتُحمى عمليات الضبط الدقيق التي لا يمكن استبدالها بشكل منفصل عن الملفات القابلة للتنزيل. ويفشل عندما تعود كل ذاكرة تخزين مؤقت بصمت إلى قرص SSD الخاص بالإقلاع، أو عندما يؤدي غياب NAS إلى إعادة تنزيل خدمة الاستدلال للنماذج إلى دليل محلي جديد.

صنّف ملفات النماذج حسب مجموعة العمل وتكلفة إعادة البناء

ابدأ بجرد الملفات بدلًا من نقل دليل ذاكرة تخزين مؤقت ضخم واحد. قد يكون من الممكن تنزيل الأوزان الأساسية والنسخ المكمّمة مرة أخرى، لكن المحولات، وعمليات الضبط الدقيق، وقوالب المطالبات، والبيانات الوصفية، ونتائج التقييم، والملفات المحوّلة محليًا قد تكون فريدة. صنّف كل عنصر على أنه ساخن أو دافئ أو بارد أو غير قابل للاستبدال، ثم سجّل التطبيق المسؤول عن مساره.

تتضمن المجموعة الساخنة النماذج المستخدمة يوميًا، وينبغي أن تتسع لها ميزانية ثابتة في محطة العمل. يمكن أن تعيش النماذج الدافئة على NAS وتُنسخ محليًا قبل بدء المشروع. ويمكن أن تبقى التجارب الباردة في المكتبة المشتركة فقط. تحتاج المخرجات غير القابلة للاستبدال إلى نسخة احتياطية ذات إصدارات، حتى إذا كان من الممكن تنزيل النموذج الأساسي مرة أخرى.

يمنع هذا التصنيف خطأين شائعين: نسخ مئات الجيجابايت احتياطيًا رغم سهولة إعادة إنشائها، وحذف محول أو ملف بيانات وصفي صغير لا يمكن إعادة إنشائه بتكلفة منخفضة. كما يوفر أول رقم للسعة: حجم المجموعة الساخنة مضافًا إليه مساحة حرة لنموذج وارد واحد، وليس حجم كل نموذج قد تختبره في أي وقت.

حدّد أدوار NVMe المحلي والتخزين المشترك والأرشيف

خزّنت مجموعة ذكاء اصطناعي محلية واقعية ملفات النماذج على NAS وحمّلتها عبر شبكة 10GbE، ما يوضح أن هذا النمط قابل للتطبيق عندما تُصمَّم الشبكة ومسار التخزين لعمليات القراءة الكبيرة. والدرس المفيد من سير عمل تقديم النماذج المدعوم بـ NAS هو فصل الأدوار: فالمكتبة المشتركة هي المصدر، بينما تظل موارد الحوسبة والذاكرة على عقدة الاستدلال.

لا توجّه كل بيئة تشغيل إلى المجلد الشبكي القابل للكتابة نفسه. فقد يؤدي تحويل فاشل أو مهمة تنظيف أو تغيير في الإصدار إلى تعديل ملفات تستخدمها أداة أخرى. اجعل المكتبة الأساسية مخصصة للقراءة غالبًا، وجهّز التغييرات في مساحة العمل المؤقت، وتحقق منها، ثم ارفع العناصر المكتملة عمدًا.

أنشئ مسارًا متوقعًا واحدًا للنماذج وسياسة موحدة لذاكرة التخزين المؤقت

اختر نقطة تركيب أساسية واحدة مثل /srv/models على Linux أو حرف محرك أقراص ثابتًا على Windows، واجعلها متاحة قبل بدء Ollama أو vLLM أو LM Studio أو حاويات التطوير. اضبط إعدادات النماذج وذاكرة التخزين المؤقت لكل أداة بوضوح. يُقبل استخدام رابط رمزي فقط عندما يُنفّذ فحص نقطة التركيب أولًا ولا يتغير الوجهة بين عمليات إعادة التشغيل.

يحدد المشغّلون في المجتمع الذين يفكرون في استخدام NAS منفصل وقت تحميل النموذج باعتباره الحد الفاصل. ففي إحدى مناقشات محطات عمل الذكاء الاصطناعي وNAS، أوصى المشاركون بالاحتفاظ بالنماذج المستخدمة بكثرة على NVMe المحلي، لأن الأوزان الكبيرة قد تستغرق دقائق للعبور عبر اتصال أبطأ.

استخدم قائمة سماح لذاكرة التخزين المؤقت المحلية الساخنة بدلًا من نسخ NAS بالكامل. بعد نجاح التحميل أو النسخ، تحقق من حجم الملف أو مجموع التحقق، ثم حدّث اسمًا مستعارًا ذريًا مثل current/model-name. أخلِ فقط النماذج التي لا تعمل وليست مثبتة. واحتفظ بما لا يقل عن القيمة الأكبر بين 15 بالمئة من المساحة الحرة أو تنزيل نموذج واحد بأقصى حجم متوقع، حتى لا يملأ تحديث ما وحدة تخزين الإقلاع في منتصف العملية.

Featured

ZimaCube 2 سحابة شخصية منزلية NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

احمِ ملفات البيانات الوصفية وعمليات الضبط الدقيق، لا كل تنزيل

انسخ احتياطيًا المعلومات اللازمة لإعادة بناء المكتبة: عنوان المصدر أو معرّف المستودع، والمراجعة الدقيقة، واسم الملف، ومستوى التكميم، ومجموع التحقق، وملاحظات الترخيص، وإعدادات بيئة التشغيل، والمسار المستخدم في الإنتاج. تكون هذه البيانات الوصفية صغيرة وقابلة للبحث وأكثر فائدة أثناء الاسترداد من دليل مليء بملفات ذات أسماء غامضة.

انسخ المحولات الفريدة، والنماذج المدمجة، وبيانات المعايرة، ونتائج التقييم احتياطيًا مع الاحتفاظ المعتاد بالإصدارات. وبالنسبة إلى الأوزان الأساسية العامة، قرر ما إذا كان وقت الاسترداد يبرر الاحتفاظ بنسخة أخرى. فقد يجعل اتصال الإنترنت البطيء أو نموذج قد يختفي بعض الأوزان المختارة جديرة بالحماية، لكن نسخ كل تجربة يبدد سعة النسخ الاحتياطي عادةً.

إذا كانت طبقة ملفات الذكاء الاصطناعي الأوسع لا تزال غير محسومة، فستكون مقارنة ZimaSpace بين السحابة الشخصية وتخزين الملفات محليًا على الحاسوب لملفات الذكاء الاصطناعي هي الخطوة التالية في التخطيط. فهي تفصل بيانات المصدر والفهارس الدائمة عن الجهاز الذي ينفذ الاستدلال.

تحقق من وقت التحميل والسلوك دون اتصال ومحفز التوسع

اختبر ثلاثة مسارات مع إيقاف خدمة النماذج: تحميل محلي ساخن، وتحميل بارد من NAS، وتعطل NAS. سجّل الوقت حتى أول استجابة قابلة للاستخدام، وأقصى معدل نقل عبر الشبكة، والمساحة الحرة في محطة العمل قبل الاختبار وبعده، وما إذا كانت أي أداة تنشئ دليلًا احتياطيًا على قرص الإقلاع. كرر الاختبار بعد إعادة التشغيل حتى تُختبر عملية ترتيب نقاط التركيب بدلًا من افتراضها.

ينجح الإعداد عندما تُحمّل النماذج اليومية محليًا خلال الوقت المتوقع، ويمكن تجهيز النماذج الباردة دون تعديل المسارات يدويًا، وتُستعاد العناصر الفريدة من النسخة الاحتياطية، ويؤدي غياب NAS إلى فشل واضح بدلًا من إعادة تنزيل صامتة. أضف شبكة أسرع أو طبقة محلية أكبر فقط عندما يؤدي تأخر التحميل البارد المقاس إلى تعطيل العمل؛ وأضف سعة إلى NAS عندما تقترب المكتبة الأساسية من حد المساحة الحرة المحدد لها.

توقف عن استخدام القراءة المباشرة عبر الشبكة لحمولة عمل تبحث مرارًا عبر أجزاء النموذج، أو تتطلب زمن بدء منخفضًا ومتوقعًا، أو يجب أن تعمل أثناء توقف NAS عن الاتصال. في هذه الحالة، أبقِ NAS كمكتبة وانسخ النماذج الكاملة إلى SSD محلي مخصص وأكبر قبل التشغيل.

قاعدة الإعداد النهائية

احتفظ بمكتبة النماذج الأساسية على مساحة تخزين مشتركة، وثبّت مجموعة العمل اليومية على NVMe المحلي، واعزل ذاكرات التخزين المؤقت القابلة للتخلص منها، واحمِ فقط العناصر والبيانات الوصفية التي لا يمكن إعادة إنشائها. وسّع النظام بعد أن يتجاوز وقت التحميل أو السعة عتبة مكتوبة ومقاسة.