لماذا يعتمد بدء تشغيل نموذج الذكاء الاصطناعي المنزلي على تخطيط وحدة التخزين؟

يعتمد بدء تشغيل نموذج الذكاء الاصطناعي المنزلي من الحالة الباردة على تخطيط التخزين، لأن بيئة التشغيل يجب أن تحدد موقع كل وزن مطلوب، وتقرأه، وتفك ترميزه، وتعيّنه، وتنقله قبل بدء الاستدلال.

قد يبدأ نموذجان متطابقان بسرعات مختلفة عندما يكون أحدهما مخزّنًا مؤقتًا بالفعل على وحدة NVMe محلية وبصيغة ملائمة للتحميل، بينما يوجد الآخر على مشاركة شبكية، أو نظام ملفات مجزأ، أو أرشيف مضغوط، أو داخل مجلد يضم أجزاءً موزعة بطريقة سيئة. ويتضمن مسار البدء البارد أيضًا ملفات المُرمّز، والإعدادات، وتهيئة بيئة التشغيل، وتخصيص المسرّع، والتنفيذ الأول. تفصل الأقسام أدناه بين عرض النطاق الترددي الخام للتخزين وتخطيط نقاط التحقق، بحيث يمكن إرجاع تأخيرات بدء التشغيل إلى المرحلة الصحيحة.

بدء التشغيل البارد عبارة عن سلسلة من مراحل التخزين وبيئة التشغيل

لا يكون النموذج جاهزًا لمجرد أن العملية فتحت ملفها الأول. يجب على بيئة التشغيل اكتشاف بيانات وصفية لنقطة التحقق، وإنشاء بنية النموذج، وقراءة بايتات الأوزان، وإلغاء تسلسل الموترات أو تعيينها، وتخصيص ذاكرة الوجهة، ونقل البيانات، وتهيئة النوى أو مخططات التنفيذ.

يحدد بحث حول الاستدلال دون خادم تحميل بدء التشغيل البارد باعتباره جزءًا رئيسيًا من التأخير قبل جاهزية خدمة النموذج اللغوي الكبير. وتتغير أبطأ مرحلة بحسب حجم النموذج، وتنسيقه، وطبقة التخزين، وذاكرة المضيف، ومسار المسرّع.

يمكن لوحدة SSD سريعة تقليل زمن القراءة، مع بقاء إلغاء التسلسل، وعمليات النسخ على وحدة المعالجة المركزية، والنقل إلى وحدة معالجة الرسومات، أو إحماء النوى دون تغيير. قِس الزمن عند كل حد فاصل بدلًا من التعامل مع فترة التوقف بأكملها باعتبارها اختبارًا واحدًا للقرص.

تحدد محلية التخزين ما إذا كانت الأوزان ستصل من ذاكرة التخزين المؤقت أو الشبكة المحلية أو القرص

يمكن قراءة الأوزان المخزنة على وحدة NVMe محلية دون زمن استجابة الشبكة أو انتظار قائمة انتظار خادم آخر. أما النموذج الموجود على SMB أو NFS أو التخزين الكائني أو قرص خارجي بارد، فيضيف سلوك النقل والتخزين المؤقت عن بُعد قبل بدء التحميل المحلي.

تُظهر الأعمال الحديثة حول النماذج المخزنة مؤقتًا على العقد أن إبقاء البيانات الاصطناعية الكبيرة محليًا يمكن أن يجعل بدء تشغيل النسخ المتماثلة اللاحقة أقل اعتمادًا بكثير على إعادة التسليم عن بُعد. وعلى خادم منزلي، يفصل المبدأ نفسه بين التنزيل الأول والتشغيل المحلي المتكرر.

لكن التخزين المحلي لا يعني دائمًا أن البيانات دافئة. فقد تؤدي إعادة التشغيل، أو إخلاء ذاكرة التخزين المؤقت، أو إعادة تركيب نظام الملفات، أو قراءة جماعية متنافسة إلى إجبار عملية البدء التالية على جلب معظم صفحات النموذج من وحدة التخزين الفعلية مرة أخرى.

تتناول مقالة ZimaSpace حول إخلاء النموذج حد الذاكرة المرتبط بذلك: فبمجرد ألا يعود النموذج مقيمًا، يجب على الطلب التالي إعادة بناء حالة التنفيذ السريعة.

يتحكم تنسيق نقطة التحقق في عمل إلغاء التسلسل والنسخ

قد تكون نقطة التحقق ملفًا واحدًا متصلًا ومهيأً للتحميل، أو عدة أجزاء من الموترات مع فهرس، أو أرشيفًا مضغوطًا، أو تسلسلًا خاصًا بإطار عمل يعيد إنشاء كائنات بايثون وبيانات الموترات الوصفية.

تستخدم ServerlessLLM قراءات متسلسلة لنقاط التحقق لتقليل عبء بدء التشغيل البارد. ويهدر التخطيط الذي يدعم قراءات مباشرة كبيرة وتحديدًا متوقعًا لمواضع الموترات وقتًا أقل في عمليات البيانات الوصفية الصغيرة وإعادة البناء الوسيطة.

يمكن للتقسيم إلى أجزاء تقليل ذروة ذاكرة المضيف لأن جزءًا واحدًا يُعالج في كل مرة، إلا أن كثرة الملفات الصغيرة تزيد عمليات البحث في المجلدات وفتح الملفات والتنقلات ومعالجة الفهرس. ويعتمد أفضل حجم للأجزاء على التوازي الذي يدعمه المحمّل ونظام الملفات الأساسي.

تستبدل عملية الضغط سعة التخزين بعمل إضافي على وحدة المعالجة المركزية أثناء بدء التشغيل. وقد يكون مفيدًا عندما تكون وحدة التخزين بطيئة جدًا، لكنه قد يضر بالأداء عندما تنتظر وحدة SSD السريعة فك الضغط وعمليات نسخ الذاكرة.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

يغيّر تعيين الذاكرة توقيت دخول الصفحات إلى ذاكرة الوصول العشوائي

قد يخصص المحمّل النشط مخزنًا كبيرًا في المضيف ويقرأ معظم نقطة التحقق أو كلها قبل نسخ الموترات إلى وجهتها. أما المحمّل المعتمد على تعيين الذاكرة، فينشئ تعيينات افتراضية ويتيح لنظام التشغيل جلب صفحات الملفات إلى ذاكرة الوصول العشوائي عند استخدامها.

تستخدم الأبحاث وأنظمة التحميل الحديثة التحميل المعتمد على تعيين الذاكرة لتجنب تكرار البيانات الاصطناعية بالكامل في الذاكرة المجهولة. ويمكن أن يقلل ذلك ذروة الذاكرة، ويتيح للعمليات المتكررة إعادة استخدام الصفحات عبر ذاكرة التخزين المؤقت لنظام الملفات.

لا يلغي تعيين الذاكرة زمن استجابة التخزين، بل ينقل عمليات القراءة إلى وقت حدوث أخطاء الصفحات؛ لذلك قد يظل الاستدلال الأول متوقفًا إذا لم تُحمّل الصفحات المطلوبة أو تُجلب مسبقًا.

قد يساعد الجلب المسبق المتسلسل نموذجًا يصل إلى معظم الأوزان بالترتيب، بينما قد يجعل الوصول العشوائي إلى الخبراء أو مكونات الوسائط المتعددة نمط أخطاء الصفحات أقل قابلية للتنبؤ.

لا يفيد التحميل المتوازي إلا عندما يملك مسار التخزين سعة كافية

يمكن لخيوط تحميل متعددة أو تدفقات نسخ إلى وحدة معالجة الرسومات أن تداخِل بين القراءة وفك الترميز والنقل. لكنها قد تحول قراءة منظمة واحدة إلى عدة تدفقات متنافسة تشبع وحدة SSD ضعيفة أو جسر USB أو مشاركة شبكية أو مسار البيانات الوصفية لنظام الملفات.

تُظهر النتائج الهندسية من NVIDIA حول البث المتزامن للأوزان أن تصميم التحميل واختيار التخزين يحددان التحسن معًا. ويكون التوازي مفيدًا عندما يستطيع المصدر والوجهة تحمّله دون تضخم قوائم الانتظار.

قد يكون الخادم المنزلي أيضًا بصدد تقديم الوسائط، أو كتابة نسخ احتياطية، أو فحص الملفات، أو تشغيل قواعد بيانات على مجموعة التخزين نفسها. وتغير هذه الأحمال زمن بدء التشغيل البارد رغم أن مجلد النموذج لم يتغير.

يمكن لذاكرة التخزين المؤقت الدافئة وإعادة استخدام الأوزان أن تهيمن على عمليات البدء المتكررة

قد تقرأ عملية البدء الأولى بعد الإقلاع كل بايت من النموذج من وحدة التخزين، بينما تستفيد العملية الثانية من ذاكرة التخزين المؤقت لصفحات نظام الملفات، أو من ذاكرة وحدة معالجة الرسومات المحتفظ بها، أو من بيئة تشغيل تُبقي الأوزان جاهزة لإعادة الاستخدام.

تسرّع Tangram بدء التشغيل عبر إعادة استخدام الأوزان في ذاكرة وحدة معالجة الرسومات. والدرس الأوسع للخادم المنزلي هو أن مصطلح «بدء التشغيل البارد» يجب أن يحدد أي ذاكرات تخزين مؤقت وعمليات جرى مسحها قبل الاختبار.

لا تقارن نموذجًا بعد تشغيل دافئ مباشرة بنموذج آخر بعد إعادة التشغيل. حدّد حالات باردة، ودافئة على مستوى نظام الملفات، ودافئة على مستوى بيئة التشغيل، ودافئة على مستوى المسرّع، كلًّا على حدة.

اختبر التخطيط باستخدام اختبار متكرر للحالة الباردة

سجّل حجم النموذج، وعدد الملفات، وأحجام الأجزاء، ونظام الملفات، وخيارات التركيب، وجهاز التخزين، ومسار الشبكة، ووضع المحمّل، وذاكرة المضيف، وذاكرة المسرّع، وعمليات الإدخال والإخراج المتنافسة. ثم قِس زمن اكتشاف البيانات الوصفية، والقراءة إلى المضيف، وإلغاء التسلسل، والنقل إلى الجهاز، وتهيئة بيئة التشغيل، والوصول إلى الرمز الأول.

تدرس FlowLoader التخزين المؤقت المحلي للنماذج لأن موضع نقطة التحقق وتداخل مراحل خط الأنابيب يمكن أن يقللا زمن بدء التشغيل من ثوانٍ أو دقائق. ويعتمد التحسن الفعلي على ما إذا كان الاختناق الحقيقي في التخزين أو عمليات النسخ أو التهيئة.

كرّر الاختبار بعد إسقاط ذاكرة التخزين المؤقت لنظام الملفات، وبعد تشغيل دافئ عادي، وأثناء حركة ممثلة على NAS. وتكشف الفجوة الناتجة ما إذا كان تغيير التخطيط، أو اعتماد طبقة محلية أسرع، أو تقليل عدد الأجزاء، أو استخدام تعيين الذاكرة، أو تطبيق سياسة إبقاء الخدمة نشطة سيساعد.