لماذا نفصل حالة تشغيل الذكاء الاصطناعي عن ملفات النماذج على خادم منزلي؟

يجب فصل حالة تشغيل الذكاء الاصطناعي عن ملفات النماذج، لأن الأوزان غير القابلة للتغيير وذاكرات التخزين المؤقت القابلة للتغيير تتطلب أذونات وعمليات نسخ احتياطي وترقيات وقواعد استرداد مختلفة.

قد تقرأ حاوية ذكاء اصطناعي محلية نقطة فحص لنموذج، بينما تكتب باستمرار بيانات وصفية للتنزيل، ونوى مُجمّعة، وذاكرات مؤقتة للمطالبات، وحالة المحادثات، وملفات رفع مؤقتة، وملفات قفل، وسجلات، ولقطات لحالة مُخصِّص الذاكرة. إن وضع كل هذه الملفات في دليل واحد قابل للكتابة يجعل من الصعب معرفة ما هو أساسي أو قابل للحذف أو خاص أو مرتبط بإصدار معين أو آمن الحذف. تشرح الأقسام أدناه كيف يحمي التخطيط المنفصل سلامة النموذج، مع السماح لحالة التشغيل بالتطور والانتهاء والاسترداد بشكل مستقل.

لدينا معًا دورة حياة مختلفة لملفات النموذج وحالة التشغيل

لا تتغير أوزان النموذج وموارد أداة تقسيم الكلمات والإعدادات والبيانات الوصفية للتكميم عادةً إلا عند تثبيت إصدار محدد من النموذج. أما ملفات التشغيل فقد تتغير مع كل طلب أو إعادة تشغيل.

تطبّق إرشادات Harbor لإدارة النماذج مبدأ عدم قابلية تغيير الملفات على ملفات الذكاء الاصطناعي الكبيرة، بحيث يظل الإصدار المُسمى قابلًا لإعادة الإنتاج. ويؤدي خلط عناصر التخزين المؤقت القابلة للتغيير داخل مسار الملفات إلى إضعاف معنى إصدار النموذج.

يفصل الحد الواضح بين دليل النموذج بوصفه مُدخلًا مرتبطًا بإصدار، ودليل التشغيل بوصفه حالة مُنشأة. ويمكن إعادة بناء بيئة التشغيل دون تغيير الأوزان المثبتة دون ملاحظة.

يحد مسار النموذج للقراءة فقط من التغييرات العرضية والخبيثة

تحتاج خدمة الاستدلال عادةً إلى قراءة ملفات النموذج، لا إلى إعادة كتابتها مع كل طلب. ويمنع تركيب هذا المسار للقراءة فقط إضافةً إلى ذلك مكوّنًا إضافيًا مخترقًا أو مهمة تنظيف معيبة أو أمر حاوية خاطئًا من استبدال أجزاء نقطة الفحص.

توصي إرشادات أمان الحاويات باستخدام مسارات قابلة للكتابة ذات نطاق ضيق للسجلات وذاكرة التخزين المؤقت والملفات المؤقتة، بدلًا من منح العملية شجرة تطبيق كاملة قابلة للكتابة.

لا يثبت التخزين للقراءة فقط أن النموذج موثوق، لكنه يحافظ على وحدات البايت المثبتة بعد التحقق منها، ويجعل عمليات الكتابة غير المتوقعة تفشل بوضوح.

ينبغي أن تصل إصدارات النماذج الجديدة عبر خطوة استيراد أو نشر خاضعة للتحكم، لا عبر الأذونات نفسها المستخدمة لخدمة مطالبات المستخدمين.

تنتمي النوى المُجمّعة وذاكرات التخزين المؤقت للتنفيذ إلى حالة التشغيل

قد تُجمّع محركات الاستدلال نوى أو رسومًا بيانية للتنفيذ خصيصًا لطراز وحدة معالجة رسومات أو برنامج تشغيل أو إصدار إطار عمل أو شكل موتر أو إعدادات معينة. ويمكن لهذه الملفات تسريع عمليات التشغيل اللاحقة، لكنها مشتقة من البيئة.

تصف هندسة NVIDIA حالة التشغيل المهيأة باعتبارها مصدرًا مستقلًا لتأخير بدء التشغيل البارد عن أوزان النموذج نفسها. وقد يؤدي تحديث برنامج التشغيل أو بيئة التشغيل إلى إبطال هذه الحالة، مع بقاء نقطة الفحص دون تغيير.

خزّن ذاكرات التخزين المؤقت للتجميع والنوى ضمن جذر إصدار خاص بذاكرة تشغيل مؤقتة. وبذلك يمكن حذفها أو إعادة إنشائها دون حذف النسخة الأساسية من النموذج.

Featured

ZimaCube 2 سحابة شخصية منزلية NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

تحمل ذاكرات التخزين المؤقت للمحادثات والبادئات بيانات خاصة بالمستخدم

قد تحتوي ذاكرة KV المؤقتة وذاكرة المطالبات المؤقتة والمقاطع المسترجعة والملفات المرفوعة مؤقتًا وذاكرة الجلسة على سياق المنزل أو تشفّره. ولا تتطابق قواعد الخصوصية وانتهاء الصلاحية لهذه البيانات مع قواعد أوزان النماذج العامة.

يفصل تصميم LMCache حالة ذاكرة KV المؤقتة عن عمال الاستدلال، بحيث يمكن أن يستمر استخدام الذاكرة المؤقتة عند تغيير العمال. كما يجعل هذا الفصل الملكية والاحتفاظ والتنظيف مسؤوليات تشغيلية مستقلة.

يوضح دليل ZimaSpace حول السياق الخاص بكل مستخدم سبب ضرورة اتباع ذاكرات التشغيل المؤقتة لهوية المستخدم، بدلًا من وراثة سياسة المشاركة الواسعة الخاصة بدليل نموذج مشترك واحد.

لا تنسخ حالة المطالبات المؤقتة احتياطيًا تلقائيًا لمجرد نسخ ملفات النموذج احتياطيًا. حدّد أولًا ما إذا كانت الحالة مطلوبة وخاصة وقابلة لإعادة الإنتاج، وما إذا كانت لا تزال ضمن فترة الاحتفاظ بها.

تجعل المسارات المنفصلة الترقيات والاستعادة إلى إصدار سابق قابلة للتنبؤ

ينبغي أن يتمكن التحديث من استبدال صورة التشغيل أو تفعيل إصدار جديد من النموذج، مع الحفاظ على الحالة المتوافقة فقط. وعند خلط التعليمات البرمجية وملفات النموذج والبيانات المُنشأة، قد تؤدي الاستعادة إلى إصدار سابق إلى استرجاع مجموعة غير متسقة.

يحافظ نمط النشر غير القابل للتغيير على وضوح مواقع حالة التطبيق. ويمكن استبدال ترقية تشغيل فاشلة، مع إبقاء المسارات الدائمة قابلة للفحص وإصدارات النماذج دون تغيير.

استخدم أدلة نماذج مرتبطة بالإصدارات ومؤشرًا نشطًا ذريًا بدلًا من الكتابة فوق الأوزان في مكانها. وامنح كل إصدار تشغيل مساحة أسماء متوافقة لذاكرة التخزين المؤقت عندما يتعذر مشاركة الملفات المُجمّعة بأمان.

ينبغي أن تتبع سياسات النسخ الاحتياطي والتنظيف قيمة البيانات

قد تكون ملفات النموذج قابلة لإعادة التنزيل، أو مضبوطة محليًا، أو خاضعة لترخيص، أو مكلفة إعادة بنائها. وتتراوح حالة التشغيل من ملفات مؤقتة يمكن التخلص منها إلى محادثات قيّمة ومحوّلات محلية لا يمكن استبدالها.

تركّز استراتيجية ملفات النموذج على نَسَب النموذج، بحيث يمكن تحديد الأوزان والإعدادات الدقيقة الكامنة وراء عملية النشر. أما النسخ الاحتياطية لحالة التشغيل، فينبغي اختيارها وفقًا للقيمة العملية والخصوصية وقابلية الاسترداد.

استبعد من النسخ الاحتياطي الدوري ذاكرات النوى القابلة لإعادة الإنشاء، والتنزيلات غير المكتملة، والموترات المؤقتة. واحمِ عمليات الضبط الدقيق والمحوّلات والسجلات التي وافق عليها المستخدمون والإعدادات عبر مسارات استعادة خاصة بها ومختبرة.

يصبح تنظيف القرص أكثر أمانًا عندما لا يتمكن إخلاء ذاكرة التخزين المؤقت من الوصول إلى أوزان النموذج، ولا يؤدي تقليص النماذج إلى حذف حالة المستخدم النشطة.

أنشئ تخطيط التخزين حول عقود واضحة

استخدم مسارات منفصلة لإصدارات النماذج غير القابلة للتغيير، واختيار النموذج النشط، والتنزيلات الجارية، والملفات المُجمّعة، وذاكرة المطالبات أو KV المؤقتة، وجلسات المستخدمين، والسجلات، والملفات المرفوعة مؤقتًا. وسجّل المالك والأذونات والحصة وفترة الاحتفاظ وسياسة النسخ الاحتياطي لكل مسار.

يستخدم نمط سجل النماذج السحابي الأصلي ملفات نماذج مرتبطة بالإصدارات، بحيث يمكن لحالة النشر الإشارة إلى نموذج محدد دون اعتبار ملفات التشغيل المُنشأة جزءًا من ذلك الإصدار.

اختبر التخطيط بجعل مسار النموذج للقراءة فقط، وحذف مسار ذاكرة التخزين المؤقت فقط، وإعادة تشغيل بيئة التشغيل، واستعادة صورتها السابقة، واستعادة حالة المستخدم دون استعادة الملفات المُجمّعة. ينبغي أن تؤثر كل عملية في الطبقة المحددة في الإجراء فقط.

الأسئلة الشائعة

هل ينبغي فصل ملفات النموذج التي تم تنزيلها عن ذاكرة النموذج المؤقتة؟

افصل على الأقل بين الإصدارات الكاملة التي تم التحقق منها والتنزيلات غير المكتملة والبيانات الوصفية القابلة للتغيير. ويمكن لذاكرة تنزيل مشتركة تعتمد على عنونة المحتوى أن تغذي مسار نموذج منشور للقراءة فقط.

هل يمكن حذف ذاكرة التشغيل المؤقتة بأمان؟

فقط بعد تحديد محتوياتها. فعادةً ما يمكن إعادة إنشاء ذاكرات النوى والتجميع، بينما قد لا يمكن إعادة إنشاء حالة المطالبات أو جلسات المستخدم أو المحوّلات أو قاعدة بيانات التطبيق.

هل يتطلب الفصل استخدام أقراص فعلية مختلفة؟

لا. يمكن لمجموعات البيانات ووحدات التخزين والأدلة والأذونات وقواعد النسخ الاحتياطي المنفصلة إنشاء حد لدورة الحياة على مجموعة تخزين واحدة. وتفيد الأجهزة المختلفة عندما يتطلب الأداء أو عزل الأعطال ذلك.