ما هي إقامة النموذج، ومتى ينبغي لخدمة ذكاء اصطناعي محلية إبقاء الأوزان محمّلة؟
تعني إقامة النموذج الاحتفاظ بأوزان النموذج في ذاكرة المضيف أو المسرّع بين الطلبات، بحيث يتجنب الاستدلال التالي بعض أعمال التحميل أو كلها.
يبدو المساعد المنزلي المستخدم كل بضع دقائق مختلفًا جدًا عندما يبقى نموذج بحجم ثمانية غيغابايت في ذاكرة GPU، مقارنة بقراءته من وحدة التخزين في كل مرة. يمكن أن تحدث الإقامة على عدة مستويات: ذاكرة التخزين المؤقت لنظام الملفات، أو صفحات المضيف المعينة، أو ذاكرة RAM المثبتة، أو ذاكرة VRAM الجاهزة للنوى. يؤدي إبقاء الأوزان دافئة إلى تقليل تأخير بدء التشغيل، لكنه يحجز ذاكرة محدودة وقد يمنع نماذج أو أعباء عمل أخرى من التشغيل.
تصف الإقامة المكان الذي تبقى فيه حالة النموذج القابلة لإعادة الاستخدام
لا يوجد النموذج البارد إلا على وحدة التخزين، ويجب قراءته وتخصيصه وتحويله ونسخه قبل الاستدلال. تتجنب الأوزان المقيمة في المضيف عمليات القراءة من وحدة التخزين، بينما تتجنب الأوزان المقيمة في المسرّع أيضًا النقل من المضيف إلى الجهاز ومسار تهيئة وقت التشغيل. يظل هذا التمييز ظاهرًا أثناء الاختبارات المنزلية اللاحقة.
يفصل تحليل NVIDIA لبث النماذج بين مسار تحميل النموذج وأعمال النقل والتهيئة، موضحًا سبب هيمنة موقع الأوزان على كثير من عمليات البدء البارد. وقد تظل العملية الدافئة بحاجة إلى تهيئة المحلل اللغوي أو الرسم البياني أو المهايئ أو ذاكرة التخزين المؤقت. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل أن تتبعها الأتمتة.
لا تعني الإقامة أن هناك طلبًا نشطًا. يمكن أن يظل النموذج محمّلًا من دون ذاكرة KV أو بيانات مستخدم، وجاهزًا للخدمة مع استهلاك الذاكرة وبعض موارد الخلفية. وينبغي قياس هذا الحد بصورة منفصلة في ظروف تشغيل واقعية.
توجد مستويات الدفء عبر تسلسل هرمي للذاكرة
قد يحتفظ نظام التشغيل بصفحات النموذج في ذاكرة التخزين المؤقت للصفحات حتى بعد خروج العملية، وقد تؤدي خرائط الذاكرة إلى جلب الصفحات عند الحاجة، كما قد تحتفظ عملية الخدمة بالتنسورات في RAM أو VRAM. ويؤدي كل مستوى أكثر دفئًا عادةً إلى تقليل زمن الاستجابة مع استهلاك مورد أكثر محدودية.
يفحص ServerlessLLM تحميل النماذج متعدد المستويات عبر وحدة التخزين وذاكرة المضيف وذاكرة GPU، ويجدول التحميل لتقليل تكلفة البدء البارد. ويوضح هذا التسلسل الهرمي سبب إمكانية إعادة تشغيل نموذج يبدو أنه أُفرغ بسرعة، إلى أن يؤدي ضغط ذاكرة التخزين المؤقت إلى طرد صفحاته.
يقلل التكميم عدد البايتات المطلوبة للإقامة، وقد يتيح تعايش عدة نماذج متخصصة. لكنه قد يغير أيضًا نوى التنفيذ والجودة، لذا لا ينبغي احتساب وفورات الذاكرة كزيادة مجانية في السعة. وتظهر النتيجة العملية عندما تتنافس عدة مصادر على سياق محدود.
تحوّل سياسة الطرد ضغط الذاكرة إلى تأخير في بدء التشغيل
يمكن للخدمة إبقاء النماذج المستخدمة كثيرًا مقيمة وطرد النماذج الأبرد وفقًا لحداثة الاستخدام أو الطلب المتوقع أو الأولوية أو تكلفة التحميل. ويحتاج توجيه النماذج المتعددة إلى قواعد قبول حتى لا تُزيح أعمال الخلفية نموذج الصوت الذي يجب أن يجيب فورًا.
يوضح FlexGen تفريغ الأوزان عبر GPU وCPU ووحدة التخزين للاستدلال المقيّد. وعلى الرغم من أن الهدف هو الإنتاجية، فإنه يوضح المفاضلة الأساسية: يؤدي نقل الأوزان بين المستويات إلى توفير الذاكرة المحدودة، لكنه يضيف تكلفة النقل والجدولة.
يتمثل حد الفشل في ضغط الذاكرة الذي يؤدي إلى التبديل أو عمليات إعادة التشغيل بسبب نفاد الذاكرة أو اضطراب الطرد. وقد يؤدي إبقاء عدد كبير جدًا من الأوزان محمّلًا إلى جعل كل نموذج أبطأ وأقل موثوقية من تدفئة مجموعة عمل أصغر عمدًا. وينبغي أن تظل هذه التبعية واضحة في الواجهة النهائية.
حدّد الإقامة بناءً على مسافة إعادة الاستخدام وهامش الذاكرة
قِس زمن بدء التشغيل البارد والدافئ على مستوى المضيف والدافئ على مستوى المسرّع لكل نموذج، ثم سجّل الفاصل بين الطلبات، وعدد بايتات التحميل، وبصمة VRAM وRAM، وطاقة الخمول، وعدد مرات الطرد، والطلب من أعباء العمل المنافسة. لذلك يجب التحقق من النتيجة مقابل الأدلة الأصلية.
قارن آلية بدء التشغيل مع بدء التشغيل المعتمد على تعيين الذاكرة. أعد تشغيل سجل وصولات لمدة أسبوع في ظل نوافذ إبقاء حيّ وأولويات مرشحة، بما في ذلك الدفعات وفترات الخمول الطويلة وطلبات النماذج المتزامنة. يظل هذا التمييز ظاهرًا أثناء الاختبارات المنزلية اللاحقة.
أبقِ النموذج مقيمًا عندما يبرر زمن التحميل الذي تم تجنبه وتكرار إعادة الاستخدام الذاكرة المحمية. واطرده عندما تتسبب السعة المحجوزة في الانتظار أو الاضطراب، مع الحفاظ على هامش طوارئ لذاكرة KV والتخصيصات المؤقتة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما هو انجراف التضمينات، ومتى يحتاج فهرس بحث خاص إلى إعادة البناء؟
فكّ تشفير النموذج والمعالجة المسبقة ومجموعة البيانات وانحراف الاستعلام؛ ميّز بين المراقبة وعدم التوافق؛ وحدّد متى يحتاج الفهرس الخاص إلى إعادة البناء.
ما توافقية مُجزِّئ الرموز، ولماذا يمكن أن تؤدي إلى تعطل تبديل النماذج؟
فكّ ترميز هوية المفردات، ودلالات الرموز الخاصة، وقوالب الدردشة، والرموز المخزّنة مؤقتًا، والمحوّلات، وفحوصات التوافق لتبديل النماذج المحلية.
ما معدل قبول فك الترميز التخميني، ولماذا يُعد مهمًا؟
فكّ مقياس القبول، وصِغ التحقّق، وحدّد سلوك الرفض، وحدود تسريع الأداء، وتنوّع أعباء العمل، وطرق القياس للاستدلال المحلي.
