ماذا يحدث عندما تتنافس خدمات الذكاء الاصطناعي المحلية على ذاكرة المُسرِّع؟

إيفا وونغ

IceWhale author

إيفا وونغ هي كاتبة تقنية و ومهندسة هاوية في ZimaSpace. مهووسة بالتكنولوجيا مدى الحياة ولديها شغف بالمختبرات المنزلية والبرمجيات مفتوحة المصدر، تتخصص في تبسيط المفاهيم التقنية المعقدة إلى أدلة عملية وسهلة الفهم. تؤمن إيفا بأن الاستضافة الذاتية يجب أن تكون ممتعة وليست مخيفة. من خلال دروسها، تمكّن المجتمع من تبسيط إعدادات الأجهزة، بدءًا من بناء أول نظام تخزين شبكي NAS وحتى إتقان حاويات Docker.

What Happens When Local AI Services Compete for Accelerator Memory? - Zima Store Online

عندما تتنافس خدمات الذكاء الاصطناعي المحلية على ذاكرة المُسرّع، تقلّل كل بيئة تشغيل السعة المتاحة للنماذج الأخرى والطلبات وذاكرات التخزين المؤقت والموترات المؤقتة.

قد يشغّل خادم منزلي المحادثة وتوليد التضمينات وتوليد الصور والتعرّف على الكلام وتحويل النص إلى كلام واكتشاف الرؤية وتحليلات الكاميرات عبر حاويات أو عمليات منفصلة. وقد تبدو لوحات التحكم الخاصة بها خاملة، بينما تظل أوزان النماذج ومجمّعات التخصيص مقيمة على وحدة معالجة الرسومات نفسها أو وحدة المعالجة العصبية أو المُسرّع ذي الذاكرة المشتركة. ثم يحتاج طلب جديد إلى مساحة لحالة الموجّه والتنشيطات ومخازن الإخراج، وهي مساحة لا يكشف عنها الحجم الثابت للنموذج. توضّح الأقسام أدناه كيف تحوّل الخدمات المنفصلة السعة الاسمية للمُسرّع إلى حالات فشل في قبول الطلبات وزمن استجابة غير مستقر.

كل خدمة تجلب أكثر من أوزان النموذج

يشغل النموذج المحمّل ذاكرة للمعاملات، لكن الاستدلال النشط يحتاج أيضًا إلى مكتبات بيئة التشغيل وسياقات التنفيذ ومساحات العمل المؤقتة ومخازن الإدخال والتنشيطات وحالة خاصة بكل طلب.

تحدّد أبحاث تقديم نماذج اللغة الكبيرة ذاكرة ذاكرة KV باعتبارها قيدًا رئيسيًا على التزامن، لأنها تنمو مع عدد التسلسلات النشطة وطول السياق. وقد يفشل نموذج يلائم الذاكرة أثناء الخمول عندما تصبح عدة طلبات طويلة نشطة.

تستخدم خدمات الرؤية والانتشار والكلام والتضمينات أنماطًا مختلفة من الذاكرة المؤقتة. وقد تتداخل تخصيصاتها القصوى حتى عندما يظل متوسط الاستخدام منخفضًا.

العمليات المنفصلة تكرر السياق ونفقات بيئة التشغيل

يؤدي تشغيل كل وظيفة من وظائف الذكاء الاصطناعي في حاويتها الخاصة إلى تحسين الفصل التشغيلي، لكن العمليات المنفصلة قد تنشئ سياقات منفصلة للمُسرّع ومكتبات ومجمّعات تخصيص ونسخًا من مكوّنات النماذج المشتركة.

تدرس أنظمة النماذج المتعددة تقديم النماذج المتعددة لأن وضع نموذج واحد لكل خدمة بطريقة ساذجة يهدر الذاكرة والحوسبة معًا. ويمكن للتجميع المنسّق أن يشارك السعة بفاعلية أكبر من بيئات التشغيل المستقلة التي يفترض كل منها أنه يسيطر على الجهاز.

لا تشارك خدمتان تستخدمان أداة تقطيع الرموز نفسها أو مشفّر الرؤية أو نموذج اللغة تلقائيًا نسخةً فعلية واحدة. تتطلب المشاركة دعمًا من بيئة التشغيل وحدود عمليات متوافقة.

تظهر كلفة التكرار بوضوح أكبر على المُسرّعات الصغيرة، حيث يمكن لبضع مئات من الميغابايتات من السياق ونفقات المكتبات أن تحدد ما إذا كان نموذج آخر سيبدأ أم لا.

قد تخفي المجمّعات المحجوزة الذاكرة عن بيئات التشغيل الأخرى

غالبًا ما تحتفظ أطر العمل بالكتل المحررة، كي تتجنب الطلبات اللاحقة عمليات تخصيص الجهاز والمزامنة المكلفة. وتبلّغ الخدمة عن ذاكرة مخصّصة نشطة أقل، لكن عملية أخرى تظل غير قادرة على استخدام المساحة الفعلية المحجوزة.

تتعامل أنظمة مثل التعدد الإحصائي مع الوضع وأنماط الاندفاع باعتبارها مشكلة شاملة، بدل السماح لكل خادم نماذج بالحجز وفق أسوأ حالة خاصة به. وتفتقر الخدمات المحلية المستقلة إلى هذه الرؤية الشاملة ما لم يفرضها منسّق.

يفسّر هذا سبب إظهار المُسرّع استخدامًا منخفضًا للحوسبة مع رفضه نموذجًا جديدًا. فقد تكون السعة مشغولة بالأوزان أو الكتل المحجوزة أو المناطق الحرة المجزأة، لا بالنوى النشطة.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

يغيّر التنافس زمن الاستجابة قبل أن ينتج خطأ نفاد الذاكرة

قد تستجيب بيئة التشغيل لانخفاض الذاكرة بخفض حجم الدفعة، أو قبول عدد أقل من التسلسلات المتزامنة، أو إعادة حساب الحالة المُرحّلة، أو نقل الطبقات إلى ذاكرة الوصول العشوائي لوحدة المعالجة المركزية، أو إلغاء تحميل نموذج آخر.

يستخدم Aegaeon الجدولة على مستوى الرموز لتنسيق نماذج متعددة في ظل الطلب المتغير. وغالبًا ما يكشف خادم منزلي يفتقر إلى تنسيق مماثل عن النقص في صورة بطء ظهور الرموز الأولى أو التوقفات أو تبديل النماذج أو الانتظار غير المتوقع في قوائم الانتظار.

توضح مقالة ZimaSpace حول التزامن العائلي النسخة الخاصة بالطلبات من الحد نفسه: تتنافس المحادثات النشطة على الذاكرة واهتمام المجدول، حتى عندما تبدو اختبارات المستخدم الواحد سريعة.

استثناء نفاد الذاكرة ليس سوى نمط الفشل النهائي. فكثيرًا ما يظهر اضطراب زمن الاستجابة وانخفاض معدل الإنجاز في وقت أبكر.

تبديل النماذج يبادل الاستجابة الفورية بالسعة

يؤدي إلغاء تحميل نموذج غير نشط إلى تحرير منطقة كبيرة متصلة لنموذج آخر. وعند وصول الطلب التالي إلى النموذج الذي أُلغي تحميله، يجب إعادة تحميل الأوزان وإعادة بناء حالة بيئة التشغيل، ما يحوّل ضغط الذاكرة إلى تأخير بدء بارد.

يستكشف WarmServe الوضع المراعي للإخلاء لأن التبديل المتكرر يضر بالوقت اللازم لظهور الرمز الأول. ولا يكون إبقاء كل نموذج دافئًا أسرع إلا عندما يمتلك المُسرّع ذاكرة كافية لحالاتها المقيمة والنشطة مجتمعة.

بالنسبة إلى خادم منزلي، تعتمد السياسة المفيدة على نوع الحمل. فقد يستحق التحكم الصوتي الإقامة الدائمة، بينما يمكن لتوليد الصور العرضي أن يقبل إعادة التحميل.

يمكن لمدير موارد واحد فرض حدود السعة الفعلية

نسّق الخدمات عبر خادم استدلال واحد حيثما أمكن، أو عيّن حدودًا صريحة للذاكرة لكل خدمة، وإتاحة الأجهزة، وقواعد إقامة النماذج، وسقوف التزامن، والأولويات.

توضح الأعمال الحديثة حول تضخيم الذاكرة سبب هدر التخصيص الثابت للسعة عندما تتغير شعبية النماذج وحجم الطلبات. وقد تؤدي المشاركة الديناميكية إلى تحسين الاستخدام، لكنها تتطلب نظامًا واحدًا يراقب جميع أعباء العمل المتنافسة.

قِس الأوزان والذاكرة المحجوزة والتخصيصات النشطة وذاكرة KV وتزامن الطلبات وطول السياق وحجم الدفعة وتكرار تبديل النماذج لكل خدمة. ولا يمكن لإجمالي الجهاز العام من دون إسناد لكل خدمة أن يفسر التعارض.

احمِ الخدمات الحساسة لزمن الاستجابة أولًا، وجدول التضمينات والفهرسة ضمن نوافذ الصيانة، واترك هامشًا غير مخصّص للقمم المؤقتة. الهدف ليس ملء كل بايت أثناء الخمول، بل الحفاظ على استقرار مزيج الخدمات المقصود تحت الطلب المتزامن.