ما المكوّنات التي تتيح لعدة نماذج محلية مشاركة مسرّع واحد؟
يمكن لعدة نماذج محلية مشاركة مُسرِّع واحد عندما تنسّق طبقة الخدمة بين بقاء الأوزان في الذاكرة، والذاكرة الديناميكية، ووقت التنفيذ، وعزل الطلبات عبر أحمال العمل المختلفة.
قد تتناوب وحدة معالجة رسومات منزلية بين نموذج محادثة، ونموذج تضمين، ومشفّر رؤية، ونظام للتعرّف على الكلام. وقد يتجاوز تحميل كل مجموعات الأوزان بشكل دائم سعة ذاكرة VRAM، بينما يؤدي تفريغها عند كل طلب إلى جعل زمن استجابة أول رمز متذبذبًا. يحتاج متحكّم متعدد النماذج إلى سياسة للإبقاء في الذاكرة، ومحاسبة للذاكرة بين النماذج، وجدولة، وعزل للذاكرة المؤقتة، وإيقاف مؤقت، وعدالة، بدلًا من الاعتماد على عمليات منفصلة تتنافس بشكل أعمى.
تحدد سياسة الإبقاء في الذاكرة الأوزان التي تظل جاهزة
يتتبع المتحكّم حجم النموذج، ومعدل الوصول، ووقت التحميل، وهدف زمن الاستجابة، والاستخدام الأخير. تبقى النماذج الشائعة في الذاكرة، بينما تشغل النماذج قليلة الاستخدام وحدة المعالجة المركزية أو التخزين، ويمكن للطلب المتوقع أن يفعّل التسخين المسبق قبل وصول الطلب التالي إلى مُسرِّع الرسومات.
يُجهّز التسخين المسبق متعدد النماذج عمالًا عامين لوحدة معالجة الرسومات لخدمة عدة نماذج، وينسّق التسخين المسبق مع توزيع يراعي الإخلاء. وتوضح نتائجه سبب قدرة تجنّب التحميل البارد على تحسين زمن الوصول إلى أول رمز بشكل كبير عند وجود طلب يمكن التنبؤ به. ويظل هذا الفرق ظاهرًا أثناء الاختبارات المنزلية اللاحقة.
ينبغي أن تتضمن قرارات الإبقاء في الذاكرة صيغ التكميم ونسخ المهايئات، لأن نقطتي نهاية متشابهتين ظاهريًا قد تحتفظان بأوزان أساسية مختلفة. وتمنع ميزانية الذاكرة الصارمة التحميل الاستباقي من إخلاء ذاكرة KV المؤقتة للطلبات النشطة. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل أن تتابع الأتمتة عملها.
يمنع تنسيق الذاكرة بين النماذج تشتت السعة
تظل الأوزان مستقرة في الغالب، بينما تتوسع التنشيطات وذاكرات KV المؤقتة مع حجم الدفعة وطول التسلسل. ويمكن لمخصّص مشترك ربط صفحات الذاكرة عند الطلب، واستعادة المناطق الخاملة، وإتاحة حجوزات تمنع نموذجًا واحدًا من استهلاك المساحة الموعودة لنموذج آخر.
يقدّم تنسيق الذاكرة بين النماذج تنسيقًا للذاكرة بين النماذج عبر ربط ديناميكي للصفحات الافتراضية بالحقيقية وسياسات مشاركة أثناء التشغيل. ويوضح التصميم سبب عجز مشاركة وحدة معالجة الرسومات على مستوى العمليات العادية عن الاستجابة جيدًا للطلب المتغير سريعًا على النماذج. وينبغي قياس هذا الحد بشكل منفصل في ظروف تشغيل واقعية.
مشاركة الذاكرة لا تعني مشاركة البيانات. إذ تحتاج كتل ذاكرة KV المؤقتة، وذاكرات البادئة المؤقتة، والمخازن المؤقتة المؤقتة، وحالة المهايئات إلى معرّفات للمستأجر والنموذج؛ وإلا فقد تتسبب صفحة معاد استخدامها أو مفتاح ذاكرة مؤقتة في تسريب السياق أو إفساد النتائج بين نقاط النهاية.
تتحكم الجدولة وتعدد المهايئات في وقت التنفيذ
يختار المجدول بين المشاركة المكانية، حيث تشغل النماذج الذاكرة معًا، والمشاركة الزمنية، حيث تتناوب النوى على التنفيذ. تحسّن الدفعات المستمرة الإنتاجية، بينما يحمي الإيقاف المؤقت وقوائم الانتظار الموزونة الطلب التفاعلي من مهمة خلفية طويلة.
تخدم تعدد المهايئات آلاف المهايئات منخفضة الرتبة فوق نماذج أساسية مشتركة، من خلال ترحيل أوزان المهايئات وتنسيق الدفعات غير المتجانسة. ويوضح ذلك كيف يمكن للتخصيص أن يشارك حالة أكثر مما تسمح به النسخ المنفصلة تمامًا من النماذج. وتظهر النتيجة العملية عندما تتنافس عدة مصادر على سياق محدود.
يكمن حد الفشل في تداخل النوى والذاكرة. فقد يتسع نموذجان في الذاكرة في الوقت نفسه، ومع ذلك يفشلان في تحقيق أهداف زمن الاستجابة عند التنافس على القدرة الحاسوبية أو النطاق الترددي أو محركات النسخ. ولا تكون المشاركة مفيدة إلا عندما يظل زمن الاستجابة p95 لكل نموذج والعدالة ضمن السياسة، لا عندما تبدو الاستفادة الإجمالية مرتفعة فحسب.
أنشئ مصفوفة لتداخل مشاركة النماذج
قِس كل نموذج بمفرده، ثم شغّل كل زوج مهم والمزيج المتوقع من أربعة نماذج مع طلبات قصيرة وطويلة ومتدفقة وطلبات خلفية. وسجّل وقت التحميل البارد، والذاكرة المقيمة، ونمو ذاكرة KV، واستخدام النوى، والإنتاجية، وزمن الاستجابة p50 وp95، وعمليات الإخلاء.
استخدم مبدأ الحزمة الموجّهة في إبقاء النماذج الموجّه لتعيين أولوية وفئة إبقاء في الذاكرة لكل نقطة نهاية. وكرّر الاختبار باستخدام المهايئات، ونسخ التكميم، والدفعات المستمرة، والإيقاف المؤقت، مع التحقق من بقاء الذاكرات المؤقتة وهويات الطلبات معزولة.
احتفظ بسياسة المشاركة فقط عندما تحقق النماذج التفاعلية المهمة هدف زمن الاستجابة أثناء أسوأ مزيج متوقع. وإذا تسبب زوج واحد في تكرار الترحيل والإخلاء، فاجعل هذا الزوج يعمل بالتسلسل أو احجز له نافذة زمنية بدلًا من زيادة التزامن لتحسين مخطط الاستفادة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما الميزات التي تتيح إنشاء حدود ثقة للذكاء الاصطناعي المنزلي حول الملفات الحساسة؟
تعرّف على كيفية مساهمة التصنيف، والوصول المحدود بحسب القدرات، والتحليل المعزول، وفلاتر الاسترجاع، وسياسة خروج البيانات، والموافقات، وعمليات التدقيق في احتواء الملفات المنزلية الحساسة.
ما العوامل التي تحدد مدى كفاءة النسخ الاحتياطية المعتمدة على أشجار ميركل في اكتشاف التغييرات الصامتة؟
تعلّم كيف يحدّد حجم الكتلة، والتفرّع، والجذور الموثوقة، وقيم التجزئة المخزّنة مؤقتًا، ومحلية التغييرات، ونطاق البيانات الوصفية، والفحص تكلفة التحقّق من النسخ الاحتياطية لميركل.
ما المكوّنات التي تتيح إجراء نسخ احتياطية قابلة للتحقّق لفهارس الذكاء الاصطناعي وحالة النماذج؟
تعرّف على كيفية إثبات أن حالة الذكاء الاصطناعي قابلة للاستعادة فعليًا، من خلال اللقطات المتزامنة وبيانات المحتوى الوصفية والمجاميع الاختبارية وأقفال الإصدارات وتدريبات الاستعادة...
