ما هي المعالجة الدفعية المستمرة، ومتى تكون مهمة لخادم ذكاء اصطناعي منزلي؟
تجدولة الدُفعات المستمرة تسلسلات نشطة في كل تكرار من تكرارات فك الترميز، ما يتيح للطلبات الجديدة الانضمام وللطلبات المكتملة المغادرة دون انتظار دفعة ثابتة.
قد ترسل عائلة طلبًا صوتيًا وسؤالًا عن مستند وموجهًا برمجيًا إلى نموذج محلي واحد خلال ثوانٍ. تختلف موجهاتهم وأطوال مخرجاتهم، لذلك تهدر الدفعة الثابتة الخانات بينما تنتظر الاستجابات الأقصر أطول استجابة. تواصل تجدولة الدُفعات المستمرة إعادة بناء العمل المفيد حول النموذج، لكنها لا تكون مهمة إلا عندما تتداخل الطلبات ويملك الخادم ذاكرة كافية وهامشًا كافيًا للتجدولة.
التجدولة على مستوى التكرار هي الفكرة الأساسية
يتقدم فك الترميز التلقائي خطوة بخطوة، بحيث يضيف كل تسلسل نشط رمزًا واحدًا تقريبًا في كل تكرار للنموذج. يختار المجدول المستمر التسلسلات القابلة للتنفيذ للتكرار التالي، ويقبل الطلبات الجديدة عند توفر السعة، ويزيل التسلسلات فور اكتمالها.
قدمت ورقة Orca مفهوم التجدولة على مستوى التكرار بدرجة حبيبية تركز على تكرارات النموذج بدلًا من الطلبات الكاملة. ثم تجمع الدُفعات الانتقائية العمليات المتوافقة مع إبقاء العمل الخاص بكل طلب منفصلًا. ويظل هذا التمييز ظاهرًا أثناء الاختبارات المنزلية اللاحقة.
لا يعني هذا الشيء نفسه مثل بث الرموز إلى المستخدم. يغير البث وقت تسليم المخرجات، بينما تغير الدُفعات المستمرة طريقة مشاركة عدة طلبات لتنفيذ النموذج داخليًا. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل أن تتبعها الأتمتة.
تختلف عن الدُفعات الثابتة ودُفعات نوافذ الوصول
تربط الدُفعات الثابتة مجموعة محددة معًا، وغالبًا ما تضيف حشوًا إلى التسلسلات الأقصر حتى يكتمل أطولها. أما الدُفعات ضمن نافذة الوصول أو الدُفعات الديناميكية فتنتظر فترة وجيزة لجمع الطلبات، لكنها قد تستمر في تنفيذ المجموعة الناتجة كوحدة واحدة. بينما تعيد الدُفعات المستمرة تقييم الأعضاء في كل تكرار.
تجمع ورقة vLLM بين التجدولة على مستوى التكرار وإدارة ذاكرة KV المصفحة حتى لا تتطلب مجموعات التسلسلات المتغيرة حجوزات متجاورة صارمة. وتُعد التجدولة وإدارة الذاكرة ميزتين متكاملتين وليستا قابلتين للتبادل. وينبغي قياس هذا الحد بشكل منفصل في ظروف تشغيل واقعية.
توزع التسلسلات النشطة المزيد من عمليات قراءة الأوزان، وقد تحسن الإنتاجية، لكن كل طلب ينافس على ذاكرة KV والقدرة الحاسوبية. ولا تكون الدفعة الحية الأكبر أفضل تلقائيًا من حيث زمن الاستجابة أو العدالة. وتظهر النتيجة العملية عندما تتنافس عدة مصادر على سياق محدود.
التزامن، لا حجم النموذج وحده، هو ما يحقق الفائدة
قد لا يلاحظ المستخدم التفاعلي المنفرد فائدة كبيرة، إذ لا يتوفر طلب ثانٍ لملء السعة غير المستخدمة. وتظهر الفوائد مع تداخل مستخدمي المنزل، أو فروع الوكلاء، أو الملخصات التي تعمل في الخلفية، أو عدة تطبيقات تشارك نموذجًا مقيمًا واحدًا.
تحلل Sarathi-Serve كيفية تسبب تداخل مرحلة التمهيد في تعطيل زمن استجابة فك الترميز، وتستخدم عمليات تمهيد مجزأة لجعل التجدولة المختلطة أكثر قابلية للتنبؤ. وتوضح النتيجة أن سياسة قبول الطلبات مهمة إلى جانب تسمية الدُفعات المستمرة. وينبغي أن يظل هذا الاعتماد واضحًا في الواجهة النهائية.
يتمثل حد الفشل في ضغط الذاكرة أو القبول المكثف للطلبات، ما يزيد الزمن لكل رمز مخرج وزمن الاستجابة في الحالات القصوى. وعندما تمتلئ ذاكرة التخزين المؤقت KV، قد تؤدي الإزاحة أو التبديل أو إعادة الحساب إلى محو مكاسب الإنتاجية وجعل الخدمة التفاعلية غير مستقرة.
حدد ما إذا كان الطلب المتزامن يبرر استخدامها
أعد تشغيل طلب واحد وطلبين وأربعة طلبات وثمانية طلبات متداخلة، مع أطوال واقعية للموجهات والمخرجات. وسجل الإنتاجية، والزمن حتى الرمز الأول، والزمن لكل رمز مخرج، وزمن الإكمال عند النسبة المئوية 95، واستخدام KV، وعمليات الإزاحة، والعدالة حسب فئة الطلب.
قارن السلوك مع فجوات الدُفعات المستمرة. وكرر الاختبار مع تعطيل الدُفعات المستمرة أو باستخدام خط أساس لدفعة ثابتة، مع إبقاء النموذج والتكميم وحدود السياق والعتاد ثابتة. ولذلك يجب التحقق من النتيجة مقابل الأدلة الأصلية.
استخدم الدُفعات المستمرة عندما ينتج التداخل مكاسب ملموسة في الإنتاجية أو السعة دون تجاوز زمن الاستجابة التفاعلي في الحالات القصوى. وإذا كانت الطلبات نادرًا ما تتداخل، فامنح أولوية لإقامة النموذج في الذاكرة وزمن بدء التشغيل قبل إضافة تعقيد إلى المجدول. ويظل هذا التمييز ظاهرًا أثناء الاختبارات المنزلية اللاحقة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما هو انجراف التضمينات، ومتى يحتاج فهرس بحث خاص إلى إعادة البناء؟
فكّ تشفير النموذج والمعالجة المسبقة ومجموعة البيانات وانحراف الاستعلام؛ ميّز بين المراقبة وعدم التوافق؛ وحدّد متى يحتاج الفهرس الخاص إلى إعادة البناء.
ما توافقية مُجزِّئ الرموز، ولماذا يمكن أن تؤدي إلى تعطل تبديل النماذج؟
فكّ ترميز هوية المفردات، ودلالات الرموز الخاصة، وقوالب الدردشة، والرموز المخزّنة مؤقتًا، والمحوّلات، وفحوصات التوافق لتبديل النماذج المحلية.
ما هي إقامة النموذج، ومتى ينبغي لخدمة ذكاء اصطناعي محلية إبقاء الأوزان محمّلة؟
تعرّف على بقاء الأوزان في الذاكرة، ومستويات ذاكرة التخزين المؤقت، وبدء التشغيل البارد، والإخلاء، وتعدد الإرسال، وضغط الذاكرة، ومتى ينبغي لخدمة ذكاء اصطناعي منزلية...
