ما هو فصل مرحلتي التمهيد وفك الترميز، ولماذا يغيّر طريقة تقديم خدمات نماذج اللغة الكبيرة؟
يفصل تفكيك المعالجة التمهيدية والتوليد بين معالجة المطالبة وتوليد الرموز، بحيث يمكن لكل مرحلة من مراحل LLM استخدام عمال وجداول زمنية وخطط سعة مختلفة.
تتطلب مطالبة RAG طويلة دفعة كبيرة من الحوسبة قبل ظهور رمزها الأول، بينما تنفذ مرحلة فك الترميز بعد ذلك العديد من التكرارات الأصغر الحساسة لنطاق ترددي للذاكرة. ويُعد تشغيل المرحلتين على وحدة معالجة رسومات واحدة أمرًا بسيطًا، لكنه يسمح للمعالجات التمهيدية الطويلة بمقاطعة المحادثات النشطة. وينقل التفكيك الطلب وحالة KV الخاصة به بين مجموعات مختلفة، مقابل تكلفة إضافية للتنسيق والنقل، لتحقيق تحكم مستقل في زمن الوصول إلى الرمز الأول وزمن الوصول لكل رمز.
للمعالجة التمهيدية وفك الترميز أشكال مختلفة لاستخدام الموارد
تعالج المعالجة التمهيدية جميع رموز المطالبة بالتوازي وتبني ذاكرة التخزين المؤقت KV، منتجةً دفعة كثيفة حسابيًا تزداد مدتها مع طول المطالبة. أما فك الترميز فيقرأ أوزان النموذج وحالة KV المتراكمة بشكل متكرر لتوليد رمز جديد واحد أو بضعة رموز.
تحدد DistServe التداخل بين المعالجة التمهيدية وفك الترميز عندما تشترك المرحلتان في وحدات معالجة الرسومات، وتربط المعالجة التمهيدية بزمن الوصول إلى الرمز الأول، بينما تحدد مرحلة فك الترميز الزمن المستغرق لكل رمز ناتج. ويتيح فصلهما للمجدول حماية كل هدف بشكل مستقل. ويظل هذا التمييز ظاهرًا أثناء الاختبارات المنزلية اللاحقة.
لا يُعد التفكيك نوعًا عاديًا من التوازي النموذجي. فقد يوجد النموذج نفسه في كلتا المجموعتين، بينما تنتقل الطلبات بين المراحل الوظيفية بدلًا من انتقالها بين طبقات تمريرة أمامية واحدة. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل أن تتبعها الأتمتة.
يربط نقل KV بين مجموعتي العمال
بعد المعالجة التمهيدية، يجب أن يجعل النظام ذاكرة التخزين المؤقت KV الخاصة بالطلب متاحة لعامل فك ترميز. وقد ينقل الموترات عبر PCIe أو شبكة ربط، أو يستخدم الذاكرة المشتركة، أو يضع العمال بطريقة تقلل تكلفة النقل.
تدرس Splitwise الخدمة الخاصة بكل مرحلة باستخدام أجهزة وجدولة مخصصتين لكل مرحلة، موضحةً سبب إمكانية مواءمة تخصيص العتاد مع الخصائص الحسابية المختلفة لمعالجة المطالبات والرموز. ويصبح الانتظار في الطوابير ونقل الحالة جزءًا من مسار الخدمة. وينبغي قياس هذا الحد بشكل منفصل في ظل ظروف تشغيل واقعية.
لا يمكن لمجموعة فك الترميز أن تبدأ حتى تحصل على حالة KV وبيانات وصفية متسقة للطلب. وتزيد السياقات الكبيرة من عدد بايتات النقل، لذلك قد يخسر تقسيم المراحل الأسرع اسميًا أمام التنفيذ المشترك على شبكة منزلية صغيرة.
يغير التوسع المستقل تخطيط السعة
يمكن للمجموعات المنفصلة إضافة سعة للمعالجة التمهيدية للتعامل مع دفعات الوثائق الطويلة دون زيادة سعة فك الترميز بنفس النسبة، أو حماية فك ترميز الصوت بينما تستهلك عملية التلخيص في الخلفية عمال معالجة المطالبات. ويمكن للتحكم في القبول استهداف طابورين وميزانيتي زمن وصول. وتظهر النتيجة العملية عندما تتنافس عدة مصادر على سياق محدود.
تصف Mooncake تنسيق ذاكرة التخزين المؤقت KV الذي يتعامل مع نقل ذاكرة KV المؤقتة وتخزينها باعتبارهما من اهتمامات الخدمة الأساسية. وتوضح البنية أن التفكيك ينقل عنق الزجاجة من جدولة وحدات معالجة الرسومات البحتة إلى نقل الحالة وتنسيق ذاكرة التخزين المؤقت.
يتمثل حد الفشل في عدم كفاية التوسع أو عرض النطاق الترددي. فقد لا تملك وحدة أو وحدتا معالجة رسومات منزليتان مساحة جهاز إضافية للتخصص، كما قد تستهلك أوزان النموذج المكررة ونقل KV ذاكرة وزمن وصول أكبر من التداخل الذي تجري إزالته.
قارن ميزانيات مراحل التنفيذ المشترك والمفكك
قس زمن معالجة رموز المطالبة في الثانية، والزمن حتى الرمز الأول، والزمن لكل رمز ناتج، وعدد بايتات KV المنقولة، وزمن النقل، ووقت الانتظار في الطابور، وتكرار ذاكرة النموذج، والطاقة، واستعادة الأعطال للمطالبات القصيرة والطويلة والمختلطة. وينبغي أن يظل هذا الاعتماد واضحًا في الواجهة النهائية.
استخدم المعالجة التمهيدية المجزأة باعتبارها البديل المشترك. اختبر المعالجة التمهيدية المجزأة قبل إضافة مجموعة ثانية، ثم قارن آثار الوصول المتطابقة في البنيتين. ولذلك يجب التحقق من النتيجة مقابل الأدلة الأصلية.
اعتمد التفكيك فقط عندما يُقاس التداخل بين المراحل ويحافظ مسار النقل على هدفي زمن الوصول معًا. وعلى خادم صغير، قد توفر الجدولة المشتركة مع تحديد أحجام المعالجة التمهيدية المجزأة النتيجة نفسها للمستخدم مع نقل أقل للحالة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما هو انجراف التضمينات، ومتى يحتاج فهرس بحث خاص إلى إعادة البناء؟
فكّ تشفير النموذج والمعالجة المسبقة ومجموعة البيانات وانحراف الاستعلام؛ ميّز بين المراقبة وعدم التوافق؛ وحدّد متى يحتاج الفهرس الخاص إلى إعادة البناء.
ما توافقية مُجزِّئ الرموز، ولماذا يمكن أن تؤدي إلى تعطل تبديل النماذج؟
فكّ ترميز هوية المفردات، ودلالات الرموز الخاصة، وقوالب الدردشة، والرموز المخزّنة مؤقتًا، والمحوّلات، وفحوصات التوافق لتبديل النماذج المحلية.
ما هي إقامة النموذج، ومتى ينبغي لخدمة ذكاء اصطناعي محلية إبقاء الأوزان محمّلة؟
تعرّف على بقاء الأوزان في الذاكرة، ومستويات ذاكرة التخزين المؤقت، وبدء التشغيل البارد، والإخلاء، وتعدد الإرسال، وضغط الذاكرة، ومتى ينبغي لخدمة ذكاء اصطناعي منزلية...
