كيف يغيّر توجيه مزيج الخبراء الحوسبة المحلية للنماذج؟
يغيّر التوجيه القائم على مزيج الخبراء طريقة إجراء الحوسبة للنماذج المحلية، إذ يمرّر كل رمز عبر مجموعة فرعية صغيرة فقط من شبكات التغذية الأمامية للخبراء، بدلًا من تفعيل جميع الخبراء.
وهذا يجعل نموذج MoE كبيرًا يبدو غير اعتيادي على الخادم المنزلي: فقد تكون نقطة التحقق الكاملة ضخمة، بينما قد تشبه حوسبة الخبراء المنفَّذة لرمز واحد حوسبة نموذج نشط أصغر بكثير. وتتمثل الميزة في الحسابات المتناثرة، لا في الحصول على ذاكرة مجانية. فلا تزال أوزان الخبراء بحاجة إلى التخزين، كما أن التوجيه بين الأجهزة قد يحوّل جزءًا من الحوسبة الموفَّرة إلى اتصالات.
يُفعّل المحوّل الكثيف معاملات التغذية الأمامية نفسها لكل رمز
في طبقة المحوّل الكثيف العادية، يمر كل رمز عبر شبكة التغذية الأمامية نفسها. لذلك تؤدي زيادة عدد معاملات التغذية الأمامية إلى زيادة حجم النموذج ومقدار العمليات الحسابية التي ينفذها كل رمز.
تقارن ورقة Switch Transformer هذا النهج بطبقات مزيج الخبراء ذات التفعيل المتناثر، حيث يمكن لرموز مختلفة اختيار مجموعات فرعية مختلفة من المعاملات.
وبالنسبة إلى الاستدلال المحلي، ينشأ هنا أول تمييز في نماذج MoE: إذ يحدد إجمالي المعاملات مقدار حالة النموذج التي يجب تخزينها، بينما تحدد المعاملات المفعّلة جزءًا كبيرًا من حوسبة الخبراء لكل رمز.
يقيّم الموجّه كل رمز مقابل الخبراء المتاحين
في طبقة MoE، يفحص موجّه صغير تمثيل الرمز وينتج درجات أو احتمالات للخبراء المرشحين. ثم يختار وقت التشغيل عددًا محدودًا منهم، وغالبًا ما يكون خبيرًا واحدًا أو أفضل k خبراء، بحسب البنية.
يوفّر NVIDIA Megatron Core موجّهًا يحدد الخبراء الذين يُرسَل إليهم كل رمز. ويغيّر قرار التوجيه مصفوفات الخبراء التي ستعالج ذلك الرمز.
لذلك يمكن لرمزين في المطالبة نفسها تفعيل أوزان خبراء مختلفة، رغم اشتراكهما في الانتباه والأجزاء الكثيفة الأخرى من النموذج.
يقلل التفعيل المتناثر حوسبة الخبراء، لكنه لا يقلل تخزين الأوزان الإجمالي
إذا احتوت طبقة على ثمانية خبراء، لكنها توجّه كل رمز إلى اثنين منهم، فلن تُنفَّذ لذلك الرمز سوى حسابات الخبيرين المحددين. أما مصفوفات الخبراء المتبقية فتبقى غير نشطة في تلك الخطوة.
يصف بحث Expert Choice نماذج MoE بأنها تزيد عدد المعاملات مع الحفاظ على حوسبة محدودة نسبيًا لكل رمز. ولهذا قد تعلن نقطة تحقق لنموذج MoE عن عدد إجمالي كبير جدًا من المعاملات، مع الإشارة إلى عدد أصغر بكثير من المعاملات النشطة.
ومع ذلك، لا يزال الخادم المنزلي بحاجة إلى إتاحة مجموعة أوزان الخبراء الكاملة في مكان ما، ما لم يقم وقت التشغيل ببثها أو تفريغها. فالحوسبة المتناثرة لا تعني التخزين المتناثر.
قد يحوّل توزيع الخبراء التوجيه إلى اتصالات بين الأجهزة
على وحدة معالجة رسومات واحدة، يؤدي اختيار خبير أساسًا إلى تغيير كتل الأوزان المحلية التي تتم قراءتها. أما عبر عدة وحدات معالجة رسومات، فقد يُوزَّع الخبراء بحيث يتعين نقل تمثيل الرمز إلى الجهاز الذي يملك الخبير المحدد، ثم إعادته إلى مسار الطبقة الرئيسي.
يُسنِد تصميم DeepSpeed للاستدلال باستخدام MoE مجموعات الخبراء عبر التوازي بين الخبراء عبر وحدات معالجة الرسومات. لذلك يشمل التوجيه الاتصالات إلى جانب ضرب المصفوفات.
وعليه، قد يصبح خادم منزلي صغير متعدد وحدات معالجة الرسومات محدودًا بوصلة الاتصال، حتى عندما تكون الحسابات الخاصة بكل رمز متناثرة. ويكتسب مخطط PCIe ودعم الاتصال من نظير إلى نظير أهمية أكبر مما يوحي به عدد المعاملات النشطة وحده.
يؤدي التوجيه غير المتوازن إلى خبراء مزدحمين وسعة غير مستغلة
لا توزّع المطالبات الواقعية الرموز بالضرورة بالتساوي. فإذا اختارت رموز كثيرة الخبير نفسه، أصبح ذلك الجهاز أو النواة نقطة اختناق، بينما ينتظر الخبراء الآخرون.
يحدد MoETuner توجيه الرموز وتفعيل الخبراء غير المتوازنين بوصفهما من اختناقات الخدمة العملية، لأن بعض الأجهزة قد تتراكم عليها أعمال موجّهة واتصالات أكثر من غيرها.
في الاستدلال المحلي، قد يظهر التوجيه غير المتكافئ على شكل تفاوت في زمن معالجة الرموز بين المطالبات، حتى عندما يتشابه طول السياق وحجم النموذج. فالنموذج يختار مسار حوسبة مختلفًا ديناميكيًا.
خطط سعة MoE المحلية اعتمادًا على الأوزان الإجمالية والمسار النشط كلٌّ على حدة
يسجّل التقدير المفيد للأجهزة حجم أوزان النموذج الإجمالي، وعدد الخبراء النشطين لكل رمز، وتكلفة الطبقات الكثيفة، وذاكرة التخزين المؤقت KV، والتكميم، وما إذا كان الخبراء موجودين على مسرّع واحد أو عدة وحدات معالجة رسومات أو ذاكرة RAM لوحدة المعالجة المركزية أو وحدة التخزين.
يوفّر تناول ZimaSpace لـ تخطيط ذاكرة الذكاء الاصطناعي المحلية والمسرّعات السياق الأوسع لسعة الخادم المنزلي. ويضيف MoE فصلًا إضافيًا بين السعة المقيمة والحوسبة النشطة.
اختبر مطالبات معيارية من مهام مختلفة، لأن أنماط التوجيه قد تتباين. وقِس عدد الرموز في الثانية، والاستفادة من كل جهاز، وحِمل الخبراء، وحركة الاتصالات، وإقامة الذاكرة، بدلًا من افتراض أن عدد المعاملات النشطة المُعلن عنه يتنبأ بأداء النظام بأكمله.
بالنسبة إلى نقاط التحقق المحلية الكبيرة جدًا، يمثل تحليل نشر النماذج الكبيرة من ZimaSpace سؤال السعة المتصل. فالتوجيه يغيّر الحوسبة النشطة، لكن إقامة الأوزان الإجمالية وتوزيعها بين الأجهزة لا يزالان يحددان مدى عملية تشغيل النموذج.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
هل يمكن للكاميرات المنزلية مزامنة الأحداث دون خدمات الوقت السحابية؟
شرح يعتمد أولًا على الآلية لوقت الكاميرا دون سحابة، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن لخدمة ذكاء اصطناعي محلية اكتشاف طبقات النموذج التالفة قبل الاستدلال؟
شرح يركز أولًا على الآلية لاكتشاف تلف طبقة النموذج، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن استعادة نظام RAG دون إعادة توليد كل التضمينات؟
شرح قائم على الآلية لاستعادة RAG دون إعادة التضمين، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
