لماذا ترتفع طاقة وحدة معالجة الرسومات بشكل حاد عند بدء طلب استدلال محلي؟
غالبًا ما ترتفع قدرة GPU فجأة عند بدء الطلب، لأن رفع التردد تدريجيًا ومرحلة التهيئة المسبقة المتوازية للغاية للموجهات تنشّطان قدرًا من الحوسبة دفعة واحدة يفوق ما يحدث أثناء فك الترميز رمزًا بعد رمز.
قد يعمل الخادم المنزلي بهدوء في وضع الخمول، ثم يقترب لفترة وجيزة من حد قدرة GPU، قبل أن يستقر أثناء بث النموذج للرموز. يجمع هذا الانتقال بين تغييرات حالة طاقة الجهاز، وتخصيص الذاكرة، وتهيئة النواة، وتنفيذ التهيئة المسبقة للموجه. ويحدد حجم النموذج، وطول الموجه، وحجم الدفعة، وسياسة التردد، والكمّية، وفترة القياس، وأحمال المسرّعات الأخرى ارتفاع الارتفاع المفاجئ المرصود ومدته.
يخرج GPU من حالة الخمول عند وصول العمل
تخفض وحدات GPU الحديثة الترددات والجهد عند استخدامها استخدامًا خفيفًا، ثم ترفعهما عند ظهور النوى وحركة البيانات في الذاكرة. وقد ينشئ الطلب الأول أيضًا سياقًا للجهاز، ويهيئ المكتبات، ويخصص المخازن، ويحمّل النوى، مما يركز النشاط الذي يحدث لمرة واحدة حول نافذة البدء نفسها.
ارتفاعات القدرة عند بدء الطلب يصف فرص إدارة الطاقة لأحمال LLM، ويبلغ عن ارتفاعات في القدرة عند بداية طلبات الاستدلال. وتربط الدراسة هذه الارتفاعات بمرحلة التهيئة المسبقة كثيفة الحوسبة، وتبحث في تأثير تردد GPU على زمن الاستجابة والقدرة.
قد تبالغ عينة مراقبة في شكل الارتفاع أو تخفيه. فقد يدمج متوسط مدته ثانية واحدة رفع التردد والتهيئة المسبقة وفك الترميز المبكر في نقطة واحدة، بينما قد يفوّت قابس ذكي بطيء حدث GPU تمامًا أو لا يبلغ إلا استجابة النظام الكاملة المتأخرة.
تستخدم التهيئة المسبقة الحوسبة المتوازية بطريقة تختلف عن فك الترميز
تعالج التهيئة المسبقة رموز الموجه معًا لبناء ذاكرة التخزين المؤقت KV، مما يتيح عمليات ضرب المصفوفات التي قد تشغل عددًا كبيرًا من أنوية GPU. أما فك الترميز فيتقدم رمزًا واحدًا لكل تسلسل، وغالبًا ما يكون مقيدًا أكثر بحركة الذاكرة والتبعية التسلسلية، لا سيما عند حجم دفعة يساوي واحدًا.
قياس القدرة المتزامن مع المراحل يزامن عينات قدرة GPU والعقدة والنظام مع التهيئة المسبقة وفك الترميز لكل طلب. وتوضح طريقته المراعية للمراحل سبب عجز إجمالي واحد للطاقة عن تفسير وقت حدوث ذروة القدرة أو تحديد متغيرات الموجه والتقديم التي أنتجتها.
قد تؤدي الموجهات الأطول أو الدفعات الأكبر إلى إطالة فترة الاستخدام المرتفع، بينما تغير الكمّية والنوى المدمجة كلًا من الطلب على الحوسبة والذاكرة. وتجيب الواطات القصوى، والواطات المتوسطة، والجولات لكل رمز مكتمل عن أسئلة مختلفة، ولا ينبغي استخدام أحدها بدلًا من الآخر.
تعيد حدود القدرة تشكيل الارتفاع المفاجئ بدلًا من إزالة العمل
يمكن لخفض حد القدرة أو التردد أن يقلل الذروة اللحظية، لكنه قد يطيل التهيئة المسبقة. وقد ينخفض إجمالي الطاقة أو يظل متقاربًا أو يرتفع، اعتمادًا على الكفاءة عند نقطة التشغيل المحددة، وعلى ما إذا كان الطلب الأبطأ يؤخر أعمالًا أخرى في قائمة الانتظار.
التحكم في التردد المراعي للمراحل يتحكم في الترددات بصورة منفصلة للتهيئة المسبقة وفك الترميز مع حماية أهداف زمن الاستجابة. وتوضح وفورات الطاقة المبلغ عنها أن التحكم المراعي للمراحل قد يتفوق على سياسة ثابتة واحدة، لكن النتيجة تعتمد على فئات أحمال العمل وقيود مستويات الخدمة.
يتمثل حد الفشل في مساواة ارتفاع GPU المفاجئ القصير بقدرة الجدار غير الآمنة. إذ يرى مزود الطاقة النظام بأكمله، بما في ذلك CPU ومحركات الأقراص والمراوح وفواقد التحويل، بينما تبلغ مستشعرات البرامج عن قدرة الشريحة وفق وتيرتها الخاصة. وتتطلب قرارات السلامة الكهربائية قياسًا على مستوى الجدار وهامشًا للظروف العابرة.
زامن عينات القدرة مع مراحل الاستدلال
شغّل موجهات ثابتة تحتوي على 32 و512 و2K و8K رمز إدخال مع ثبات طول الإخراج، ثم كرر الاختبار عند حجمي دفعة. التقط قدرة GPU، والترددات، والاستخدام، ودرجة الحرارة، وقدرة الجدار للمضيف، ووصول الطلب، وجاهزية النموذج، وبداية التهيئة المسبقة ونهايتها، والرمز الأول، واكتمال فك الترميز.
استخدم التمييز بين المراحل في قدرة بدء تشغيل الخادم المنزلي لحساب الواطات القصوى، وجولات التهيئة المسبقة، وجولات فك الترميز، والجولات لكل رمز، وTTFT، وزمن الانتقال بين الرموز عند النسبة المئوية الخامسة والتسعين. كرر الاختبار مرة مع حد للقدرة، ومرة أخرى بعد فترة خمول طويلة.
احتفظ بسياسة القدرة فقط إذا احترمت هامش قدرة الجدار ودرجة الحرارة وزمن الاستجابة معًا. وإذا أدى خفض الذروة إلى إطالة التهيئة المسبقة بما يكفي لزيادة الطاقة أو تأخير قائمة الانتظار، فاعتبر الرسم البياني الأكثر سلاسة تحسينًا تجميليًا لا مكسبًا في الكفاءة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
لماذا يتغير ترتيب نتائج البحث المتجهي عند الاستعلام عن مقاطع فهرسة متعددة معًا؟
تعرّف على كيفية تأثير حدود المرشحين لكل مقطع، والرسوم البيانية التقريبية، ومعايرة الدرجات، والتحديثات، والدمج على ترتيب البحث الخاص عن المتجهات.
لماذا تنقسم مجموعات إزالة تكرار الصور بعد تعديل البيانات الوصفية؟
تعرّف على كيفية تسبب التجزئات الدقيقة، والتجزئات الإدراكية، واتجاه EXIF، والطوابع الزمنية، والحدود، وإصدارات مسارات المعالجة في تقسيم مجموعات الصور الخاصة المتكررة.
لماذا يقاطع المساعد الصوتي المحلي نفسه في غرفة ذات صدى؟
تعرّف على كيفية تسبب مسارات الصدى الصوتي، والتردد الصوتي، ومكبرات الصوت غير الخطية، والكلام المتزامن، وعتبات المقاطعة في جعل المساعد الصوتي المحلي يسمع نفسه.
