لماذا يمكن أن يبطئ عرض نطاق الذاكرة الذكاء الاصطناعي والترميز على خادم منزلي؟

يمكن أن يبطئ عرض نطاق الذاكرة الذكاء الاصطناعي وتحويل الفيديو عندما يكون المعالج أو محرك الرسومات جاهزًا للعمل لكنه لا يستطيع استقبال الأوزان أو التنشيطات أو إطارات الفيديو بسرعة كافية. لا تزيل المزيد من نوى وحدة المعالجة المركزية هذا الاختناق؛ بل يمكنها زيادة عدد وحدات التنفيذ التي تنتظر على نفس قنوات الذاكرة.

التأثير مشروط. غالبًا ما يكون فك تشفير LLM التوليدي بحجم دفعة صغير مقيدًا بالذاكرة، بينما يمكن أن يكون معالجة الموجه مقيدًا بالحوسبة. يمكن أن يكون تحويل الفيديو محدودًا بمحركات الترميز، أو مرشحات وحدة المعالجة المركزية، أو حركة المرور في الذاكرة، أو ترميز الإخراج. يعتمد التفسير الصحيح على المرحلة التي تنقل أكبر كمية من البيانات مقارنة بالحوسبة المفيدة التي تؤديها.

يصبح عرض نطاق الذاكرة هو الحد عندما يتجاوز نقل البيانات الحوسبة

يصل المعالج إلى ذروة الأداء الحسابي فقط عندما تصل التعليمات والبيانات بسرعة كافية للحفاظ على موارد التنفيذ مشغولة. تؤدي أحمال العمل ذات الكثافة الحسابية المنخفضة إلى إجراء حسابات قليلة نسبيًا مقابل كل بايت يتم نقله من الذاكرة. يقترب أداؤها من سقف عرض النطاق قبل أن تصل وحدة المعالجة المركزية أو وحدة معالجة الرسومات إلى سقف الحوسبة المعلن.

يعبر نموذج Roofline عن هذا الحد بمقارنة العمليات لكل بايت مع ذروة الحوسبة وعرض نطاق الذاكرة. يستخدم الاستطلاع البحثي LLM Inference Unveiled هذا النموذج ليُظهر أن بعض طبقات الاستدلال تترك وحدات الحوسبة غير مستغلة لأن الوصول إلى الذاكرة، وليس القدرة الحسابية، هو المورد المحدد.

فك تشفير LLM التوليدي يبث بيانات النموذج بشكل متكرر

للاستدلال على نماذج اللغة الكبيرة (LLM) على الأقل نظامان للأداء. أثناء التعبئة المسبقة، يعالج الخادم موجه الإدخال وينشئ ذاكرة التخزين المؤقت للمفتاح والقيمة. أثناء فك التشفير، يولد المخرجات رمزًا واحدًا في كل مرة مع الوصول المتكرر إلى أوزان النموذج وذاكرة التخزين المؤقت المتوسعة KV. غالبًا ما يكون لفك التشفير بحجم دفعة منخفض إعادة استخدام محدودة لكل وزن محمّل عبر الرموز المتزامنة.

تجد دراسة Roofline المذكورة أن مثال Llama-2-7B الخاص بها يكون في الغالب مقيدًا بالحوسبة أثناء مرحلة التعبئة المسبقة ولكنه مقيد بالذاكرة عبر عمليات فك التشفير التي تم تحليلها. يدعم هذا تفسيرًا مفيدًا لخادم منزلي: يمكن أن تزداد سرعة فك التشفير مع عرض نطاق الذاكرة المستمر حتى عندما لا تقدم نوى المعالج الإضافية تحسنًا كبيرًا. الحد الأقصى التقريبي هو عرض النطاق القابل للاستخدام مقسومًا على عدد البايتات التي يجب قراءتها لكل رمز يتم إنشاؤه، لكن الأداء الحقيقي يشمل أيضًا سلوك الذاكرة المخبئية، والنوى، وتكاليف التكميم، ودعم المتجهات في وحدة المعالجة المركزية.

يغير التكميم كلًا من حركة المرور في الذاكرة والحوسبة

يخزن التكميم الأوزان وأحيانًا التنشيطات أو بيانات ذاكرة KV بدقة أقل. يقلل عدد البايتات لكل معلمة من بصمة الذاكرة للنموذج وحركة المرور المطلوبة لنقل تلك القيم. عندما يظل فك الترميز مقيدًا بالذاكرة، يمكن لهذا التخفيض زيادة سرعة توليد الرموز بالإضافة إلى السماح بملاءمة نموذج أكبر.

ليس مضاعف عرض نطاق ترددي عالمي. تضيف عمليات فك التكميم ونوى الدقة المنخفضة حساباتها الخاصة، ويمكن أن ينتقل عبء العمل من الجانب المقيد بالذاكرة في نموذج Roofline إلى الجانب المقيد بالحوسبة. تشير الدراسة نفسها إلى أن التكميم يحسن الأداء النظري في المناطق المقيدة بالذاكرة لكنه قد لا يوفر فائدة سرعة كبيرة بمجرد أن تصبح العملية مقيدة بالحوسبة. جودة النموذج ودعم الواجهة الخلفية هما قيدان منفصلان.

تحويل ترميز الفيديو ينقل الإطارات عبر عدة مراحل مختلفة

التحويل ليس عملية واحدة. يقرأ الخادم الإدخال المضغوط، يفك تشفيره إلى أسطح إطارات، قد يقوم بالتحجيم، تعيين النغمة، إزالة التشابك، حرق الترجمة، أو تغيير تنسيق البكسل، ثم يشفر تدفقًا جديدًا. توثيق oneVPL من إنتل يفصل بوضوح بين الترميز، فك الترميز، ومعالجة الفيديو.

تلك المراحل لها ملفات تعريف موارد مختلفة. قد يكون الترميز البرمجي مقيدًا بالحوسبة، بينما تقوم مرحلة التحجيم عالي الدقة أو تحويل التنسيق بنقل أسطح الإطارات الكبيرة عبر الذاكرة. يمكن أن يغير عرض الترجمة وتعيين نغمة HDR المسار مرة أخرى. لهذا السبب يمكن للخادم التعامل مع عدة تدفقات تشغيل مباشر لكنه يواجه صعوبة مع تحويل ترميز معقد واحد: التشغيل المباشر يرسل تدفقًا مضغوطًا موجودًا ويتجنب معظم أعمال معالجة الإطارات.

محركات الوسائط المادية تقلل من عبء وحدة المعالجة المركزية لكنها لا تزال تتبادل بيانات الإطارات

يمكن لوحدات الوسائط ذات الوظائف الثابتة فك وترميز الترميزات المدعومة دون طلب من أنوية وحدة المعالجة المركزية العامة أداء كل عملية. هذا يمكن أن ينقل عنق الزجاجة بعيدًا عن قدرة وحدة المعالجة المركزية، لكن الإطارات والأسطح الوسيطة لا بد أن تبقى في ذاكرة قابلة للوصول وأن تمر بين مراحل خط المعالجة.

تصف مواصفة منصة إنتل تحويل الترميز العتادي بأنه فك ترميز، معالجة فيديو اختيارية، وترميز، وتلاحظ أن الدقة المدعومة تخضع لـتوفر عرض النطاق الترددي للذاكرة. هذا لا يعني أن كل تحويل ترميز عتادي يشبع ذاكرة RAM. تحدد دعم الترميز، سعة محرك الوسائط، سلوك النسخ، المرشحات، الدقة، عمق البت، وعدد التدفقات ما إذا كانت حركة المرور على الذاكرة تصبح مرئية.

الرسومات المدمجة ووحدة المعالجة المركزية تشتركان في نفس ذاكرة النظام

عادةً ما تمتلك بطاقة الرسومات المنفصلة نظام ذاكرة محلي خاص بها. تستخدم الرسومات المدمجة بدلاً من ذلك ذاكرة النظام المشتركة مع وحدة المعالجة المركزية. يوضح شرح إنتل لـالرسومات المدمجة والمنفصلة هذا التمييز في الذاكرة المشتركة مباشرة.

على خادم منزلي مضغوط، يمكن أن يستخدم تحويل الترميز iGPU، استدلال LLM المعتمد على وحدة المعالجة المركزية، الحاويات، ذاكرة التخزين المؤقت لنظام الملفات، والعمل العادي للتطبيق نفس وحدات تحكم الذاكرة. لا تعني السعة المشتركة بالضرورة تنافسًا كاملاً على عرض النطاق الترددي، لكن حركة المرور المتزامنة تزيد من احتمال أن يقلل عبء عمل واحد من عرض النطاق المتاح لآخر. يمكن لتكوين ذاكرة قناة واحدة أن يجعل هذا الحد يظهر أبكر من تكوين متعدد القنوات المملوء بشكل صحيح.

سعة الذاكرة، عرض النطاق الترددي، الكمون، والقدرة الحسابية تنتج حدودًا مختلفة

غالبًا ما توصف عدة عنق زجاجة بأنها "ذاكرة RAM غير كافية"، رغم أنها تتطلب تفسيرات مختلفة. تحدد السعة ما إذا كانت مجموعة العمل تناسب الذاكرة؛ تتحكم عرض النطاق الترددي في الحركة المستمرة؛ تؤثر الكمون على سرعة إكمال الوصولات الفردية؛ وتحدد القدرة الحسابية مدى سرعة معالجة البيانات المحملة.

سرعة التخزين هي حد آخر. تحميل نموذج من SSD يمكن أن يهيمن على وقت بدء التشغيل، بينما يعتمد توليد الرموز بعد وجود النموذج على الذاكرة والحوسبة. وبالمثل، قد يكون قراءة ملف وسائط محدودًا بالتخزين دون أن يكون خط تحويل الترميز مقيدًا بالذاكرة. لا ينبغي دمج بدء التشغيل، المعالجة في الحالة المستقرة، وتسليم الإخراج في نتيجة واحدة لـ "سرعة الذاكرة العشوائية".

التزامن يجعل ضغط عرض النطاق الترددي المشترك أسهل في الرؤية.

طلب ذكاء اصطناعي واحد أو تدفق فيديو واحد قد يترك عرض نطاق ترددي كبير غير مستخدم. تضيف عدة جلسات LLM أوزانًا وحركة مرور ذاكرة KV-cache، بينما تضيف عدة تحويلات ترميز أسطح إطارات وعمل محرك الترميز. تشغيل كلا عائلتي الأحمال في وقت واحد يمكن أن يخلق تنافسًا حتى عندما يكون أداء كل منهما مقبولًا بشكل منفصل.

التزامن لا يزيد الطلبات خطيًا. تجميع طلبات الذكاء الاصطناعي يمكن أن يعيد استخدام الأوزان عبر المزيد من العمل ويزيد من كثافة الحساب، مما يحسن الإنتاجية الإجمالية مع تغيير زمن الاستجابة لكل طلب. قد تعالج محركات الفيديو عدة تدفقات بكفاءة حتى يتم الوصول إلى حد الترميز، الدقة، الجلسة، أو الذاكرة. لذلك، لا تتنبأ اختبارات الأداء لأحمال العمل الفردية بعبء عمل مختلط لخادم منزلي بجمع بسيط.

قِس خط الأنابيب النشط قبل لوم سرعة الذاكرة العشوائية.

ابدأ بالمرحلة القابلة للملاحظة. بالنسبة للذكاء الاصطناعي المحلي، فصل تحميل النموذج، تعبئة الموجه مسبقًا، الوقت حتى الرمز الأول، فك تشفير الرموز في الثانية، ومعدل الطلبات المتزامنة. بالنسبة للوسائط، فصل التشغيل المباشر، التحويل البرمجي، فك التشفير العتادي، الفلاتر، الترميز العتادي، وتسليم الشبكة.

• تأكد من أن الذاكرة تعمل في تكوين القناة المقصود.
• قارن عرض النطاق الترددي المقاس مع الحد المستمر للمنصة بدلاً من الحد المعلن.
• راقب نشاط وحدة المعالجة المركزية، ووحدة معالجة الرسومات المدمجة، وفك التشفير، والترميز، والذاكرة معًا.
• اختبر التعبئة المسبقة وفك الترميز بشكل منفصل لـ استدلال نماذج اللغة الكبيرة المحلية.
• اختبر التشغيل المباشر، والتحويل الأساسي، والتحويل الثقيل بالفلاتر كمسارات وسائط مختلفة.
• كرر القياس مع جلسات ذكاء اصطناعي واقعية وتدفقات وسائط تعمل في نفس الوقت.

معدل بيانات أعلى للذاكرة يساعد فقط عندما يكون حمل العمل مقيدًا فعليًا بحركة مرور الذاكرة ويمكن لوحدة المعالجة المركزية، واللوحة الأم، وقنوات الذاكرة، والبرامج الثابتة استخدامها. يمكن للقراء الذين يقررون ما إذا كانت الوسائط والذكاء الاصطناعي المحلي ينتميان إلى نفس الجهاز استخدام هذا مقال وضع حمل العمل لـ Plex والذكاء الاصطناعي المحلي كسياق معماري إضافي.

الأسئلة الشائعة

هل تزيد المزيد من ذاكرة الوصول العشوائي من عرض نطاق الذاكرة؟

زيادة السعة لا تزيد عرض النطاق تلقائيًا. يعتمد عرض النطاق على معدل بيانات الذاكرة، وعرض الناقل، وعدد القنوات النشطة، ووحدة تحكم الذاكرة، وتكوين المنصة. يمكن أن يؤدي إضافة وحدة إلى زيادة عرض النطاق عندما تمكّن قناة مدعومة أخرى، لكن إضافة سعة إلى تكوين متوازن بالفعل قد لا تفعل ذلك.

هل يكون استدلال نماذج اللغة الكبيرة دائمًا محدودًا بعرض نطاق الذاكرة؟

لا. فك الترميز التلقائي منخفض الدُفعات غالبًا ما يكون محدودًا بالذاكرة، لكن التعبئة المسبقة، والدُفعات الكبيرة، وبعض النوى، وبعض العمليات الكمية يمكن أن تصبح محدودة بالحوسبة. تغير بنية النموذج، وطول السياق، والخلفية، وسلوك التخزين المؤقت، والأجهزة التوازن.

هل يلغي التحويل البرمجي للأجهزة حركة مرور ذاكرة النظام؟

لا. تقلل الكتل ذات الوظائف الثابتة من عمل وحدة المعالجة المركزية العامة، لكن البيانات المضغوطة، والإطارات المفككة، والأسطح المعالجة، والمخرجات المشفرة لا تزال تتحرك عبر تسلسل الذاكرة. ما إذا كان هذا المرور يحد من الأداء يعتمد على عدد التدفقات، والدقة، والفلاتر، والنسخ، ودعم الترميز، وما إذا كان محرك الرسومات يشارك ذاكرة النظام.

لماذا يمكن لخادم منزلي أن يحتوي على ذاكرة وصول عشوائي حرة ولكنه لا يزال محدودًا بعرض النطاق الترددي؟

السعة الحرة تظهر أن المزيد من البيانات يمكن أن تتسع؛ لكنها لا تظهر مدى سرعة انتقال البيانات. يمكن لحمل العمل استخدام جزء فقط من ذاكرة الوصول العشوائي المثبتة مع تكرار تدفق تلك البيانات بسرعة كافية لإشباع قنوات الذاكرة المتاحة.