كيف يؤثر طول السياق في معدل معالجة نماذج اللغة الكبيرة المحلية؟
يؤدي السياق الأطول عادةً إلى خفض معدل إنتاجية نماذج اللغة الكبيرة المحلية، من خلال زيادة عمليات الحساب التمهيدي، وذاكرة التخزين المؤقت لمفاتيح-قيم، وعملية فك الترميز، والتنافس على سعة التسلسلات المتزامنة.
لا ينتج عن ذلك منحنى واحد عالمي لعدد الرموز في الثانية. إذ يزيد طول المطالبة أساسًا من مرحلة الحساب التمهيدي، بينما يجعل السياق النشط المتنامي خطوات فك الترميز اللاحقة تنفّذ الانتباه على عدد أكبر من المفاتيح والقيم المخزنة مؤقتًا. وعند امتلاء الذاكرة، قد يسمح الخادم بعدد أقل من الطلبات، أو يوقف التسلسلات مؤقتًا، أو ينقل الذاكرة المؤقتة، أو يرفض العمل؛ لذلك تعتمد الإنتاجية على النموذج، ونواة الانتباه، والعتاد، والمجدول، ومزيج أحمال العمل.
يزيد طول المطالبة من عمل الحساب التمهيدي قبل الرمز الأول
أثناء الحساب التمهيدي، يعالج النموذج جميع رموز المطالبة لإنشاء الحالات المخفية وذاكرة التخزين المؤقت الأولية للمفاتيح والقيم. وينمو عمل الانتباه القياسي بسرعة مع طول التسلسل، رغم أن النوى المحسّنة تقلل حركة الذاكرة والعوامل الثابتة من دون أن تجعل الإدخال مجانيًا.
تقدّم ورقة الانتباه الواعي بحركة الإدخال والإخراج خوارزمية انتباه دقيقة وواعية بحركة الإدخال والإخراج، تقلل عمليات النقل بين مستويات ذاكرة وحدة معالجة الرسوميات. وتوضح تحسينات السرعة فيها سبب تأثير اختيار النواة في المنحنى، بينما يظل السياق الأساسي يتطلب حسابًا وحركة للذاكرة.
قد يخفي الخادم الذي يبلّغ فقط عن عدد رموز فك الترميز في الثانية هذه التكلفة. وبالنسبة إلى الاسترجاع المعزز بالتوليد والمحادثات الطويلة، يلزم قياس زمن الوصول إلى الرمز الأول والرموز المعالجة في الثانية إلى جانب إنتاجية المخرجات. ويظل هذا الفرق ظاهرًا أثناء الاختبارات المنزلية اللاحقة.
تنمو ذاكرة التخزين المؤقت للمفاتيح والقيم مع كل رمز سياق نشط
يخزّن فك الترميز التلقائي الانحداري المفاتيح والقيم الخاصة بالرموز السابقة حتى لا يُعاد حسابها. وتتدرج ذاكرة التخزين المؤقت مع طول التسلسل النشط، وعدد الطبقات، والأبعاد، والدقة، والتسلسلات المتزامنة؛ ولذلك تقلل السياقات الأطول عدد الطلبات التي يمكن استيعابها في الوقت نفسه.
تقدّم PagedAttention من vLLM تقنية PagedAttention لتقليل تجزؤ ذاكرة التخزين المؤقت للمفاتيح والقيم وإتاحة مشاركة مرنة. ويزيد التخصيص الأفضل السعة القابلة للاستخدام، لكنه لا يزيل البايتات المطلوبة للسياق المحتفظ به نفسه. ويجب أن تظل النتيجة الوسيطة قابلة للفحص قبل أن تتبعها الأتمتة.
عند استنفاد السعة، قد تضع الأنظمة الطلبات الجديدة في قائمة انتظار، أو تزيل الذاكرة المؤقتة أو تعيد حسابها، أو تنقلها إلى ذاكرة المضيف، أو تخفض حجم الدفعة. ويمكن لهذه السياسات أن تحوّل اختبارًا سلسًا لمستخدم واحد إلى إنتاجية فعلية غير مستقرة لعدة مستخدمين. وينبغي قياس هذه الحدود منفصلةً في ظروف تشغيل واقعية.
تقرأ خطوات فك الترميز سجلًا أكبر مع نمو السياق
يستعلم كل رمز مُولّد من الذاكرة المؤقتة المتراكمة، لذلك تزداد قراءات الذاكرة وعملية الانتباه مع طول التسلسل. وقد يظل النموذج محدودًا بعرض نطاق الذاكرة، كما أن ضغط السياق أو تكميم الذاكرة المؤقتة يحققان وفورات في الذاكرة مقابل الدقة ودعم النواة.
يُكمّم بحث تكميم ذاكرة التخزين المؤقت للمفاتيح والقيم ذاكرة التخزين المؤقت للمفاتيح والقيم لإتاحة سياقات أطول بكثير، ويحدّد صراحةً سعة الذاكرة المؤقتة بوصفها عنق زجاجة للسياق الطويل. ويوضح ذلك أن الحد الأقصى المعلن للسياق والإنتاجية الفعّالة المستمرة خاصيتان مختلفتان. وتظهر النتيجة العملية عندما تتنافس عدة مصادر على سياق محدود.
تتمثل نقطة الفشل في مقارنة سياقين مع تغيير تركيب المطالبة، أو طول المخرجات، أو التزامن، أو دقة الذاكرة المؤقتة. وقد تتحسن جودة الاسترجاع بإضافة أدلة، حتى مع انخفاض إنتاجية النظام؛ لذلك يجب فصل أداء النظام عن فائدة الإجابة كمحورين مستقلين.
قِس الإنتاجية عبر فئات طول المطالبة
أنشئ فئات ثابتة للمطالبات، مثل 512 و2,048 و8,192 و16,384 رمزًا، مع أطوال مخرجات مضبوطة. شغّل كل فئة مع مستخدم واحد ومع تزامن متزايد، وسجّل الرموز المستلمة في الثانية، ورموز المخرجات في الثانية، وزمن الوصول إلى الرمز الأول، وزمن الانتقال بين الرموز، واستخدام الذاكرة المؤقتة، ووقت الانتظار في قائمة الانتظار، والإيقاف المؤقت، وحالات الفشل.
قارن المنحنى مع التباطؤ في المحادثات الطويلة الموضح في تباطؤ نافذة السياق. ثبّت النموذج، والتكميم، وأخذ العينات، والمجدول، والعتاد، ثم كرر الاختبار مع التخزين المؤقت للبادئة أو تكميم الذاكرة المؤقتة فقط كتجارب منفصلة. ويجب أن تظل هذه التبعية واضحة في الواجهة النهائية.
حدّد ميزانية تشغيلية للسياق استنادًا إلى الإنتاجية الفعلية ضمن هدف زمن الاستجابة المطلوب، لا إلى أقصى طول يقبله النموذج. استخدم الاسترجاع أو التلخيص فقط عندما تبرر زيادة الجودة الناتجة التكلفة المقاسة للحساب التمهيدي والذاكرة المؤقتة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
هل يمكن للكاميرات المنزلية مزامنة الأحداث دون خدمات الوقت السحابية؟
شرح يعتمد أولًا على الآلية لوقت الكاميرا دون سحابة، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن لخدمة ذكاء اصطناعي محلية اكتشاف طبقات النموذج التالفة قبل الاستدلال؟
شرح يركز أولًا على الآلية لاكتشاف تلف طبقة النموذج، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن استعادة نظام RAG دون إعادة توليد كل التضمينات؟
شرح قائم على الآلية لاستعادة RAG دون إعادة التضمين، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
