كيف يدير الانتباه المُجزأ ذاكرة التخزين المؤقت KV عند وجود طلبات ذكاء اصطناعي محلية متزامنة؟

إيفا وونغ

IceWhale author

إيفا وونغ هي كاتبة تقنية و ومهندسة هاوية في ZimaSpace. مهووسة بالتكنولوجيا مدى الحياة ولديها شغف بالمختبرات المنزلية والبرمجيات مفتوحة المصدر، تتخصص في تبسيط المفاهيم التقنية المعقدة إلى أدلة عملية وسهلة الفهم. تؤمن إيفا بأن الاستضافة الذاتية يجب أن تكون ممتعة وليست مخيفة. من خلال دروسها، تمكّن المجتمع من تبسيط إعدادات الأجهزة، بدءًا من بناء أول نظام تخزين شبكي NAS وحتى إتقان حاويات Docker.

How Does Paged Attention Manage KV Cache Under Concurrent Local AI Requests? - Zima Store Online

تدير آلية الانتباه المُصفَّح (Paged Attention) ذاكرة KV المؤقتة المتزامنة من خلال تعيين حالة الرموز المتزايدة لكل طلب إلى كتل ثابتة الحجم يمكن تخصيصها وإعادة تدويرها بشكل مستقل.

يكتسب ذلك أهمية خاصة على خادم ذكاء اصطناعي منزلي، لأن المحادثات النشطة ومهام المستندات والوكلاء نادرًا ما تكون لها أطوال سياق متساوية أو تنتهي في الوقت نفسه. تؤدي استراتيجية الحجز المتجاور إلى هدر ذاكرة المسرّع المحدودة حول هذه التسلسلات متفاوتة الطول. ويغيّر التقسيم الصفحي تخطيط الذاكرة بحيث يستطيع المجدول استخدام السعة المتاحة بكثافة أكبر.

تُنشئ الطلبات المتزامنة ذاكرات KV مؤقتة تنمو بمعدلات مختلفة

يحتاج كل طلب نشط وتوليدي ذاتي إلى حالة المفتاح والقيمة للرموز التي عالجها. قد تنتهي إحدى المحادثات بعد 100 رمز، بينما تستمر أخرى لآلاف الرموز، لذا لا يمكن معرفة احتياجات الذاكرة بدقة عند بدء الدفعة.

تحدّد ورقة PagedAttention ذاكرة KV المؤقتة المتنامية بوصفها عنق زجاجة في تقديم النماذج، ما يحدّ من التجميع عندما يكون التخصيص غير فعّال.

على خادم منزلي يضم عدة مستخدمين أو وكلاء يعملون في الخلفية، يحوّل هذا التفاوت رقم الذاكرة الحرة الكبير إلى العديد من التخصيصات الحية ذات الأحجام المختلفة.

تهدر الحجوزات المتجاورة الثابتة الذاكرة حول التسلسلات متفاوتة الطول

يمكن لبيئة تشغيل ساذجة حجز منطقة متجاورة كبيرة لكل طلب استنادًا إلى حد أقصى للطول. وتترك الطلبات القصيرة مساحة غير مستخدمة داخل حجزها، بينما قد تحتاج الطلبات الأطول إلى إعادة تخصيص أو إلى توفير زائد.

تلخّص vAttention الدافع الأصلي وراء التقسيم الصفحي: تؤدي حجوزات KV المسبقة إلى تجزئة داخلية. وتقلل الذاكرة المهدرة عدد الطلبات التي يمكن إبقاؤها نشطة معًا.

يتمثل العرض العملي في الوصول إلى حد نفاد الذاكرة أو إلى دفعة قصوى صغيرة، رغم أن مجموع حالات الرموز المستخدمة فعليًا يبدو أقل من ذاكرة VRAM المتاحة.

تُقسّم PagedAttention حالة KV إلى كتل ثابتة الحجم

تستبدل PagedAttention مخزنًا واحدًا متجاورًا فعليًا للطلب بتسلسل منطقي من الكتل. ومع وصول المزيد من الرموز، تخصص بيئة التشغيل كتلًا فعلية إضافية من مجموعة مشتركة.

توضح vLLM أن كتل KV يمكن أن توجد في ذاكرة فعلية غير متجاورة. ويربط جدول الكتل ترتيب رموز الطلب المنطقي بهذه المواقع الفعلية.

يواصل النموذج الانتباه إلى التسلسل الصحيح. إذ يغيّر هذا التوجيه غير المباشر موضع الذاكرة، لا الترتيب الدلالي للمحادثة.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

تعود الكتل المحررة إلى مجموعة مشتركة عند انتهاء الطلبات

عند اكتمال أحد الطلبات، يمكن تحرير كتلِه غير المشتركة فورًا وإعادة استخدامها من قِبل طلب نشط آخر أو طلب مقبول حديثًا. ولا يحتاج الخادم إلى انتظار إفراغ ساحة ضخمة كاملة.

تعرض حزمة الاستدلال من NVIDIA سعة ذاكرة KV المؤقتة بوصفها موردًا للتقديم يجب موازنته مع الأوزان ومساحة العمل الخاصة ببيئة التشغيل.

تكتسب إعادة التدوير على مستوى الكتل قيمة كبيرة في المنزل لأن أطوال الطلبات غير منتظمة: فقد يطرح أحد الأشخاص سؤالًا قصيرًا عن المنزل الذكي، بينما يشغّل شخص آخر مساعدًا طويلًا للمستندات ويلخّص وكيل يعمل في الخلفية الملفات.

يرفع التقسيم الصفحي التزامن عبر تقليل التجزئة، لا عبر تصغير كل رمز

لا تجعل PagedAttention موترَي المفتاح والقيمة لرمز واحد أصغر بشكل جوهري. بل يأتي مكسبها الأساسي في الذاكرة من التخصيص بما يقترب من نمو التسلسل الفعلي، ومن إتاحة المشاركة حيثما تكون صحيحة.

تفصل إرشادات PyTorch الموزعة بين التوازي النموذجي وإدارة ذاكرة التقديم. فالتقسيم الصفحي ليس توازيًا موترِيًا، ولا يقسم أوزان النموذج بين وحدات معالجة الرسومات بحد ذاته.

إذا كانت أوزان النموذج تستهلك تقريبًا كامل ذاكرة الجهاز، فلن تتمكن آلية التقسيم الصفحي من إنشاء سعة كافية لتزامن كبير. لكنها تحسّن الاستفادة من منطقة KV المتبقية.

تنطوي إدارة الكتل على أعبائها الخاصة وحدود الجدولة

تدير بيئة التشغيل الآن جداول الكتل، وأعداد المراجع، وقرارات التخصيص، ونوى الانتباه التي تفهم التخطيطات الصفحية. وقد تقلل الدفعات الصغيرة جدًا أو الأجهزة غير المدعومة من الميزة.

توضح مقالة ZimaSpace حول تزامن أفراد العائلة والضغط على KV الحد الفاصل الذي يلمسه المستخدم: إذ تهم كفاءة الذاكرة لأنها تحدد عدد السياقات النشطة التي يمكن أن تتعايش قبل ازدياد الانتظار في الطابور.

اختبر أطوالًا متعددة للطلبات وأنماط وصول مختلفة بدلًا من اختبار دفعة اصطناعية واحدة. ويُعد دليل ZimaSpace حول نوافذ السياق المنزلقة وذاكرة KV مقارنة مفيدة، لأن تحديد النافذة يغيّر مقدار الحالة التي يحتفظ بها كل تسلسل، بينما يغيّر التقسيم الصفحي طريقة تخصيص تلك الحالة. سجّل التسلسلات النشطة، وكتل KV المستخدمة، ووقت الانتظار في الطابور، وعمليات الاستباق.

يميز مجدول TGI من Hugging Face أيضًا بين جدولة التعبئة المسبقة والتوليد تحت التقديم المتزامن. تساعد الذاكرة الصفحية المجدول على قبول العمل، لكن الإنصاف ووقت الاستجابة يظلان معتمدين على طريقة وضع هذا العمل في الطابور.