كيف يقلّل التخزين المؤقت للبادئة من العمل المتكرر لمعالجة المطالبات على خادم ذكاء اصطناعي منزلي؟
يقلّل التخزين المؤقت للبادئة من العمل المتكرر على المطالبة من خلال إعادة استخدام حالة المفتاح-القيمة المحسوبة مسبقًا لتسلسل بادئ متطابق من الرموز.
على خادم ذكاء اصطناعي منزلي، قد تكون تلك البادئة المشتركة سياسة نظام، أو مخطط أدوات، أو مستندًا طويلًا، أو مجموعة تعليمات منزلية، أو سجل محادثة متكررًا. لا يزال الطلب الأول يتحمل تكلفة الملء المسبق كاملة، لكن الطلبات المطابقة اللاحقة يمكنها تخطي جزء كبير منها. وتتمثل الفائدة الرئيسية في تقصير مسار الملء المسبق وتسريع ظهور الرمز الأول، وليس في توليد مجاني.
تعيد المطالبات المتكررة حساب الملء المسبق نفسه من دون ذاكرة تخزين مؤقت
قبل توليد رد، يعالج النموذج الانحداري الذاتي رموز الإدخال ويبني حالة المفتاح-القيمة المستخدمة في فك الترميز اللاحق. لذلك يمكن لمطالبة نظام طويلة، أو مخطط أدوات، أو رأس مستند، أو كتلة تعليمات مشتركة أن تستهلك عمل الملء المسبق نفسه في كل طلب.
يحوّل Prompt Cache هذه الإمكانية إلى آلية رسمية من خلال إعادة استخدام حالات الانتباه من مقاطع المطالبة المتداخلة. وعلى خادم ذكاء اصطناعي منزلي، قد يتكون الجزء المتكرر من آلاف الرموز، رغم أن المستخدم لا يضيف سوى جملة واحدة جديدة.
من دون إعادة الاستخدام، تنفّذ وحدة معالجة الرسومات أو وحدة المعالجة المركزية عمليات المصفوفات نفسها مجددًا، وتقرأ أوزان النموذج نفسها للبادئة نفسها. وقد يكون الناتج متطابقًا، لكن الخادم لا يزال يتحمل تكلفة الإعداد الحسابية.
تخزّن ذاكرة البادئة حالة KV لبادئة تمت معالجتها مسبقًا
بعد أول طلب متوافق، يمكن لبيئة التشغيل الاحتفاظ بحالة KV المرتبطة بالبادئة المشتركة. ويبدأ الطلب اللاحق بالتحقق من تطابق تسلسل الرموز الأول فيه مع الكتل المخزنة مؤقتًا.
تحدّد ميزة التخزين المؤقت التلقائي للبادئة في vLLM الكتل اعتمادًا على الرموز الموجودة في الكتلة بالإضافة إلى البادئة السابقة. ويمكن للطلبات المتطابقة الإشارة إلى كتل التخزين المؤقت الفعلية نفسها بدلًا من تخصيص حالة مكررة وحسابها.
العنصر القابل لإعادة الاستخدام ليس الإجابة النهائية ولا ملخصًا دلاليًا عامًا، بل هو حالة انتباه خاصة بالنموذج لبادئة متطابقة ومتوافقة تمامًا.
تتخطى إصابة ذاكرة التخزين المؤقت الملء المسبق المشترك، لكنها لا تزال تحسب اللاحقة الجديدة
عند تطابق البادئة، يمكن لبيئة التشغيل البدء من حالة الانتباه المخزنة وتقييم الرموز الجديدة فقط بعد حدود البادئة المخزنة مؤقتًا. لذلك يستطيع مساعد منزلي ذكي يستخدم مطالبة نظام ثابتة واحدة تجنب العمل المتكرر قبل كل أمر قصير.
تصف LMCache إعادة استخدام ذاكرة KV المؤقتة عبر طلبات النماذج اللغوية الكبيرة بأنها تحسين على طبقة تقديم الخدمة، لا تغييرًا في أوزان النموذج.
ولا تزال رسالة المستخدم الجديدة بحاجة إلى الملء المسبق، كما لا يزال كل رمز ناتج مولّد بحاجة إلى حساب فك الترميز. ويقلّل التخزين المؤقت للبادئة أساسًا العمل الزائد قبل بدء التوليد.
تُنشئ البادئات الطويلة والثابتة أكبر تحسن في زمن ظهور الرمز الأول
توفر ذاكرة التخزين المؤقت عملًا يتناسب مع الجزء الذي كان سيُعاد حسابه لولا ذلك. وإعادة استخدام تعليمات ومستند ببادئة من 2,000 رمز أهم من إعادة استخدام تحية مؤلفة من عشرة رموز.
يستخدم تصميم تقديم الخدمة في SGLang إعادة استخدام منظمة لذاكرة KV لتسريع أعباء العمل ذات البادئات المشتركة. والمقابل في الخادم المنزلي هو سياسة وكيل متكررة، أو فهرس أدوات، أو حزمة معرفة منزلية، أو قالب مستند.
لهذا السبب ينبغي تقييم التخزين المؤقت للبادئة باستخدام زمن ظهور الرمز الأول ومعدل نقل الملء المسبق، وليس باستخدام الرموز في الثانية أثناء التوليد فقط. فقد تظل مرحلة فك الترميز شبه دون تغيير، بينما يبدأ الرد في الظهور أسرع.
قد تؤدي التغييرات الصغيرة في المطالبة إلى تعطيل إعادة الاستخدام عند حدود الكتل
تكون ذاكرة التخزين المؤقت عادةً دقيقة فيما يتعلق بالرموز وحالة النموذج. وقد يؤدي تغيير ترتيب تعريفات الأدوات، أو إدراج طابع زمني متغير قرب البداية، أو تبديل المهايئات، أو تعديل مطالبة النظام إلى جعل الكتل اللاحقة غير مؤهلة لإعادة الاستخدام.
تميّز إرشادات تقديم الخدمة لدى Hugging Face بين جدولة الملء المسبق وفك الترميز. ويؤدي إبقاء المحتوى الثابت في بداية المطالبة إلى جعل جزء أكبر من ذلك الملء المسبق قابلًا لإعادة الاستخدام.
لذلك ينبغي للتطبيقات تجنب إدخال بيانات متغيرة في مقدمة بادئة مستقرة في جوهرها، عندما يكون من الممكن وضع المعلومات نفسها في موضع لاحق.
تحدد سعة ذاكرة التخزين المؤقت والإخلاء حدود الخادم المنزلي
تستهلك كتل KV الذاكرة، ولذلك لا يستطيع الخادم الاحتفاظ بكل بادئة إلى الأبد. وتتشارك المحادثات المتزامنة، والسياقات الطويلة، والنماذج المتعددة مجموعة الذاكرة نفسها، وقد تُخلي الحالات القديمة القابلة لإعادة الاستخدام.
يقدّم شرح ZimaSpace حول التخزين المؤقت للنماذج وزمن الاستجابة الدافئ تسلسل ذاكرة التخزين المؤقت الأوسع. والتخزين المؤقت للبادئة مجرد طبقة واحدة، ولا ينبغي الخلط بينه وبين إبقاء أوزان النموذج مقيمة في الذاكرة.
قِس معدل إصابة ذاكرة التخزين المؤقت، وعدد الرموز المعاد استخدامها، وزمن ظهور الرمز الأول، ومعدل نقل الملء المسبق، واستخدام ذاكرة KV، ومعدل الإخلاء تحت مستوى التزامن المنزلي الفعلي.
تصف وثائق NVIDIA الخاصة بـ TensorRT-LLM إعادة استخدام ذاكرة KV المؤقتة بأنها تحسين لتقديم الخدمة، مع الحد الأساسي نفسه: لا تساعد الحالة القابلة لإعادة الاستخدام إلا ما دامت الكتل المطابقة متاحة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
هل يمكن للكاميرات المنزلية مزامنة الأحداث دون خدمات الوقت السحابية؟
شرح يعتمد أولًا على الآلية لوقت الكاميرا دون سحابة، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن لخدمة ذكاء اصطناعي محلية اكتشاف طبقات النموذج التالفة قبل الاستدلال؟
شرح يركز أولًا على الآلية لاكتشاف تلف طبقة النموذج، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
هل يمكن استعادة نظام RAG دون إعادة توليد كل التضمينات؟
شرح قائم على الآلية لاستعادة RAG دون إعادة التضمين، ومقايضاته المتعلقة بالموارد المشتركة، وثلاثة أسئلة شائعة حول توزيع الاستعلامات، وبروتوكول عملي للتحقق.
