كيف تغيّر نافذة السياق المنزلقة استخدام ذاكرة الذكاء الاصطناعي المحلي؟
تضع نافذة السياق المنزلقة حدًا أقصى لذاكرة الانتباه النشطة، إذ تستبعد حالة الرموز الأقدم بعد وصول النافذة المحتفظ بها إلى حدها المُهيّأ.
يحتفظ الانتباه السببي الكامل بالمفاتيح والقيم للتسلسل النشط بأكمله، ولذلك تنمو ذاكرة KV كلما طالت محادثة أو وثيقة أو إجابة مُولّدة. ويغيّر انتباه النافذة المنزلقة هذه العلاقة: إذ لا ينتبه كل رمز مباشرةً إلا إلى منطقة حديثة محدودة، ما يسمح بالكتابة فوق إدخالات الذاكرة المؤقتة الأقدم أو حذفها عندما يدعم التنفيذ التخزين الدوّار. ويمكن للنموذج التعامل مع تدفق طويل ضمن مجموعة عمل أكثر قابلية للتنبؤ، لكن السجل المستبعد لن يعود متاحًا عبر مسار الانتباه المباشر نفسه.
يواصل الانتباه الكامل توسيع سجل KV النشط
في الاستدلال العادي ضمن السياق الكامل، يساهم كل رمز محتفظ به في موترَي المفاتيح والقيم عبر طبقات الانتباه في النموذج. لذلك تزيد المحادثة الأطول حجم الذاكرة المؤقتة التي يجب أن تظل قابلة للوصول.
قدّم Mistral 7B انتباه النافذة المنزلقة بوصفه وسيلة لتقليل تكلفة الاستدلال أثناء معالجة التسلسلات الطويلة.
لا تتغير ذاكرة الأوزان مع طول المحادثة، لكن الذاكرة المتاحة وقت التشغيل لذاكرة KV المؤقتة والمستخدمين ومساحة العمل المؤقتة تتغير.
يمكن لنافذة ثابتة وضع حد لنمو الذاكرة المؤقتة بعد الإحماء
إذا احتفظت كل طبقة بأحدث نافذة من الرموز فقط، فيمكن لإدخالات KV القديمة مغادرة مجموعة العمل النشطة مع وصول رموز جديدة. وعندها تقترب الذاكرة من سقف يعتمد على حجم النافذة بدلًا من طول التدفق الإجمالي.
تُضفي Longformer طابعًا رسميًا على انتباه النافذة المحلية، الذي يتوسع حسابه وفق الجوار المحدد بدلًا من كل زوج من الرموز.
يمكن لذاكرة KV مؤقتة دوّارة إعادة استخدام الخانات الفعلية بعد امتلاء النافذة، ما يجعل استهلاك الذاكرة أكثر استقرارًا أثناء محادثة محلية ممتدة أو تدفق طويل للتفريغ الصوتي.
تعتمد هذه الفائدة على قيام بيئة التشغيل فعليًا بإسقاط الحالة الواقعة خارج النافذة أو الكتابة فوقها. فبنية النموذج التي تستخدم الانتباه المحلي لا تضمن أن كل محرك تقديم يخصص الذاكرة المؤقتة بالطريقة نفسها.
يمكن للطبقات المتراكبة حمل المعلومات إلى ما بعد نافذة محلية واحدة
يقرأ الرمز في إحدى الطبقات جوارًا حديثًا من الطبقة السابقة. وتتلقى الطبقات الأعمق تمثيلات تحتوي مسبقًا على معلومات امتزجت من أحياء أقدم.
تشرح بنية Mistral هذا الأمر عبر مجال الاستقبال المتراكب: إذ يمكن للمعلومات أن تنتقل لمسافة أبعد من نافذة واحدة عبر طبقات المحوّل المتعددة.
لا يساوي الانتقال غير المباشر الاحتفاظ بوصول مباشر ودقيق إلى كل رمز قديم. فالنموذج يتلقى تمثيلات محوّلة بدلًا من جدول بحث غير محدود يغطي السجل الكامل.
يؤدي إسقاط حالة KV القديمة إلى تغيير ما يستطيع النموذج استرجاعه مباشرةً
عندما يغادر رمز مبكر كل نافذة انتباه ذات صلة، لا يعود بإمكان الرموز اللاحقة الانتباه إلى مفتاحه وقيمته الأصليين عبر مسار الانتباه المحلي المعتاد.
يوضح StreamingLLM أن إخلاء الرموز الحديثة بطريقة ساذجة قد يضر بسلوك النموذج بعد تجاوز التسلسل لحجم الذاكرة المؤقتة.
يمكن لمغارف الانتباه أو الرموز العامة أو الملخصات أو الاسترجاع أو الطبقات الهجينة الخاصة بالبنية أن تحتفظ بمعلومات مختارة بعيدة المدى، مع إبقاء معظم ذاكرة التخزين المؤقت محدودة.
لذلك يتضمن توفير الذاكرة حدًا دلاليًا: فقد تحتاج التفاصيل القديمة إلى تلخيصها أو استرجاعها مجددًا أو الاحتفاظ بها عمدًا خارج المنطقة المنزلقة المعتادة.
يجب اختبار حجم النافذة مع بيئة التشغيل وسير العمل الفعليين
قدّر سقف الذاكرة المؤقتة انطلاقًا من حجم النافذة وعدد رؤوس KV وبُعد الرأس وعدد الطبقات والدقة وحجم الدفعة وعدد المستخدمين النشطين. ثم تحقق من سلوك مخصّص الذاكرة المرصود بدلًا من افتراض تحقق الحد النظري بالكامل.
يفصل تحليل Kimi K3 من ZimaSpace بين الحالة الثابتة والحالة التي تنمو مع الرموز عند مناقشة ذاكرة السياق الطويل. وقد تفرض تصاميم الانتباه المختلفة حدودًا مختلفة حتى عندما تعلن حدًا أقصى متشابهًا للسياق.
اختبر المحادثات القصيرة والتدفقات التي تتجاوز طول النافذة والحقائق الموضوعة قرب البداية وعدة مستخدمين متزامنين وإعادة تشغيل نظيفة. وسجّل ذروة الذاكرة وزمن استجابة الرمز الأول وسرعة الإخراج وما إذا ظلت المعلومات المبكرة متاحة.
تكون النافذة الأصغر مفيدة عندما تحرر قدرًا كافيًا من الذاكرة لتحسين الموثوقية أو التزامن، من دون إزالة المعلومات التي يجب أن يحافظ عليها سير العمل المحلي.
الأسئلة الشائعة
هل النافذة المنزلقة هي نفسها حذف المحادثة؟
لا. قد يظل التطبيق يخزن النص الكامل للمحادثة، لكن النموذج قد ينتبه مباشرةً إلى النافذة الحديثة فقط، ما لم يُلخّص المحتوى الأقدم أو يُسترجع مجددًا.
هل يستخدم انتباه النافذة المنزلقة ذاكرة ثابتة دائمًا؟
يمكنه وضع حد لذاكرة الانتباه المؤقتة لتسلسل واحد، لكن إجمالي الذاكرة يظل يشمل الأوزان والطبقات الأخرى والمستخدمين النشطين والمخازن المؤقتة واحتياطات بيئة التشغيل.
هل يستطيع النموذج تذكّر حقائق أقدم من نافذته؟
أحيانًا، عبر التمثيلات المنتقلة أو الانتباه العام أو الملخصات أو الاسترجاع أو ذاكرة التطبيق، لكن الوصول المباشر إلى حالة الرمز الأصلية يظل محدودًا بالبنية.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما الميزات التي تتيح إنشاء حدود ثقة للذكاء الاصطناعي المنزلي حول الملفات الحساسة؟
يجمع حدّ الثقة للذكاء الاصطناعي المنزلي بين التشفير أثناء السكون، وصلاحيات الحد الأدنى، والعزل الآمن أثناء التشغيل، والاسترجاع المقيّد النطاق؛ ولا تكفي أي ميزة...
ما الذي يجعل نتائج البحث الخاصة تُفضّل الملفات التي يتم تعديلها بشكل متكرر؟
تحظى الملفات التي تُعدَّل بكثرة بمزايا في الترتيب عندما يضيف كل تحديث إشارات إلى الحداثة أو المقاطع أو الإصدارات أو التفاعل، من دون إجراء...
ما الذي يتسبب في خلط نماذج الحضور في المنازل الذكية بين الضيوف والمقيمين؟
قد يبدو الضيوف كأنهم من المقيمين عندما يرصد النظام أنماط نشاط الأسرة، لكنه يفتقر إلى إشارة هوية مستقرة للشخص الذي يصدر هذه الأنماط.
