لماذا تتجاوز ذاكرة الانتباه عدد معلمات نماذج الذكاء الاصطناعي المنزلية؟
يمكن لذاكرة الانتباه أن تتجاوز ذاكرة معلمات النموذج، لأن الأوزان تظل ثابتة بينما تتوسع ذاكرات التخزين المؤقت والتنشيطات ومساحات العمل المعتمدة على الرموز مع زيادة السياق والتزامن.
قد يتسع نموذج مكمَّم بسهولة في ذاكرة الوصول العشوائي أو ذاكرة الفيديو العشوائية لخادم منزلي، ومع ذلك يمكن للمطالبات الطويلة، أو تعدد المستخدمين في المنزل، أو المدخلات متعددة الوسائط، أو الدُفعات الكبيرة أن تسبب ضغطًا على الذاكرة. يصف ملف النموذج الأوزان الدائمة، وليس مجموعة العمل الكاملة للاستدلال. ينشئ الانتباه حالة خاصة بكل طلب لكل رمز محتفظ به، وقد يتطلب مخازن مؤقتة يعتمد حجمها الأقصى على بيئة التشغيل. تفصل الأقسام التالية بين ذاكرة المعلمات الثابتة والذاكرة المعتمدة على التسلسل، وتحدد الحالات التي تصبح فيها الأخيرة حد السعة الفعلي.
تشكل معلمات النموذج أساسًا ثابتًا بعد التحميل
تشغل أوزان النموذج مقدارًا متوقعًا من الذاكرة بعد معرفة عددها وصيغتها الرقمية. يستخدم النموذج رباعي البتات مساحة تخزين للمعلمات أقل من الإصدار ذي الثمانية بتات أو الإصدار ذي الفاصلة العائمة، رغم أن البيانات الوصفية ومقاييس التحجيم في بيئة التشغيل تضيف بعض الحمل الزائد.
تستخدم بنية Transformer المعلمات المتعلَّمة نفسها مع المطالبة القصيرة والمطالبة الطويلة. ولا تتضاعف مساحة المعلمات لمجرد أن المستخدم أضاف مزيدًا من السياق.
ولهذا السبب، يفيد حجم ملف النموذج في إجراء فحص أولي لمدى ملاءمته. لكنه لا يمثل تقديرًا كاملًا للذاكرة القصوى المطلوبة للاستدلال.
يمكن للانتباه الكامل إنشاء عمل وسيط يتناسب مع مربع طول التسلسل
يقارن الانتباه الذاتي التقليدي مواضع الرموز بعضها ببعض. وإذا أنشأ التنفيذ مصفوفات كبيرة لدرجات الانتباه والاحتمالات، فإن أبعادها تنمو مع مربع طول التسلسل.
تحدد FlashAttention ذاكرة الانتباه التربيعية بوصفها مشكلة أساسية في التسلسلات الطويلة، وتتجنب تخزين المصفوفة الكاملة من خلال حساب الانتباه على شكل كتل.
لذلك قد تستخدم نوى الاستدلال الحديثة المحسّنة ذاكرة مؤقتة أقل بكثير مما توحي به الصيغة الساذجة. ويظل عمل الانتباه الأساسي أكثر صعوبة مع التسلسلات الأطول، لكن اختيار التنفيذ يحدد ما إذا كانت المصفوفة الكاملة ذات الحجم المتناسب مع مربع التسلسل ستظهر في ذاكرة الجهاز.
وقد تتغير مساحة العمل القصوى أيضًا تبعًا لإصدار النواة، وشكل الدُفعة، وبُعد الرأس، وما إذا كانت بيئة التشغيل ستعود إلى مسار انتباه أقل كفاءة.
تضيف ذاكرة KV المؤقتة حالة دائمة لكل رمز محتفظ به
يخزّن فك الترميز التوليدي المفاتيح والقيم الخاصة بالرموز السابقة حتى لا يضطر النموذج إلى إعادة حساب البادئة كاملة قبل توليد كل رمز تالٍ.
تتعامل PagedAttention مع نمو ذاكرة KV المؤقتة بوصفه قيدًا أساسيًا على ذاكرة تقديم الخدمة. وتزداد سعتها مع عدد الرموز المحتفظ بها، وعدد الطبقات التي تنتج ذاكرة التخزين المؤقت، وأبعاد المفاتيح والقيم، والدقة، وعدد التسلسلات النشطة.
وعلى خلاف مصفوفة الانتباه المؤقتة، يجب أن تظل هذه الحالة متاحة طوال فترة المحادثة النشطة. لذلك قد يستمر السياق الطويل في استهلاك الذاكرة حتى بينما لا ينتج النموذج سوى رمز جديد واحد في كل مرة.
يفصل شرح ZimaSpace حول هامش الذاكرة للذكاء الاصطناعي بين تخزين النموذج والسعة الإضافية المطلوبة للسياق والمستخدمين المتزامنين.
تضاعف الطلبات المتزامنة حالة الانتباه الديناميكية
يمكن لعدة مستخدمين مشاركة نسخة واحدة من أوزان النموذج، لكن مطالباتهم الخاصة والرموز المولدة وفروع ذاكرة KV المؤقتة تظل منفصلة عادةً.
تستخدم vAttention تخصيصًا فعليًا ديناميكيًا لأن أطوال الطلبات وأوقات اكتمالها غير معروفة عند بدء تقديم الخدمة.
قد يستوعب خادم محادثة واحدة من 32,000 رمز، لكنه قد لا يستوعب أربع محادثات مماثلة في الوقت نفسه. ويضاعف حجم الدُفعة وعدد المستخدمين الحالة المعتمدة على عدد الرموز، رغم أن إجمالي معلمات النموذج لم يتغير.
يمكن لمشاركة البادئة تقليل التكرار عندما تشترك الطلبات في بادئة مخزنة مؤقتًا ومتطابقة، لكن المحادثات المنزلية المتباينة تظل بحاجة إلى حالة متابعة مستقلة.
ترفع التنشيطات وحجوزات بيئة التشغيل الذروة أكثر
قد يخصص ملء المطالبة، وإسقاط المدخلات متعددة الوسائط، وفك الترميز التخميني، والتقاط الرسم البياني، والتحويل المؤقت للموترات، ومساحات عمل المكتبات ذاكرة تتجاوز الأوزان وذاكرة KV المؤقتة.
تشير FlashAttention-2 إلى أن الانتباه يظل عنق زجاجة للتسلسلات الطويلة حتى عندما تزيل النوى الأفضل الوسائط الكبيرة المخزنة في الذاكرة.
قد تحتفظ مخصّصات الذاكرة المخزنة مؤقتًا في أطر العمل بالكتل المحررة لإعادة استخدامها، لذلك قد تعرض أدوات الجهاز حجمًا كبيرًا للعملية بعد اكتمال طلب بلغ ذروته. ويختلف هذا الحجز عن ذاكرة الموترات الحية، لكنه يظل يحد من قدرة عملية أخرى.
لذلك قد تحدث أعلى ذاكرة ملحوظة أثناء ملء المطالبة أو تبديل النموذج، لا أثناء فك ترميز رمز واحد بصورة مستقرة.
تنقل تحسينات الانتباه الحد الفاصل دون إزالته
يقلل الانتباه السريع حركة الإدخال والإخراج المؤقتة وتخزين المصفوفات، ويقلل التخصيص القائم على الصفحات تجزئة ذاكرة KV المؤقتة، كما تقلل الدقة المنخفضة لذاكرة التخزين المؤقت عدد البايتات لكل رمز، ويستخدم الانتباه ذي الاستعلامات المجمعة عددًا أقل من رؤوس المفاتيح والقيم.
يقلل الانتباه ذي الاستعلامات المجمعة ذاكرة رؤوس المفاتيح والقيم مع الاحتفاظ بسعة أكبر من رأس واحد متعدد الاستعلامات.
يمكن للنوافذ المنزلقة، وإخلاء ذاكرة التخزين المؤقت، والتفريغ، والاسترجاع أن تحد حالة الانتباه أو تنقلها، لكن كل خيار منها يغير زمن الاستجابة أو السياق المتاح أو سلوك الإجابة.
اختبر عبء العمل الكامل المقصود: دقة النموذج، وطول المطالبة الفعلي، وحد الإخراج، وحجم الدُفعة، وعدد المستخدمين، ورموز الرؤية، والخدمات المحلية الأخرى. تكون ذاكرة الانتباه قد تجاوزت المعلمات عندما تؤدي تقليل حالة الرموز أو التزامن إلى استعادة الاستقرار من دون تغيير أوزان النموذج.
الأسئلة الشائعة
هل تتجاوز ذاكرة الانتباه دائمًا ذاكرة أوزان النموذج؟
لا. غالبًا ما تظل الأوزان المكوّن الأكبر مع المطالبات القصيرة لمستخدم واحد. ولا تصبح حالة الانتباه هي المكوّن المهيمن إلا بعد أن يتجاوز السياق أو التجميع أو التزامن حدًا خاصًا بالنموذج وبيئة التشغيل.
هل تلغي FlashAttention ذاكرة KV المؤقتة؟
لا. فهي تقلل حسابات الانتباه وحركة الذاكرة المؤقتة. ولا تزال خدمة التوليد التلقائي بحاجة إلى حالة المفاتيح والقيم المحتفظ بها، ما لم تُعد بيئة التشغيل حسابها أو تُخلِها أو تفرغها.
هل يمكن لذاكرة النظام العشوائية حل نقص ذاكرة الانتباه؟
يمكنها دعم الاستدلال على وحدة المعالجة المركزية أو التفريغ في بيئات تشغيل متوافقة، لكن نقل الحالة النشطة عبر وصلة أبطأ قد يزيد زمن الاستجابة ويقلل سرعة الإخراج.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
لماذا تصبح تنبؤات المنزل الذكي أقل دقة بعد تغيّر الروتين الموسمي؟
تغيّر الروتينات الموسمية العلاقة بين الوقت وأجهزة الاستشعار والإشغال والإجراءات المطلوبة، مما يجعل النموذج المدرَّب على العادات الأقدم متقادماً.
لماذا يفوّت جهاز NVR المنزلي الأحداث القصيرة عند تفعيل تتبّع الأجسام؟
يحتاج التتبع إلى عدد كافٍ من عمليات الكشف لبدء المسار وتأكيده، لذا قد يختفي جسم لفترة وجيزة قبل أن ينشئ جهاز تسجيل الفيديو الشبكي...
لماذا تتغير تسميات الصور بالذكاء الاصطناعي بعد ترقية النموذج؟
يغيّر ترقية النموذج التمثيلَ والترتيبَ المستخدمَين لتعيين التصنيفات، لذا قد تتجاوز الصورة نفسها حدودًا دلالية أو حدود ثقة مختلفة.
