كيف يوجّه خادم الذكاء الاصطناعي المنزلي النماذجَ وفقًا لحجمها في الذاكرة؟
يوجّه خادم الذكاء الاصطناعي المنزلي النماذج وفقًا لحجم الذاكرة، عبر مطابقة كل طلب بنموذج تتوافق مجموعة عمله الكاملة مع سعة الجهاز المتاحة.
قد يختار الموجّه المحلي بين نماذج لغوية صغيرة وكبيرة، ونماذج تضمين، ومشفّرات رؤية، وأنظمة كلام، ومسارات تنفيذ على وحدة المعالجة المركزية أو وحدة معالجة الرسومات. لا يمثّل ملف نقطة التحقق سوى الرقم الأولي. يعتمد قبول النموذج فعليًا أيضًا على بيانات التحويل الكمي، وسياق وقت التشغيل، وذاكرة KV المؤقتة، وطول المطالبة، والتزامن، ورموز الرؤية، ومساحات العمل المؤقتة، والذاكرة المحجوزة مسبقًا لخدمات أخرى. يضع الموجّه الفعّال ملفًا لتكاليف هذه الموارد قبل التنفيذ، ثم يختار نموذجًا ودقةً وحدًا للسياق ومسارًا عتاديًا يمكنه الاستمرار بثبات طوال الطلب بأكمله.
حجم نقطة التحقق ليس سوى الجزء الثابت من البصمة
تُنشئ الأوزان وبيانات التحويل الكمي خط أساس متوقعًا للذاكرة المقيمة. ثم يضيف وقت التشغيل المكتبات، ومجمّعات المخصّص، ورسوم التنفيذ، ومخازن الإدخال، وعمليات التنشيط، وحالة الطلب.
يعتبر دليل الأجهزة من ZimaSpace أن الذاكرة الكاملة للذكاء الاصطناعي تتجاوز حجم ملف النموذج.
قد يقبل الموجّه الذي يعتمد على حجم الملف فقط نموذجًا يُحمّل بنجاح، لكنه يفشل أثناء مرحلة الإدخال الأولي الطويلة، أو طلب متعدد الوسائط، أو محادثة متزامنة.
يحتاج كل نموذج إلى ملف تعريف تجريبي للذاكرة
سجّل الذاكرة المقيمة في وضع الخمول، وذاكرة الإدخال الأولي القصوى، وعدد البايتات لكل رمز سياق، ودقة KV، وحدود الدفعة، وتكلفة الرموز المرئية، واحتياطي وقت التشغيل لكل نموذج ولكل إعداد تحويل كمي.
تصف دراسة جدولة متعددة النماذج لعام 2026 سلوك ذاكرة النماذج عبر معماريات وأجهزة غير متجانسة، بدلًا من افتراض أن صيغة توزيع واحدة تناسب كل نموذج.
ينبغي أن تتضمن الملفات التعريفية حالتي التشغيل البارد والدافئ، لأن ذاكرات التخزين المؤقت للترجمة وذُرى المخصّص قد تغيّر الذاكرة المتاحة بعد الطلبات السابقة.
أعد بناء ملف التعريف بعد تغيير وقت التشغيل، أو برنامج التشغيل، أو إعداد السياق، أو التحويل الكمي، أو تنسيق النموذج.
يجب أن يحجز الموجّه سعة ديناميكية احتياطية قبل القبول
يوفّر الطلب معلومات إضافية: طول المطالبة، والإخراج المتوقع، وعدد الصور ودقتها، وحجم الدفعة المطلوب، والتزامن الحالي للمستخدمين.
يعدّل مجدول الذاكرة العالمي في Prism تفعيل النماذج وإخلاءها باستخدام معلومات عبء العمل وقائمة الانتظار بدلًا من الحجوزات الثابتة.
يمكن للموجّه المنزلي استخدام صيغة قبول أبسط: يجب أن تتجاوز ذاكرة الجهاز الحرة مطروحًا منها هامش الأمان خط أساس النموذج مضافًا إليه حالة الطلب المقدّرة ومساحة العمل.
إذا لم تتسع الذاكرة للتقدير، يمكن للموجّه تقصير السياق، أو تقليل حجم الدفعة، أو اختيار نموذج أصغر، أو استخدام دقة أقل لذاكرة التخزين المؤقت، أو وضع الطلب في قائمة الانتظار، أو توجيهه إلى جهاز آخر.
التشغيل الكامل على وحدة معالجة الرسومات، والتفريغ الجزئي، والتنفيذ على وحدة المعالجة المركزية مسارات مختلفة
عادةً ما يتجنب النموذج الذي يتسع بالكامل في ذاكرة VRAM عمليات النقل المتكررة لأوزان النموذج بين المضيف والجهاز. وقد يعمل نموذج أكبر عبر التفريغ الجزئي إلى وحدة المعالجة المركزية أو باستخدام الذاكرة الموحّدة، لكن ذلك يفرض حدودًا مختلفة لزمن الاستجابة وعرض النطاق.
يستخدم ATSInfer التوزيع على مستوى الموتر لتنسيق التخزين والنقل والحوسبة عبر ذاكرة وحدة المعالجة المركزية ووحدة معالجة الرسومات في أجهزة المستهلكين.
ينبغي أن يميّز الموجّه بين «يمكن تنفيذه» و«يلبّي الموعد النهائي لسير العمل». فقد يكون النموذج الذي جرى تفريغه جزئيًا مناسبًا لتحليل يُجرى طوال الليل، وغير مقبول للتفاعل الصوتي.
تؤثر الشعبية وتكلفة إعادة التحميل في النماذج التي تبقى مقيمة
يمكن إبقاء النماذج المطلوبة بكثرة في حالة دافئة، بينما تبقى النماذج الكبيرة النادرة على وحدات التخزين إلى أن تبرر المهمة تكلفة تحميلها.
يحلل Weaver النماذج النشطة والخاملة في أنظمة تخدم نقاط نهاية عديدة ذات شعبية متفاوتة.
يمكن توجيه الطلب إلى نموذج دافئ أصغر قليلًا عندما يلبّي متطلبات الجودة ويتجنب دورة إخلاء وإعادة تحميل طويلة. وقد تبرر المهمة الصعبة تحميل النموذج الأكبر عندما تتجاوز مكاسب الجودة المتوقعة التأخير.
يجب أن تقيّد متطلبات المهمة القرارات القائمة على الذاكرة وحدها
ليست أصغر بصمة هي المسار الصحيح دائمًا. فقد تتطلب البرمجة، والنصوص متعددة اللغات، والاستدلال المعقد، والتعرّف الضوئي على الحروف، والتخطيط باستخدام الأدوات قدرات غير متوفرة في نموذج أصغر.
يجمع MuxServe بين التوزيع والجدولة لأن التقديم الفعّال يعتمد على طلب النموذج وسلوك الموارد معًا.
حدّد أولًا الحد الأدنى للقدرات، ثم اختر النموذج الأصغر من حيث البصمة بين النماذج التي تجتاز اختبارات الجودة والسلامة وزمن الاستجابة والتنسيق الخاصة بسير العمل.
قد تُوجّه مهمة استخراج حتمية إلى نموذج صغير مقيم، بينما تُوجّه مهمة تخطيط صعبة إلى نموذج أكبر أو تنتظر توافر السعة.
ينبغي أن يتكيف التوجيه مع الذاكرة الحية وسجل التنفيذ الحديث
لا تستطيع الملفات التعريفية الثابتة التقاط كل حجز للمخصّص، أو منطقة مجزأة، أو حاوية منافسة، أو تباطؤ حراري. ويحتاج الموجّه أيضًا إلى الذاكرة الحرة الحالية، وعمق قائمة الانتظار، والنماذج المقيمة، والإخفاقات الحديثة.
تجمع أبحاث جدولة الوكلاء بين وحدة المعالجة المركزية ووحدة معالجة الرسومات بصمات الذاكرة، وتكلفة البدء البارد، وسجل التنفيذ، وأدلة الأجهزة عند توزيع أعمال الذكاء الاصطناعي غير المتجانسة.
سجّل المسار المختار، والذاكرة المتوقعة، والذروة الفعلية، ووقت التحميل، وزمن الوصول إلى الرمز الأول، وسرعة الإخراج، وأي انتقال احتياطي. حدّث ملف تعريف النموذج عندما يتجاوز خطأ التنبؤ هامشًا محددًا.
ينجح التوجيه المراعي للذاكرة عندما تبقى الطلبات ضمن سعة مستقرة، مع استمرار الخادم في اختيار أقوى نموذج يمكنه تحقيق هدف الخدمة للمهمة الحالية.
الأسئلة الشائعة
هل يمكن للموجّه استخدام حجم ملف النموذج كتقدير سريع؟
إنه خط أساس مفيد، لكن الموجّه لا يزال يحتاج إلى احتساب نفقات وقت التشغيل، وذاكرة KV المؤقتة، والمطالبة، والدفعة، والسعة الاحتياطية قبل قبول الطلب.
هل ينبغي توجيه النموذج إلى وحدة المعالجة المركزية كلما امتلأت ذاكرة VRAM؟
فقط عندما يلبّي التنفيذ على وحدة المعالجة المركزية أو التنفيذ الهجين متطلبات المهمة من حيث زمن الاستجابة والذاكرة. وقد يكون وضع الطلب في قائمة الانتظار أو اختيار نموذج أصغر أفضل.
هل يتطلب التوجيه المراعي للذاكرة عدة وحدات لمعالجة الرسومات؟
لا. يمكنه الاختيار بين وحدة معالجة رسومات واحدة، والتنفيذ على وحدة المعالجة المركزية، والتفريغ الجزئي، وإعدادات تحويل كمي مختلفة، وأحجام نماذج متعددة على خادم منزلي واحد.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
ما الميزات التي تتيح إنشاء حدود ثقة للذكاء الاصطناعي المنزلي حول الملفات الحساسة؟
يجمع حدّ الثقة للذكاء الاصطناعي المنزلي بين التشفير أثناء السكون، وصلاحيات الحد الأدنى، والعزل الآمن أثناء التشغيل، والاسترجاع المقيّد النطاق؛ ولا تكفي أي ميزة...
ما الذي يجعل نتائج البحث الخاصة تُفضّل الملفات التي يتم تعديلها بشكل متكرر؟
تحظى الملفات التي تُعدَّل بكثرة بمزايا في الترتيب عندما يضيف كل تحديث إشارات إلى الحداثة أو المقاطع أو الإصدارات أو التفاعل، من دون إجراء...
ما الذي يتسبب في خلط نماذج الحضور في المنازل الذكية بين الضيوف والمقيمين؟
قد يبدو الضيوف كأنهم من المقيمين عندما يرصد النظام أنماط نشاط الأسرة، لكنه يفتقر إلى إشارة هوية مستقرة للشخص الذي يصدر هذه الأنماط.
