لماذا يمكن لخادم الذكاء الاصطناعي المنزلي أن يبدو سريعًا لمستخدم واحد لكنه ليس كذلك للعائلة؟
يمكن أن يشعر خادم الذكاء الاصطناعي المنزلي بالسرعة لمستخدم واحد لكنه بطيء للعائلة لأن الطلبات المتزامنة تشترك في الحوسبة والذاكرة ووقت الجدولة.
يظهر الفرق عندما يرسل شخص واحد مطالبة دردشة قصيرة خلال فترة خمول، ثم يبدأ عدة أفراد من العائلة محادثات طويلة، ملخصات مستندات، تحليل صور، مهام صوتية، أو سير عمل وكلاء في نفس الوقت. يكشف اختبار المستخدم الواحد بشكل رئيسي عن كمون النموذج الدافئ؛ بينما يضيف استخدام العائلة انتظارًا في الطابور، أطوال مطالبات مختلطة، ذاكرات تخزين مؤقت منفصلة للمحادثات، مراحل ملء مسبق وفك ترميز متنافسة، وأطوال مخرجات غير متوقعة. تشرح الأقسام أدناه كيف يحول طبقة التقديم هذه الاختلافات إلى رموز أولى أبطأ، توليد غير متساوٍ، وضغط ذاكرة أعلى.
المجدول هو طبقة التحكم وراء طلبات العائلة
النموذج المحلي لا يجيب على كل مستخدم بشكل مستقل من نسخة جديدة من الأجهزة. تستقبل عملية تقديم واحدة الطلبات، وتقرر متى يمكن لكل مطالبة دخول النموذج، وتجمع الأعمال المتوافقة، وتخصص وقت المسرع والذاكرة المحدودة للمحادثات النشطة.
تستخدم الأنظمة الحديثة جدولة الطلبات لموازنة المطالبات المتنوعة، وترحيل العمل، وتمييز أولويات الكمون. على خادم منزلي مع GPU واحد أو ذاكرة نظام مشتركة، لا يمكن لذلك المجدول إنشاء سعة جديدة؛ بل يقرر فقط كيفية تقسيم السعة الحالية.
لهذا السبب يمكن أن يشعر واجهتان متصلتان بنفس النموذج بالاختلاف حتى على نفس الشبكة. يبدأ الطلب الذي يصل إلى طابور فارغ بسرعة، بينما يمكن لطلب قصير مماثل أن ينتظر خلف مطالبة طويلة، أو صورة كبيرة، أو استجابة مطولة من مستخدم آخر.
لماذا يمكن لمستخدم واحد أن يجعل الخادم يبدو أسرع مما هو عليه
عادةً ما يتم تشغيل اختبار المستخدم الواحد في ظروف مواتية: النموذج محمّل بالفعل، والمسرع في وضع الخمول، ولا يشغل سياق آخر ذاكرة التخزين المؤقت، ويبدأ الطلب بدون انتظار في الطابور. النتيجة المرئية هي وقت منخفض لأول رمز ثابت وتوليد رموز مستقر.
يتم توثيق مقايضة الإنتاجية والكمون في تقديم LLM. يمكن أن يحسن التجميع إجمالي العمل المكتمل، لكن زيادة الحمل قد ترفع أيضًا التأخير الذي يختبره طلب فردي، خاصة عندما يدمج الخادم معالجة المطالبات مع التوليد الجاري.
لذلك يجيب المعيار على سؤال "ما مدى استجابة هذا النموذج عندما تنتمي جميع الموارد تقريبًا إلى طلب واحد؟" ولا يجيب على "كم عدد طلبات العائلة التي يمكنها تحقيق نفس هدف زمن الاستجابة؟"
يجب أن يضيف اختبار السعة المفيد المستخدمين تدريجيًا ويقيس تأخير الرمز الأول، والوقت بين الرموز، ووقت الانتظار في الطابور، واستخدام الذاكرة، ومعدل الإكمال بدلاً من الإبلاغ عن رقم واحد لأفضل حالة من الرموز في الثانية.
التعبئة المسبقة وفك التشفير يتنافسان بطرق مختلفة.
يبدأ كل طلب بالتعبئة المسبقة، التي تعالج موجه الإدخال وتبني الحالة اللازمة للتوليد. ثم ينتج فك التشفير رموز الإخراج واحدة تلو الأخرى. يمكن أن تجعل الوثيقة أو المحادثة الطويلة التعبئة المسبقة مكثفة الحساب، بينما تعود عدة ردود نشطة مرارًا إلى فك التشفير.
تُظهر الأبحاث حول التعبئة المسبقة وفك التشفير أن وضع المرحلتين معًا يمكن أن يسبب تداخلًا ويربط بين زمن الاستجابة الخاص بهما. في المنزل، قد يؤدي لصق شخص لوثيقة طويلة إلى تأخير شخص آخر يتلقى ردًا بالفعل، رغم أن طلباتهم مختلفة في الشكل.
تظهر العائلة عرضين. قد ينتظر المستخدمون الجدد لفترة أطول للحصول على الرمز الأول، بينما قد يلاحظ المستخدمون النشطون توقفات غير متساوية بين الرموز اللاحقة. يمكن أن يظل متوسط معدل الإنتاج مقبولًا حتى عندما تصبح تجربة التفاعل غير متسقة.
كل محادثة تستهلك سعة ذاكرة التخزين المؤقت KV الخاصة بها.
بعد التعبئة المسبقة، يحتفظ الخادم بمصفوفات المفتاح والقيمة التي تمثل الرموز السابقة حتى لا يعيد حساب المحادثة الكاملة لكل رمز إخراج جديد. تؤدي المحادثات الأطول والمستخدمون المتزامنون الأكثر إلى توسيع مجموعة العمل هذه.
تحدد أبحاث vLLM الأصلية ذاكرة التخزين المؤقت KV كعامل رئيسي يحد من حجم الدُفعة وعدد الطلبات المتزامنة. يقلل التبديل الفعال من الهدر، لكن كل سياق نشط لا يزال يحتاج إلى ذاكرة فعلية في مسار الاستدلال.
عندما تصبح ذاكرة وحدة معالجة الرسوميات المتاحة، أو الذاكرة العشوائية المشتركة، أو ذاكرة المعجل ضيقة، قد يقبل الخادم طلبات أقل، أو يزيح العمل، أو يقصر حدود السياق، أو يفرغ حالة التخزين المؤقت، أو يخل بنموذج آخر. يمكن أن تحول هذه الحلول الاحتياطية محادثة واحدة سلسة إلى ارتفاعات كمون على مستوى العائلة.
تغطي الشرح المرتبط بـ ZimaSpace حول إخلاء النموذج حالة شديدة واحدة: تحل أحمال العمل النشطة محل نموذج مقيم، لذا يدفع الطلب التالي تكلفة إعادة التحميل والتسخين قبل استئناف التوليد الطبيعي.
أحمال عمل العائلة غير متساوية، وليست فقط أكثر عددًا
لا يعني وجود مستخدمين اثنين بالضرورة تقليل الأداء إلى النصف بالضبط. قد يطرح أحدهما سؤالًا قصيرًا واقعيًا بينما يقدم الآخر ملف PDF طويلًا، أو يطلب استجابة كبيرة، أو يشغل التعرف على الصور، أو يطلق وكيلًا يقوم باستدعاءات نموذج متكررة.
يجب على مجدولات LLM التعامل مع تكاليف الطلب غير المتساوية لأن أطوال المطالبات والمخرجات تختلف بشكل غير متوقع. بدون حدود أو جدولة عادلة، يمكن لجلسة واحدة ثقيلة أن تحتل موارد الطابور والحوسبة والتخزين المؤقت لفترة أطول بكثير من عدة محادثات خفيفة الوزن.
يوضح الجدول أدناه لماذا يعد عدد المستخدمين وحده مقياسًا غير مكتمل للسعة.
| نشاط العائلة | المورد المشترك الرئيسي | التأثير المرئي المحتمل |
|---|---|---|
| عدة محادثات قصيرة | فتحات فك التشفير ووقت المجدول | انخفاض الرموز في الثانية لكل مستخدم |
| وثيقة طويلة واحدة بالإضافة إلى محادثات نشطة | حساب التعبئة المسبقة وكمون فك التشفير | بطء الرمز الأول والبث غير المتساوي |
| عدة محادثات طويلة | ذاكرة التخزين المؤقت KV | الطوابير، والإزاحة، أو حدود السياق الأقصر |
| مهام النص، والصورة، والصوت معًا | وحدة معالجة الرسوميات، وحدة المعالجة المركزية، الذاكرة العشوائية، وإقامة النموذج | التنافس عبر أحمال العمل وارتفاعات الكمون |
| نماذج مختلفة لمستخدمين مختلفين | ذاكرة الوزن ووقت التحميل | تبديلات النماذج أو تأخيرات الإخلاء |
لذلك يجب أن يعيد اختبار العائلة إنتاج المزيج الفعلي من الدردشة، والاسترجاع، والرؤية، والصوت، والأتمتة. قد تبدو خمس مطالبات قصيرة متطابقة صحية بينما يكشف طلب واحد طويل السياق بالإضافة إلى محادثتين نشطتين عن الحد الحقيقي.
ما الذي يمكن أن يحسن استجابة العائلة؟
ابدأ بالحفاظ على نموذج مناسب واحد مقيم، وتقليل الحد الأقصى للسياق غير الضروري، وتقييد المخرجات الطويلة، وتعيين قواعد عدالة التزامن أو الطوابير. يمكن للنموذج الأصغر أحيانًا أن يخدم العائلة بشكل أفضل من نموذج أكبر يترك ذاكرة شبه معدومة للسياقات النشطة.
حدود نشر ZimaSpace لـ المستخدمين المتزامنين للذكاء الاصطناعي هي نفس المبدأ على نطاق أوسع: يجب أن تتناسب أوزان النموذج، والسياقات النشطة، وحجم الدُفعة، واستراتيجية الخدمة مع الأجهزة معًا. يمكن للتخزين الاحتفاظ بنقطة تحقق، لكن الاستدلال التفاعلي السريع يعتمد على مكان وجود الأوزان والحالة النشطة أثناء الاستخدام.
يمكن أن يحسن التجميع المستمر، وإعادة استخدام البادئة، وذاكرة KV المؤقتة المصفحة، وأولويات الطلبات، ونسخ العمال المنفصلة من الاستفادة أو العدالة. فائدتها مشروطة: قد يجعل الإعداد الموجه للعرض الخادم يكمل عددًا أكبر من الرموز مع السماح لمستخدم واحد بالانتظار لفترة أطول.
لا تزال الأجهزة هي المحدد الأعلى. إذا استهلك عبء العمل العائلي ذاكرة المعجل، أو عرض النطاق الحوسبي، أو المعالجة المسبقة لوحدة المعالجة المركزية، أو نسخ النموذج المتاحة، يمكن للجدولة توزيع النقص بشكل أكثر عدلاً لكنها لا تزيله.
الأسئلة الشائعة
هل يجعل وجود مستخدمين اثنين خادم الذكاء الاصطناعي المنزلي أبطأ بمرتين دائمًا؟
لا. النتيجة تعتمد على طول الموجه، وطول المخرجات، والتجميع، وحجم النموذج، واستخدام الذاكرة المؤقتة، وما إذا كانت الطلبات تتداخل. قد يتم تجميع طلبين قصيرين بكفاءة، بينما قد يتداخل طلب طويل مع عدة جلسات أخف.
هل يحتاج كل فرد من العائلة إلى نسخة نموذج منفصلة؟
عادة لا. يمكن لعملية خدمة متعددة المستخدمين مشاركة أوزان النموذج وجدولة الطلبات المنفصلة. قد تحسن النسخ المنفصلة العزل، لكنها أيضًا تكرر أو تقسم الذاكرة وقد تقلل السعة الإجمالية على الأجهزة الصغيرة.
هل سيحل الشبكة الأسرع مشكلة تأخير الذكاء الاصطناعي متعدد المستخدمين؟
فقط عندما يكون نقل الإدخال أو التخزين عن بُعد أو اتصال العميل هو عنق الزجاجة. معظم تباطؤات توليد النصوص المحلية تحت حمل العائلة تأتي من الطوابير، والحوسبة، وذاكرة النموذج، وضغط ذاكرة KV المؤقتة.
هل النموذج الأصغر أفضل للاستخدام العائلي؟
يمكن أن يكون كذلك. قد يترك نموذج أصغر ذاكرة أكبر للسياقات المتزامنة ويولد النتائج بشكل أسرع، لكن يجب أن يتناسب التوازن في الجودة مع مهام العائلة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
لماذا تصبح تنبؤات المنزل الذكي أقل دقة بعد تغيّر الروتين الموسمي؟
تغيّر الروتينات الموسمية العلاقة بين الوقت وأجهزة الاستشعار والإشغال والإجراءات المطلوبة، مما يجعل النموذج المدرَّب على العادات الأقدم متقادماً.
لماذا يفوّت جهاز NVR المنزلي الأحداث القصيرة عند تفعيل تتبّع الأجسام؟
يحتاج التتبع إلى عدد كافٍ من عمليات الكشف لبدء المسار وتأكيده، لذا قد يختفي جسم لفترة وجيزة قبل أن ينشئ جهاز تسجيل الفيديو الشبكي...
لماذا تتغير تسميات الصور بالذكاء الاصطناعي بعد ترقية النموذج؟
يغيّر ترقية النموذج التمثيلَ والترتيبَ المستخدمَين لتعيين التصنيفات، لذا قد تتجاوز الصورة نفسها حدودًا دلالية أو حدود ثقة مختلفة.
