لماذا تبدو متوسطات زمن الاستجابة جيدة بينما يبدو الذكاء الاصطناعي التفاعلي بطيئًا؟
قد تبدو متوسطات زمن الاستجابة جيدة، بينما يبدو الذكاء الاصطناعي التفاعلي بطيئًا، لأن حالات الانتظار الطويلة النادرة والتوقفات المتسلسلة تهيمن على الجولات التي يتذكرها المستخدمون.
قد تبدأ تسعة مطالبات محلية خلال 300 مللي ثانية، بينما تنتظر العاشرة خمس ثوانٍ لتحميل النموذج أو أداة. يظل المتوسط أقل من ثانية واحدة، ومع ذلك يبدو الحوار معطّلًا بشكل متكرر. تعتمد جودة التفاعل على توزيع التأخيرات وتسلسلها، لا على قيمة مركزية واحدة عبر أنواع طلبات غير مترابطة تخص التفاعل الذي يتذكره الشخص.
المتوسط يخفي شكل توزيع التأخير
يجمع المتوسط الحسابي جميع الطلبات في رقم واحد. وقد تخفف العديد من إصابات ذاكرة التخزين المؤقت أو المطالبات القصيرة أثر بضع جولات بطيئة جدًا. تكشف النسب المئوية مدى تكرار تجاوز المستخدمين لعتبة تأخير معينة، رغم أن النسبة المئوية 95 قد تخفي أسوأ واحد بالمئة.
يوضح ذيل زمن الاستجابة أن نسبة صغيرة من المكونات البطيئة قد تهيمن على زمن استجابة الطلب بالكامل في أنظمة التوزيع المتشعب. وبالمثل، ينتظر الذكاء الاصطناعي التفاعلي أبطأ مرحلة مطلوبة.
كما يؤثر مزيج أعباء العمل. فلا ينبغي أن تشترك فحوصات السلامة واستدعاءات الحالة المخزنة مؤقتًا في متوسط زمن الاستجابة نفسه مع الجولات الصوتية أو الاسترجاع المعزز بالتوليد أو إجراءات الأدوات. فقد يكون المتوسط الإجمالي المنخفض صحيحًا من الناحية الرياضية وغير ذي صلة من الناحية التشغيلية.
يختبر المستخدمون المراحل والتوقفات، لا الاكتمال وحده
تتضمن جولة المحادثة عدة مؤقتات: انتظار قائمة الانتظار، والاسترجاع، والوصول إلى الرمز المميز الأول، وتواتر الرموز، وانتظار الأداة، والاكتمال النهائي. وقد يبدو الزمن الإجمالي السريع أسوأ من استجابة أطول قليلًا تبدأ بسرعة وتتدفق بوتيرة منتظمة إذا كان الافتتاح الصامت طويلًا.
يميز تحليل زمن الاستجابة بين الزمن حتى الرمز المميز الأول وزمن الاستجابة الكاملة، لأن هذين المقياسين يمثلان جزأين مختلفين من سلوك النموذج. وكلاهما ضروري لوصف جولة تفاعلية.
وللتوقفات المرئية ترتيب أيضًا. فتعطل الأداة بعد عدة رموز يقطع الانتباه بطريقة تختلف عن الانتظار نفسه قبل الرمز الأول. ويمحو المتوسط المحسوب عبر المراحل بنية التفاعل هذه، ويوجه التحسين نحو المكوّن الخطأ.
متى تضلل النسب المئوية أيضًا
تفشل النسب المئوية عندما تتوقف أداة القياس عن إصدار العمل أثناء فترات التعطل، أو تأخذ عينات من الطلبات المكتملة فقط، أو تجمع نوافذ زمنية غير مترابطة. وقد يؤدي هذا الحذف المنسق إلى التقليل من عدد التأخيرات التي يواجهها المستخدمون تحديدًا تحت الحمل.
يوضح نقاش جيل تيني حول الحذف المنسق سبب ضرورة أن تحافظ اختبارات الحمل على جدول الطلبات المقصود، بدلًا من إبطاء عمليات الإرسال عندما يتباطأ النظام. وإلا بدت توزيعات زمن الاستجابة سليمة بشكل مصطنع.
كما يتوقف تفسير ذيل زمن الاستجابة عن الانطباق إذا كان تتبع كل مرحلة سريعًا، بينما لا يزال المستخدمون يبلغون عن البطء. فقد يكون عرض الواجهة أو التخزين المؤقت للشبكة أو التغذية الراجعة المتأخرة خارج حدود الخادم المقاسة. ولن تفيد لوحات معلومات النسب المئوية الإضافية عندما تبدأ الساعة متأخرة جدًا أو تتوقف مبكرًا جدًا.
تتبّع المراحل التي ينتظرها المستخدمون فعليًا
أنشئ أدوات لقياس إدراج الطلب في قائمة الانتظار، وبدء التنفيذ، وانتهاء الاسترجاع، والرمز المميز الأول، وكل استدعاء للأداة، والرمز المميز النهائي، وعرض العميل باستخدام معرّف تتبع رتيب واحد. وأبلغ عن النسب المئوية 50 و95 و99، والحد الأقصى، ومعدل تجاوز العتبة حسب نوع التفاعل وحالة البدء البارد مقابل الدافئ.
استخدم آثار البدء البارد للذكاء الاصطناعي لفصل التحميل البارد عن الاستدلال في حالة التشغيل المستقرة. واحتفظ بالجولات الفاشلة والملغاة في مجموعة البيانات بدلًا من استبعاد فترات انتظارها.
أعد تشغيل الطلبات وفق جدول زمني مقصود وثابت، وقارن بين المراحل المرئية للعميل وتلك المرئية للخادم. حسّن المرحلة المسؤولة عن النسبة المئوية البطيئة. وإذا اختلف تتبع الخادم عن تتبع العميل، فتتبّع النقل والعرض؛ وإذا ارتفعت الزيادات في الجولات الباردة فقط، فعالج التحميل بدلًا من التوليد في حالة التشغيل المستقرة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
لماذا تبدو حرارة الذكاء الاصطناعي المحلي مختلفة على رف مفتوح مقارنةً بخزانة مغلقة؟
تتبّع توليد الحرارة وتبادل الهواء وإعادة تدويره في أماكن التثبيت المفتوحة والمغلقة، ثم قِس المتغيرات التي تميّز بينها.
لماذا يبدو خادم المنزل أكثر هدوءًا ليلًا رغم بقاء سرعة المروحة نفسها؟
افهم لماذا لا تضمن سرعة المروحة الثابتة ثبات مستوى الضوضاء المُدرَك، وكيف تميّز بين الحجب وظروف الغرفة والتغيّر الصوتي الحقيقي.
لماذا تبدو النسخ الاحتياطية المزالة التكرارات أصغر من حجمها عند الاستعادة؟
تعرّف على كيفية تغيير إزالة التكرار لعدد البايتات المخزّنة دون تغيير المعنى المُستعاد، ولماذا تُعقّد الملفات المتناثرة والمضغوطة حساب الإجماليات، وكيفية تحديد حجم اختبار...
