لماذا يصبح استدعاء الأدوات أقل موثوقية عندما يتوفر للوكيل عدد كبير جدًا من الأدوات؟

إيفا وونغ

IceWhale author

إيفا وونغ هي كاتبة تقنية و ومهندسة هاوية في ZimaSpace. مهووسة بالتكنولوجيا مدى الحياة ولديها شغف بالمختبرات المنزلية والبرمجيات مفتوحة المصدر، تتخصص في تبسيط المفاهيم التقنية المعقدة إلى أدلة عملية وسهلة الفهم. تؤمن إيفا بأن الاستضافة الذاتية يجب أن تكون ممتعة وليست مخيفة. من خلال دروسها، تمكّن المجتمع من تبسيط إعدادات الأجهزة، بدءًا من بناء أول نظام تخزين شبكي NAS وحتى إتقان حاويات Docker.

Why Does Tool Calling Become Less Reliable When an Agent Has Too Many Available Tools? - Zima Store Online

يصبح استدعاء الأدوات أقل موثوقية عندما تؤدي مجموعة أدوات أكبر إلى زيادة حمل السياق، وغموض الاختيار، والارتباك بشأن المعلمات، واحتمالات تنفيذ إجراءات غير ضرورية.

قد يتصل وكيل ذكاء اصطناعي منزلي بالملفات والتقويمات وخوادم الوسائط والأجهزة الذكية والنسخ الاحتياطية وفهارس البحث والحاويات وخدمات المراسلة. وتؤدي زيادة التكاملات إلى توسيع القدرات، لكن كل أداة مكشوفة تضيف اسمًا ووصفًا ومخططًا ومعاملات وأمثلة واحتمال تداخل مع إجراءات أخرى. ويجب على النموذج تحديد القدرة ذات الصلة قبل أن يتمكن من استخدامها بشكل صحيح. وعندما تظل أدوات كثيرة غير مرتبطة أو متشابهة ظاهرة، قد تبدأ الإخفاقات من مرحلة الاختيار وتستمر خلال إنشاء المعاملات وترتيب الخطوات والتعافي من الأخطاء.

كل أداة ظاهرة توسّع مساحة قرارات الوكيل

قبل أن يتمكن الوكيل من استدعاء أي شيء، عليه مقارنة نية المستخدم بكل قدرة متاحة. تؤدي إضافة الأدوات إلى إنشاء مزيد من البدائل، بما في ذلك الأدوات غير المرتبطة بالطلب الحالي.

توضح Hackteam كيف يجبر الإفراط في الأدوات النموذج على معالجة سجلات كبيرة قبل أن يبدأ المهمة الفعلية.

قد تظل الأداة الصحيحة موجودة، لكن وجودها لا يساوي اختيارها بشكل موثوق. فعلى النموذج فصلها عن كل بديل قريب ضمن المطالبة نفسها وميزانية الاستدلال نفسها.

مخططات الأدوات تستهلك السياق اللازم لمهمة المستخدم

يساهم كل تعريف لدالة في إضافة رموز وصفية وأسماء للمعاملات وأنواعها وقيم التعداد وتعليمات الاستخدام. وقد تستهلك عدة خوادم MCP جزءًا مهمًا من السياق النشط قبل إضافة سجل المحادثة أو الأدلة المسترجعة.

يربط تحليل الوكيل المفرط في الأدوات بين السجلات الكبيرة وضوضاء المخططات وضعف التمييز بين الدوال.

ويكتسب ضغط السياق أهمية خاصة بالنسبة إلى النماذج المحلية الأصغر. فقد تمتلك قدرة كافية على اتباع عقد أداة واحد ودقيق، لكنها تفقد التركيز على التعليمات عندما تحيط بها عشرات التعريفات غير المستخدمة.

يمكن لنافذة سياق أكبر استيعاب مزيد من المخططات، لكنها لا تضمن أن يميز الانتباه بينها بالقدر نفسه من الكفاءة.

الأدوات المتداخلة تخلق غموضًا في الاختيار

قد تبحث أداتان كلتاهما عن الملفات، أو تعيدان تشغيل الخدمات، أو تحدّثان السجلات، أو ترسلان الإشعارات، مع اختلافهما فقط في النطاق أو الواجهة الخلفية أو تفاصيل المعاملات.

تسمي La Rebelion Labs ذلك احتكاك القرار، حيث تزيد الخيارات الإضافية احتمال اختيار النموذج للإجراء الخطأ.

تساعد الأسماء الواضحة، لكن التسمية لا تستطيع حل المشكلة بالكامل عندما تغطي أوصاف عدة أدوات النية نفسها باللغة الطبيعية. وينبغي لبيئة التشغيل إخفاء البدائل غير الصالحة للمستخدم أو المورد أو مرحلة سير العمل الحالية.

-15% OFF

ZimaBoard 2 - خادم منزلي صغير لأفكارك الكبيرة

Single board computer zimaboard2

قد تغيّر الأدوات غير المرتبطة ما إذا كان النموذج سيستدعي أي أداة

لا يختار الوكيل بين الأدوات فحسب، بل يقرر أيضًا ما إذا كانت الأداة ضرورية. وقد تشتته قائمة طويلة فيستدعي تكاملًا غير مرتبط أو يتجنب أداة ذات صلة لأن الاختيار يبدو غير مؤكد.

تورد Osmosis تجارب الأدوات المتعددة التي أخفقت فيها النماذج في استخدام الأدوات المطلوبة أو استدعت أدوات غير ضرورية عند إتاحة مجموعات أدوات أوسع.

وهذا يعني أن اختبارًا معياريًا ناجحًا باستخدام أداة معزولة قد يبالغ في تقدير الموثوقية في بيئة الإنتاج. ويجب أن يتضمن الاختبار المنشور الأدوات المنافسة الفعلية الظاهرة أثناء طلب منزلي.

قِس معدلات عدم الاستدعاء والاستدعاء الخاطئ والاستدعاء المكرر والمعاملات غير الصالحة كلًّا على حدة، بدلًا من التعامل مع كل إخفاق باعتباره خطأً عامًا واحدًا في الأداة.

قد يتفاقم اختيار خاطئ واحد عبر حلقة الوكيل

يمكن لوكيل مستقل تفسير نتيجة أداة واستدعاء أداة أخرى ثم مواصلة التنفيذ لعدة خطوات. ولذلك قد يعيد خطأ صغير في الاختيار توجيه بقية الخطة.

تشير Redis إلى أن الأدوات المتداخلة تشتت الوكلاء، وأن الإخفاقات الطفيفة قد تتفاقم أثناء التنفيذ طويل الأمد.

يمكن لسير عمل ذي خطوات ثابتة تجنب بعض خيارات التشغيل. وينبغي ألا يحتفظ الوكيل بالاستقلالية إلا عندما يعتمد الإجراء التالي فعلًا على حالة جديدة تمت ملاحظتها.

اعرض قائمة مختصرة خاصة بالمهمة بدلًا من سجل عام واحد

يمكن لتوجيه الأدوات أن يحدد أولًا المجال ذي الصلة—الملفات أو الأجهزة أو البحث أو التقويمات أو الخدمات—ثم يعرض فقط المجموعة الصغيرة اللازمة لتلك المرحلة.

توصي TechRadar بـمجموعة أدوات محدودة ومصممة للمهمة، بدلًا من الوصول غير المقيّد إلى كل تكامل.

ويضيف شرح ZimaSpace حول نطاق الأدوات حدًا ثانيًا: حتى الأداة المختارة ينبغي ألا تعرض سوى الموارد والعمليات التي تبررها النية الحالية.

قيّم معًا مدى استدعاء القائمة المختصرة ودقة الأداة النهائية. فقد يؤدي عرض عدد قليل جدًا من الأدوات إلى إخفاء الإجراء الصحيح، بينما قد يجعل عرض عدد كبير جدًا أداة موجودة أصعب في الاختيار والاستخدام بشكل صحيح.