لماذا تهلوس النماذج المحلية الصغيرة أكثر أثناء إخراج JSON؟
تُهلوس النماذج المحلية الصغيرة بدرجة أكبر عند إخراج JSON، لأنها مطالبة بحل المهمة مع الحفاظ في الوقت نفسه على مخطط صارم وبنية صحيحة.
قد يطلب سير عمل للذكاء الاصطناعي المنزلي من نموذج مدمج استخراج أسماء الملفات أو التواريخ أو الوسوم أو حالات الأجهزة أو وسائط التشغيل الآلي، وإعادتها بصيغة JSON قابلة للقراءة آليًا. ولا يؤدي النموذج مهمة واحدة، بل عليه تحديد الحقائق الصحيحة، وربطها بالحقول المقصودة، والالتزام بالأنواع والقيم المحصورة المطلوبة، وتذكر علامات الترقيم والتداخل، والتوقف من دون إضافة تعليقات. وعندما تكون قدرة النموذج محدودة، تتنافس هذه القيود مع الاستدلال اللازم للحفاظ على ارتباط القيم بالمصدر.
يجعل JSON الصحةَ مشكلةً ذات مستويين
يجب أن تكون الإجابة صحيحة من الناحية الدلالية وصالحة بنيويًا في الوقت نفسه. يمكن لإجابة حرة الصياغة أن تعبّر عن عدم اليقين أو تشرح قيمة مفقودة، بينما يتطلب عقد JSON غالبًا من النموذج اختيار قيمة لحقل حتى عندما تكون الأدلة ضعيفة.
يوضح البحث حول المفاضلة بين الصحة والدقة سبب ضرورة إبقاء هذين القياسين منفصلين: فقد تحسّن القيود الأقوى على المخرجات صحةَ المخطط، بينما تصبح القيم المحددة أقل دقة.
يظهر هذا الضغط بوضوح أكبر في النموذج المحلي الصغير، إذ يمتلك قدرة احتياطية أقل لتتبع التعليمات والاستخراج والتسلسل. وقد يخترع النموذج الأكبر حقلًا أيضًا، لكن النموذج المدمج يصل إلى المرحلة التي تحل فيها مطابقة التنسيق محل جودة الإجابة بسرعة أكبر.
يمكن أن يحتوي الكائن الصحيح على إجابة مُهلوسة
يمكن لفك الترميز المقيّد منع إخراج قوس غير قانوني أو مفتاح غير معروف أو قيمة غير صالحة من القيم المحصورة. لكنه لا يستطيع إثبات أن معرّف العميل أو التاريخ أو المسار أو الحالة المختارة موجودة في المادة المصدرية.
تصف vLLM قيود مخطط JSON بأنها وسيلة لتقييد شكل المخرجات المُولّدة. ويضيّق فك الترميز مجموعة الرموز المسموح بها تاليًا، لكن النموذج يظل مسؤولًا عن المعنى الذي تحمله تلك الرموز القانونية.
ينشئ هذا نمط فشل خطيرًا في التشغيل الآلي: يُحلَّل الكائن بنجاح، لذلك تثق به الشفرة اللاحقة، مع أن أحد الحقول مختلق. تحقّق من قواعد العمل والأدلة المصدرية بعد التحقق من المخطط، بدل اعتبار نجاح التحليل دليلًا على الصحة الواقعية.
تزيد المخططات المتداخلة التفرعات وتتبع الحالة
تضيف كل خاصية مطلوبة، وكل فرع اختياري، وكل مصفوفة متداخلة، وكل حقل يقبل القيمة الخالية، وكل قيمة محصورة حالةً يجب على النموذج تتبعها طوال عملية التوليد. كما تجعل أسماء المفاتيح المتشابهة أو أشكال الكائنات المتكررة من السهل وضع قيمة صحيحة في موضع خاطئ.
يميّز دليل llama.cpp حول JSON المقيّد بالقواعد بين قواعد المخرجات المسموح بها وبين المطالبة التي تشرح معنى الحقول. ويمكن للقواعد فرض البنية، لكن المخطط لا يزال يحتاج إلى تعليمات دلالية واضحة.
قلّل عدد القرارات المتزامنة. بسّط الكائنات المتداخلة بعمق، وأزل الحقول الاختيارية غير المستخدمة، واستخدم أسماء مفاتيح مميزة، وقسّم عملية استخراج كبيرة إلى كائنات أصغر عندما يكرر النموذج المحلي تبديل الحقول أو ملء حقول غير مرتبطة.
قد تؤدي المطالبات التي تقتصر على JSON إلى كبح الاستدلال المفيد
يدفع توجيه صارم مثل «أعِد JSON فقط» النموذج إلى تغليف الإجابة فورًا. وفي عملية استخراج صعبة، قد يتسبب ذلك في اختيار حقل مبكرًا قبل أن يقارن النموذج بين المقاطع المتنافسة أو يحسم تاريخًا ملتبسًا.
تُظهر تقييمات Hugging Face حساسية تنسيق المطالبة: إذ يمكن أن يؤدي تغيير البنية المتوقعة والمساحة المتاحة للاستدلال إلى تغيير أداء المهمة، حتى عندما يكون السؤال الأساسي نفسه.
لا تكشف سلسلة الأفكار الداخلية الخاصة، لكن افصل بين حل المهمة داخليًا والتسلسل النهائي. يمكن لسير العمل أولًا استخراج سجل أدلة موجز أو إجراء بحث حتمي، ثم مطالبة النموذج بعرض الحقول التي تم التحقق منها فقط.
يفشل JSON المُنشأ بالمطالبة وفك الترميز المقيّد بطرق مختلفة
قد يضيف JSON المعتمد على المطالبة وحدها كتلًا برمجية أو تعليقات أو مفاتيح مكررة أو فواصل زائدة أو كائنًا غير مكتمل. ويزيل فك الترميز المقيّد كثيرًا من أخطاء البنية، لكنه قد يجبر النموذج على الاختيار بين قيم صالحة عندما لم تكن «غير معروف» مسموحة.
تشرح Fireworks كيف تحافظ اختيارات الرموز المقيّدة بالمخطط على التوليد داخل عقد المخرجات، مع استمرار الحاجة إلى أن تصف المطالبة البيانات المقصودة بدقة.
تتبّع مجموعتي الفشل كلتيهما. قِس حالات فشل التحليل في المخرجات المعتمدة على المطالبة وحدها، ثم قِس الحقول الخاطئة رغم صلاحيتها، والقيم الافتراضية غير المرغوبة، واليقين الزائف بعد تفعيل فك الترميز المقيّد.
يؤدي أخذ العينات والاقتطاع إلى تضخيم الأخطاء الصغيرة
يمكن لدرجة الحرارة الأعلى أن تغيّر اختيار المفتاح وقيم الحقول، بينما قد تؤدي ميزانية الرموز غير الكافية إلى قطع المصفوفات أو الأقواس الختامية. وتقلل درجة الحرارة المنخفضة التباين، لكنها لا تجعل القيمة غير المدعومة صحيحة.
توضح مراجعة عملية لـ سير عمل للمخرجات المهيكلة المحلية سبب كون التحقق والتوليد المقيّد مكوّنين منفصلين، لا حيلة واحدة في صياغة المطالبة.
خصّص عددًا كافيًا من رموز المخرجات لأكبر كائن قانوني، وحدد طول المصفوفة، وأعد المحاولة للجزء الفاشل فقط. فقد تؤدي إعادة توليد الكائن بأكمله إلى استبدال الحقول الصحيحة بالفعل بتهلوسات جديدة.
استخدم خط أنابيب JSON محليًا من مرحلتين
احسم المهمة أولًا في سجل مكتوب وفق أنواع ومحدود الحد الأدنى: المقطع المصدر الدقيق، والتاريخ المطبّع، والمعرّف المحدد، وحالة الثقة، وأي قيمة مفقودة صريحة. ويجب أن يُسمح لهذه المرحلة برفض الطلب بدل اختراع بيانات مطلوبة.
بعد ذلك، اعرض هذا السجل عبر فك ترميز مقيّد بالمخطط، وحلّله، ثم أجرِ فحوصًا دلالية مثل التحقق من وجود الملف، ونطاق التاريخ، وتوافق القيمة المحصورة، واتساق الحقول معًا. وينبغي أن يعيد المدقق أخطاء محددة تحدد الحقل المطلوب إصلاحه.
يوفر شرح ZimaSpace حول سبب أن النموذج الأصغر قد يكون أكثر موثوقية الحد الفاصل: تعمل النماذج المدمجة بأفضل شكل عندما تكون المهمة والسياق ومجموعة الأدوات وعقد المخرجات محددة بما يكفي للتحقق منها.
الأسئلة الشائعة
هل يعني JSON الصحيح أن النموذج لم يُهلوس؟
لا. يثبت JSON الصحيح أن الكائن يتبع قواعد البنية أو المخطط، لكنه لا يثبت أن قيم الحقول جاءت من المصدر أو تطابق حالة النظام الفعلية.
هل سيؤدي ضبط درجة الحرارة على الصفر إلى حل هلوسات JSON؟
لا. قد يجعل ذلك المخرجات أكثر قابلية للتكرار، لكن القيمة غير المدعومة التي يتم اختيارها باستمرار تظل هلوسة.
هل يكفي فك الترميز المقيّد للتشغيل الآلي؟
لا. استخدمه مع استخراج مستند إلى المصدر، وتحليل المخطط، والتحقق الدلالي، ومسار رفض آمن للبيانات المفقودة أو الملتبسة.
المنتجات الموصى بها
مركز التكنولوجيا والذكاء الاصطناعي
المزيد للقراءة
كيف يؤثر تقليل عينات السلاسل الزمنية على اكتشاف الحالات الشاذة في المنازل الذكية؟
تعرّف على كيفية تأثير عرض الفواصل، والتجميع، ومنع التعرّج، والبيانات المفقودة، ومدة الأحداث، والاحتفاظ متعدد المقاييس في استدعاء الحالات الشاذة للمنزل الذكي.
كيف تدمج شبكة الإشغال إشارات المنزل الذكي الضعيفة؟
تعرّف على كيفية تحويل الخلايا المكانية، ونماذج المستشعرات، وتحديثات لوغاريتم نسب الترجيح، والاضمحلال، والأدلة المترابطة، والعتبات، للإشارات المنزلية الضعيفة إلى تقديرات للإشغال.
كيف يؤثر التطبيع الفوتومتري في تجميع الوجوه الخاصة؟
تعرّف على كيفية تغيّر تصحيح الإضاءة لقصاصات الوجوه، والتمثيلات المتجهية، ومسافات العناقيد، والعتبات، وفرط التطبيع، وتقييم البحث في الصور الخاصة.
