ما الذي يتسبب في تصنيف نماذج الصور المحلية للصور المنزلية منخفضة الإضاءة بشكل خاطئ؟

تُصنّف نماذج الصور المحلية صور المنزل منخفضة الإضاءة تصنيفًا خاطئًا لأن ضعف الإضاءة يغيّر الإشارة والضوضاء والألوان وتوزيع السمات التي يستقبلها النموذج.

قد يعمل مصنّف الصور المستضاف ذاتيًا جيدًا مع صور العائلة النهارية، لكنه يخلط بين الأشخاص أو الحيوانات الأليفة أو الغرف أو الأشياء نفسها في اللقطات المسائية. ويكون الفشل عادةً نتيجة مزيج من الالتقاط المحدود بالفوتونات وانزياح المجال، مع إضافة معالجة الكاميرا والتحسين مزيدًا من التباين. يؤدي تشغيل النموذج محليًا إلى حماية مسار البيانات، لكنه لا يجعل النموذج غير متأثر بالظلام.

تقلل الإضاءة المنخفضة الإشارة قبل أن يرى النموذج الصورة

الصورة الداكنة ليست مجرد صورة ساطعة بقيم بكسل أقل. فالتقاط عدد أقل من الفوتونات يقلل نسبة الإشارة إلى الضوضاء، بينما تصبح ضوضاء القراءة في المستشعر وضوضاء اللقطة وأخطاء الألوان والضغط نسبة أكبر من الصورة المرئية.

توضح أبحاث Scientific Reports حول اكتشاف الأشياء في ظروف الإضاءة المنخفضة سبب ضرورة التعامل مع تدهور الإضاءة والضوضاء باعتبارهما مشكلة إدراك، لا مجرد مشكلة عرض. فقد تختفي تفاصيل منزلية دقيقة مثل وجه حيوان أليف أو ملصق طرد أو شخص في نهاية ممر قبل بدء التصنيف.

لا يستطيع نموذج الصور المحلي استعادة السمات التي لم تُلتقط بوضوح من الأساس. وقد تحسّن القدرة الحسابية إزالة الضوضاء أو التحسين، لكن الأدلة المتاحة في الإدخال تكون قد تغيّرت بالفعل.

السمات المدرّبة نهارًا لا تنتقل تلقائيًا إلى المشاهد الليلية

تتعلّم كثير من المصنّفات ومشفّرات الرؤية من صور تهيمن عليها الإضاءة النهارية، وإضاءة الغرف الداخلية، والتباين الواضح، ومعالجة الكاميرات الشائعة. وتغيّر الصور الليلية السطوع ودرجة حرارة الألوان وبنية الظلال والضوضاء، وغالبًا ما تضيف ضبابية في الوقت نفسه.

يتعامل عمل CVPR حول التكيّف من النهار إلى الليل مع اكتشاف الأجسام بوصفه مشكلة تكيّف بين المجالات، وليس مجرد تعديل للتباين. فقد تتحرك السمات التي ميّزت بين الأشياء نهارًا في فضاء التمثيل عند تغيّر الإضاءة.

ولهذا قد يتعرّف النموذج على الكرسي أو القطة أو المدخل نفسه بشكل صحيح عند الظهيرة، ثم يخلط بينها عند منتصف الليل، رغم بقاء أوزانه ومجموعة تسمياته دون تغيير.

تدمّر الضوضاء والضبابية السمات التمييزية الصغيرة أولًا

غالبًا ما ترفع الكاميرات في الإضاءة المنخفضة كسب ISO أو مدة التعريض. ويضخّم الكسب الأعلى الضوضاء، بينما يجعل التعريض الأطول حركة اليد أو الحيوانات الأليفة أو الأشخاص أكثر عرضة للضبابية. وقد تطبّق أنظمة معالجة الهاتف بعد ذلك إزالة ضوضاء قوية تؤدي إلى تنعيم الملمس.

تركّز أبحاث IEEE حول الرؤية في الإضاءة المنخفضة على التحسين الذي يدعم اكتشاف الأجسام في المراحل اللاحقة، بدلًا من المظهر البصري وحده. ويهم هذا التمييز لأن الصورة قد تبدو أنظف للإنسان، مع استمرار فقدان الحواف أو الأنسجة التي يعتمد عليها المصنّف.

وتكون الفئات الصغيرة عرضة للخطر بوجه خاص. فقد يندمج جهاز تحكم داكن مع أريكة، وتفقد قطة سوداء تفاصيل شكلها، وقد يصبح الملصق غير مقروء حتى بعد تفتيح الصورة.

Featured

ZimaCube 2 سحابة شخصية منزلية NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

قد تُنشئ معالجة الكاميرا انزياحًا ثانيًا في المجال

تجمع مكتبات الصور المنزلية بين الهواتف وكاميرات المراقبة وكاميرات الويب والكاميرات الرقمية القديمة ولقطات الشاشة والنسخ المُصدّرة بعد التحرير. ويطبّق كل جهاز أسلوبه الخاص في إزالة الضوضاء وزيادة الحدة ودمج HDR ورسم الدرجات اللونية ومعالجة الألوان قبل أن يستقبل النموذج الملف النهائي.

تُظهر الأبحاث حول تكيّف صور RAW منخفضة الإضاءة أن سلوك التحسين قد يختلف عبر مجالات الكاميرات المختلفة. لذلك قد يرى نموذج مضبوط على مسار التصوير الليلي لجهاز ما نسيج ضوضاء واستجابة ألوان مختلفين على جهاز آخر.

إذا تركزت الأخطاء حول كاميرا واحدة بدلًا من جميع الصور الداكنة، فالمشكلة ليست شدة الإضاءة وحدها. إذ تُعد المعالجة الخاصة بالجهاز جزءًا من توزيع الإدخال.

قد يساعد تفتيح الصورة البشر، لكنه يضر النموذج

يمكن لنموذج التحسين أن يجعل الظلال مرئية عبر تغيير التباين المحلي والألوان والملمس والضوضاء. وقد تحسّن هذه التعديلات وضوح الصورة انطباعيًا، من دون استعادة السمات نفسها التي كانت ستظهر في ظروف إضاءة أفضل.

وجدت دراسة تجريبية أن تحسين الإضاءة المنخفضة له تأثيرات غير متسقة على التصنيف والاكتشاف. فبعض مسارات التحسين تحسّن إدراك الآلة، بينما قد تُدخل مسارات أخرى تشوهات أو تلغي إشارات مفيدة.

في سير عمل منزلي للصور بالذكاء الاصطناعي، ينبغي التحقق من التحسين باستخدام النموذج الفعلي في المرحلة اللاحقة. فمعاينة صورة أجمل لا تثبت تحسّن دقة الوسوم.

افصل بين فشل الإضاءة وفشل النموذج ومجموعة البيانات

تستخدم مجموعة اختبار مفيدة الأشياء المنزلية أو الأشخاص أنفسهم في مشاهد ساطعة وخافتة ومظلمة جدًا، مع إبقاء الكاميرا والتأطير والوسم ثابتة. وقارن مستوى الثقة ونوع الخطأ وأي خطوة للمعالجة المسبقة عند كل مستوى إضاءة.

يمثل دليل ZimaSpace حول تنظيم الصور محليًا بالذكاء الاصطناعي طبقة التطبيق؛ غير أن التنظيم الموثوق لا يزال يعتمد على قدرة نموذج الرؤية على رؤية سمات مستقرة في الصور المصدر.

إذا انخفض الأداء فقط مع الظلام، فاجمع أمثلة منخفضة الإضاءة، واستخدم نموذجًا مدرّبًا أو متكيّفًا مع ذلك المجال، أو حسّن ظروف الالتقاط. أما إذا فشلت فئة واحدة في جميع الظروف، فغالبًا ما تكون مساحة التسميات أو بيانات التدريب موضع الاشتباه الأكبر.

ويهم هذا الفصل أيضًا عند تغيّر حجم الصورة. يوضح شرح ZimaSpace حول دقة الصور وعبء الذكاء الاصطناعي متعدد الوسائط أن المعالجة المسبقة قد تغيّر الأدلة ومسار الحوسبة بشكل مستقل عن الإضاءة.