Co powoduje, że lokalne modele obrazów błędnie klasyfikują zdjęcia domowe wykonane przy słabym oświetleniu?

Lokalne modele obrazowe błędnie klasyfikują zdjęcia domu wykonane przy słabym oświetleniu, ponieważ niedostateczne światło zmienia sygnał, szum, kolory i rozkład cech przekazywanych modelowi.

Samodzielnie hostowany klasyfikator zdjęć może dobrze działać na rodzinnych fotografiach wykonanych w dzień, a jednocześnie mylić te same osoby, zwierzęta, pomieszczenia lub przedmioty na ujęciach wieczornych. Przyczyną jest zwykle połączenie rejestracji ograniczonej liczbą fotonów i przesunięcia domeny, a dodatkowe różnice wprowadzają przetwarzanie obrazu przez aparat oraz jego ulepszanie. Uruchamianie modelu lokalnie chroni ścieżkę danych, ale nie sprawia, że model staje się odporny na ciemność.

Słabe oświetlenie ogranicza sygnał, zanim model zobaczy zdjęcie

Ciemne zdjęcie to nie tylko jasne zdjęcie z niższymi wartościami pikseli. Mniejsza liczba zarejestrowanych fotonów obniża stosunek sygnału do szumu, przez co szum odczytu matrycy, szum fotonowy, błędy kolorów i kompresja stanowią większą część widocznego obrazu.

Badania opublikowane w Scientific Reports dotyczące wykrywania obiektów w warunkach słabego oświetlenia pokazują, dlaczego pogorszenie oświetlenia i szum należy traktować jako problem percepcji, a nie wyłącznie wyświetlania obrazu. Drobne szczegóły domowe, takie jak pysk zwierzęcia, etykieta paczki lub osoba na końcu korytarza, mogą zniknąć, zanim rozpocznie się klasyfikacja.

Lokalny model obrazowy nie może odzyskać cech, które nie zostały wyraźnie zarejestrowane. Większa moc obliczeniowa może poprawić odszumianie lub ulepszanie obrazu, ale dostępne dane wejściowe już się zmieniły.

Cechy wyuczone na zdjęciach dziennych nie przenoszą się automatycznie na sceny nocne

Wiele klasyfikatorów i enkoderów wizyjnych uczy się na obrazach zdominowanych przez światło dzienne, oświetlenie pomieszczeń, wyraźny kontrast i typowe przetwarzanie aparatu. Zdjęcia nocne jednocześnie zmieniają jasność, temperaturę barwową, strukturę cieni, poziom szumu i często także ostrość.

Prace zaprezentowane na CVPR dotyczące adaptacji z dnia do nocy traktują wykrywanie obiektów nocą jako problem adaptacji domeny, a nie tylko korekcji kontrastu. Cechy, które rozróżniały obiekty w dzień, mogą zmienić położenie w przestrzeni reprezentacji po zmianie oświetlenia.

Dlatego model może poprawnie rozpoznać to samo krzesło, kota lub drzwi w południe, a pomylić je o północy, mimo że jego wagi i zestaw etykiet pozostają niezmienione.

Szum i rozmycie najpierw niszczą drobne cechy rozróżniające

Aparaty fotografujące przy słabym oświetleniu często zwiększają wzmocnienie ISO lub wydłużają czas ekspozycji. Większe wzmocnienie wzmacnia szum, a dłuższa ekspozycja zwiększa ryzyko rozmycia spowodowanego ruchem aparatu, zwierząt lub ludzi. Następnie algorytmy stosowane w telefonach mogą agresywnie odszumiać obraz, wygładzając tekstury.

Badania IEEE dotyczące widzenia w słabym oświetleniu koncentrują się na ulepszaniu obrazu wspierającym dalsze wykrywanie obiektów, a nie tylko na wyglądzie obrazu. To rozróżnienie ma znaczenie, ponieważ zdjęcie może wyglądać dla człowieka czyściej, a jednocześnie tracić krawędzie lub tekstury wykorzystywane przez klasyfikator.

Szczególnie podatne są małe obiekty. Ciemny pilot może zlewać się z kanapą, czarny kot może stracić szczegóły sylwetki, a etykieta może stać się nieczytelna nawet po rozjaśnieniu obrazu.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

$799.00 - $2,499.00

Buy Now

Przetwarzanie przez aparat może wywołać drugie przesunięcie domeny

Domowe biblioteki zdjęć łączą fotografie z telefonów, kamer bezpieczeństwa, kamer internetowych, starszych aparatów cyfrowych, zrzutów ekranu i edytowanych plików eksportowanych. Każde urządzenie stosuje własne odszumianie, wyostrzanie, łączenie HDR, mapowanie tonów i przetwarzanie kolorów, zanim model otrzyma końcowy plik.

Badania nad adaptacją do obrazów RAW przy słabym oświetleniu pokazują, że sposób ulepszania obrazu może różnić się między różnymi domenami aparatów. Model dostrojony do nocnego przetwarzania jednego urządzenia może więc otrzymać z innego aparatu obraz o innej strukturze szumu i charakterystyce kolorów.

Jeśli błędy skupiają się wokół jednego aparatu, a nie dotyczą wszystkich ciemnych zdjęć, problemem nie jest wyłącznie natężenie oświetlenia. Przetwarzanie charakterystyczne dla urządzenia jest częścią rozkładu danych wejściowych.

Rozjaśnienie obrazu może pomóc człowiekowi, ale zaszkodzić modelowi

Model ulepszający obraz może uwidocznić cienie, zmieniając lokalny kontrast, kolory, tekstury i szum. Takie modyfikacje mogą poprawić subiektywną widoczność bez odtworzenia tych samych cech, które byłyby dostępne przy lepszym oświetleniu.

Badanie empiryczne wykazało, że ulepszanie obrazu przy słabym oświetleniu ma niejednoznaczny wpływ na klasyfikację i wykrywanie. Niektóre potoki ulepszania poprawiają percepcję maszynową, podczas gdy inne mogą wprowadzać artefakty lub usuwać użyteczne wskazówki.

W domowym procesie pracy z fotografiami AI ulepszanie należy sprawdzać z użyciem rzeczywistego modelu docelowego. Ładniejszy podgląd obrazu nie jest dowodem na poprawę dokładności oznaczania.

Oddziel problemy z oświetleniem od problemów modelu i zbioru danych

Przydatny zestaw testowy obejmuje te same przedmioty domowe lub osoby w jasnych, przyciemnionych i bardzo ciemnych scenach, przy zachowaniu tego samego aparatu, kadru i oznaczenia. Porównaj pewność modelu, rodzaj błędu oraz każdy etap wstępnego przetwarzania dla kolejnych poziomów oświetlenia.

Przewodnik ZimaSpace dotyczący lokalnego organizowania zdjęć przez AI opisuje warstwę aplikacji; niezawodna organizacja nadal zależy od tego, czy model wizyjny widzi stabilne cechy w obrazach źródłowych.

Jeśli wydajność spada wyłącznie w ciemności, zbierz przykłady wykonane przy słabym oświetleniu, użyj modelu wytrenowanego lub dostosowanego do tej domeny albo popraw warunki rejestracji. Jeśli jedna klasa zawodzi w każdych warunkach, większym podejrzanym jest zestaw etykiet lub dane treningowe.

To rozróżnienie ma znaczenie również wtedy, gdy zmienia się rozmiar obrazu. Wyjaśnienie ZimaSpace dotyczące rozdzielczości obrazu i obciążenia multimodalnej AI pokazuje, że wstępne przetwarzanie może zmienić dostępne dane i ścieżkę obliczeń niezależnie od oświetlenia.