Dlaczego sztuczna inteligencja analizująca obraz wideo działa mniej dokładnie podczas deszczu, za szybą lub przez pajęczyny?
Wideo AI staje się mniej niezawodne podczas deszczu, za szybą lub w obecności pajęczyn, ponieważ zakłócenia optyczne ukrywają rzeczywiste cechy, jednocześnie tworząc przekonujące fałszywe.
Kamera na patio może niezawodnie wykrywać ludzi w suchy wieczór, a następnie generować alerty o zwierzętach lub osobach, gdy mokra pajęczyna rozświetla się w podczerwieni. Model widzi piksele, a nie „pogodę”. Krople, odbicia i włókna pajęczyn znajdujące się blisko obiektywu mogą zdominować te piksele albo usunąć kontury potrzebne do rozpoznania odległego obiektu.
Zakłócenia dodają cechy, które nie należą do sceny
Smugi deszczu tworzą krótkie, jasne linie; krople załamują światło i rozmywają lokalne obszary; szyba dodaje odbicia, a pajęczyny tworzą krzywe o wysokim kontraście blisko obiektywu. Detektory wytrenowane na zwykłych scenach mogą interpretować te wzory jako części obiektu albo tracić prawdziwy kontur znajdujący się za nimi.
Badania nad pojedynczymi obrazami dotyczące modeli usuwania deszczu opisują deszcz jako warstwę wizualną, którą można oddzielić od treści sceny. Potrzeba stosowania wyspecjalizowanych metod usuwania pokazuje, że deszcz zmienia strukturę obrazu, a nie tylko zmniejsza jego jasność.
Zakłócenia znajdujące się blisko obiektywu są nieproporcjonalnie silne, ponieważ zajmują wiele pikseli mimo niewielkich rozmiarów fizycznych. Światło podczerwone może oświetlić włókno pajęczyny lub kroplę, podczas gdy odległy podjazd pozostaje ciemny. Fałszywa cecha może wtedy uzyskać większy kontrast niż prawdziwa osoba, którą system powinien wykryć.
Szyba i woda tworzą konkurujące obrazy
Kamera umieszczona za szybą może jednocześnie rejestrować scenę na zewnątrz i odbicie wnętrza. Ostrość, ekspozycja i polaryzacja decydują o tym, która warstwa dominuje. Woda dodaje załamania obrazu, które zmieniają się, gdy krople spływają, przez co statyczne tło staje się niestabilne w czasie, nawet gdy na zewnątrz nic istotnego się nie porusza.
Badania nad usuwaniem odbić traktują separację odbić jako rozdzielenie dwóch nałożonych na siebie elementów wizualnych, a nie jedną czystą scenę. Ten model wyjaśnia, dlaczego zwykłe wykrywanie obiektów może przypisywać pewność szczegółom odbitego pomieszczenia zamiast monitorowanemu obszarowi.
Najpierw może zadziałać detekcja ruchu, a następnie detektor zmuszony do sklasyfikowania zmienionego obszaru. Otrzymana etykieta może wyglądać na pewną, ale być całkowicie błędna, ponieważ potok przetwarzania wcześniej wybrał nietypowy fragment obrazu. Miary pewności dopasowane do danych treningowych nie gwarantują poprawności w warunkach zanieczyszczenia optycznego.
Kiedy pogoda nie jest główną przyczyną
Wyjaśnienie oparte na zakłóceniach przestaje wystarczać, gdy błędy utrzymują się po oczyszczeniu obiektywu i szyby albo gdy wykrycia pokrywają się z artefaktami kodera i utratą klatek. Aktualizacja modelu, zmiana czułości, przełączenie trybu podczerwieni lub zmiana strefy detekcji mogą zbiec się w czasie z deszczem i stworzyć mylącą korelację.
Badania poświęcone konkretnie wykrywaniu pajęczyn wskazują, że pajęczyny mogą powodować znaczną liczbę fałszywych alarmów w systemach monitoringu. Pajęczyna jest jednak przyczyną tylko wtedy, gdy jej położenie i oświetlenie odpowiadają fałszywym obszarom widzianym przez model.
Pogoda nie może też wyjaśnić błędu ograniczonego do aplikacji mobilnej, jeśli wykrycia po stronie serwera i zapisane klatki pozostają poprawne. Oddziel zasłonięcie obrazu podczas rejestracji od problemów z transportem i renderowaniem interfejsu. Mokra scena z wyraźnymi konturami obiektów może nadal działać dobrze, podczas gdy jedna niewielka kropla podświetlona od tyłu może zakłócić działanie konkretnego ujęcia z kamery.
Dopasuj przeszkody do pikseli wywołujących wykrycia
Zapisz odpowiadające sobie suche i zanieczyszczone klipy z tej samej kamery i z użyciem tego samego modelu wnioskowania. Zaznacz obszary pikseli zajmowane przez krople, odbicia lub pajęczyny, a następnie sprawdź, czy fałszywe ramki nakładają się na te obszary. Zapisuj stan podczerwieni, czas otwarcia migawki, wzmocnienie, rozmiar obiektu, poziom pewności oraz szybkość transmisji kodera.
Przeprowadzaj test w potoku lokalnego przetwarzania zdarzeń, aby można było porównać zdarzenia plikowe, klatki poddawane wnioskowaniu i znaczniki czasu alertów bez ryzyka, że usługa w chmurze po cichu zmieni wstępne przetwarzanie. Przeprowadź test przez kilka nocy, ponieważ pajęczyny i krople się przemieszczają.
Uznaj zakłócenia optyczne za przyczynowe, gdy błędy pojawiają się wraz z przeszkodą, nakładają się na obszar obrazu przez nią zajmowany i znikają w pozostałych, porównywalnych warunkach. Jeśli błędy utrzymują się po oczyszczeniu albo występują poza dotkniętymi pikselami, sprawdź zmiany modelu lub strumienia. Jeśli deszcz zwiększa tylko liczbę wyzwaleń detekcji ruchu, odróżnij czułość wyzwalania od dokładności klasyfikacji.
Polecane produkty
Centrum Technologii i Sztucznej Inteligencji
Więcej do przeczytania
Jak zmniejszanie rozdzielczości szeregów czasowych wpływa na wykrywanie anomalii w inteligentnym domu?
Zobacz, jak szerokość przedziałów, agregacja, antyaliasing, brakujące dane, czas trwania zdarzenia i przechowywanie danych w wielu skalach wpływają na wykrywanie anomalii w inteligentnym domu.
Jak mapa zajętości łączy słabe sygnały inteligentnego domu?
Dowiedz się, jak komórki przestrzenne, modele czujników, aktualizacje log-ilorazów szans, wygaszanie, skorelowane dane i wartości progowe przekształcają słabe sygnały z domu w szacunki obecności...
Jak normalizacja fotometryczna wpływa na klasteryzację prywatnych twarzy?
Zobacz, jak korekcja oświetlenia zmienia kadry twarzy, reprezentacje wektorowe, odległości między klastrami, wartości progowe, nadmierną normalizację i ocenę wyszukiwania prywatnych zdjęć.
