Czym jest migawka rolująca i kiedy zniekształca wykrywanie obrazu przez kamerę domową?

Rolling shutter rejestruje wiersze matrycy w różnych momentach, więc ruch podczas odczytu może zmienić jedną klatkę w zniekształcony w czasie pomiar geometryczny.

Osoba przechodząca przez cichy ganek może wyglądać normalnie, podczas gdy szybki rower, drgający uchwyt lub szybkie panoramowanie mogą sprawić, że w obrębie jednej klatki obraz będzie pochylony, rozciągnięty lub ścinany. Detektor widzi zniekształconą geometrię pikseli, a nie obiekt uchwycony w jednej chwili. Efekt zależy od czasu odczytu wierszy, ekspozycji, kierunku ruchu, obiektywu, oświetlenia i rozkładu danych treningowych modelu.

Jedna klatka zawiera sekwencję czasów ekspozycji

Wiele matryc CMOS naświetla lub odczytuje wiersze sekwencyjnie, zamiast rejestrować cały obraz jednocześnie. Górna i dolna część wyświetlanej klatki przedstawiają więc różne momenty, a całkowite pochylenie obrazu zależy od czasu odczytu matrycy, a nie tylko od nominalnej liczby klatek na sekundę.

Obszerne opracowanie modeli rolling shutter omawia modele ruchu związane z rolling shutter oraz metody korekcji. Opisuje zniekształcenie geometryczne jako skutek względnego ruchu kamery lub sceny podczas sekwencyjnego procesu rejestrowania wierszy. To rozróżnienie pozostaje widoczne podczas późniejszych testów domowych.

Wolny ruch i krótki czas odczytu mogą sprawić, że różnica będzie pomijalna. Szybki ruch poprzeczny, obracające się łopatki wentylatora, drgania kamery lub poruszający się pojazd mogą powodować wyraźne pochylenie obrazu, nawet gdy ekspozycja jest wystarczająco krótka, by ograniczyć rozmycie.

Zniekształcenie zmienia ramki, cechy i pozorne trajektorie

Detektory obiektów opierają się na kształtach i teksturach poznanych na obrazach treningowych. Zależne od wiersza ścinanie może zmieniać proporcje obrazu lub rozdzielać poruszającą się krawędź między różnymi pozycjami, a algorytmy śledzenia mogą interpretować zniekształcony środek obiektu jako nagłą zmianę prędkości. Rozmycie ruchu może wystąpić jednocześnie, ale jest odrębnym efektem ekspozycji.

Opracowanie Uniwersytetu w Linköping dotyczące geometrii widzenia komputerowego wyjaśnia, jak rolling shutter modyfikuje klasyczną geometrię kamery i wpływa na zadania widzenia komputerowego, takie jak struktura z ruchu i stabilizacja. Śledzenie za pomocą kamer domowych dziedziczy to samo niedopasowanie pomiaru, choć na mniejszą skalę.

Korekcja obiektywu nie usuwa automatycznie czasowego pochylenia obrazu, ponieważ zniekształcenie obiektywu ma charakter przestrzenny i jest w większości stałe, podczas gdy zniekształcenie rolling shutter zmienia się wraz z ruchem. Zastosowanie zwykłego przekształcenia geometrycznego może nawet przenieść już pochylone piksele do nowego układu współrzędnych.

Kierunek odczytu sprawia, że orientacja ruchu ma znaczenie

Ruch równoległy do kierunku odczytu wierszy może ściskać lub rozciągać kształty, podczas gdy ruch prostopadły może powodować pochylenie i boczne przesunięcie. Matryca z global shutter eliminuje czasowe pochylenie obrazu w obrębie klatki, ale może różnić się kosztem, czułością, poziomem szumów lub rozdzielczością, więc nie jest bezwarunkowym ulepszeniem.

Opracowanie CVPR dotyczące geometrii odczytu przedstawia formalne modele kamer rolling shutter i pokazuje, że geometria odczytu ogranicza sposób obserwacji punktów sceny. Wynik ten potwierdza, dlaczego jedna korekcja zniekształceń nie może obejmować każdej konfiguracji ruchu i matrycy.

Granica zawodności staje się widoczna, gdy detekcję ocenia się wyłącznie na statycznych nagraniach dziennych. Ekspozycja nocna, szybko poruszające się obiekty, elastyczne uchwyty i elektroniczna stabilizacja mogą łączyć rozmycie z pochyleniem obrazu w sposób nieobecny w zbiorze testowym, przez co model może wydawać się zawodny tylko przy określonych kierunkach ruchu.

-15% OFF

ZimaBoard 2 – Mini serwer domowy dla Twojego wielkiego pomysłu

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Przeprowadź test kamery z ruchem w różnych kierunkach

Nagraj znany obiekt poruszający się poziomo, pionowo i po skosie z kilkoma prędkościami, w jasnym i słabym oświetleniu, a następnie powtórz test przy kontrolowanych drganiach kamery. Zachowaj klatki natywne i, jeśli to możliwe, zmierz metadane dotyczące odczytu zamiast oceniać wyłącznie transkodowany obraz z NVR.

Porównaj czułość detekcji, kształt ramek, ciągłość śledzenia i położenie krawędzi z wykorzystaniem procedury trwałych identyfikatorów opublikowanej w artykule o trwałym śledzeniu. Oddziel pochylenie obrazu wynikające z rolling shutter od rozmycia ruchu, zmieniając oświetlenie lub czas migawki przy zachowaniu stałego ruchu i położenia kamery.

Uznaj rolling shutter za istotny tylko wtedy, gdy błąd rośnie zgodnie z przewidywanym ruchem i warunkami odczytu. Jeśli efekt zostanie potwierdzony, porównaj mocowanie, ekspozycję, tryb pracy matrycy, augmentację modelu i alternatywy z global shutterem, używając tej samej metryki na poziomie sceny.