Dlaczego twarze na nagraniach ze smart dzwonków do drzwi wyglądają inaczej po korekcji obiektywu?

Oblicza na obrazach z inteligentnego dzwonka do drzwi mogą wyglądać inaczej po korekcji, ponieważ usuwanie zniekształceń przemapowuje piksele szerokokątne na nową geometrię i siatkę próbkowania.

Osoba stojąca blisko krawędzi kadru dzwonka może przed korekcją wyglądać szerzej, a po niej węziej, mimo że nie zastosowano żadnego filtra twarzy. Oprogramowanie próbuje odwrócić projekcję obiektywu, a następnie ponownie próbuje obraz, dopasowując go do prostokąta. Pozycja, kalibracja i sposób kadrowania decydują o tym, jak naturalnie wygląda tak przemapowana twarz.

Usuwanie zniekształceń zmienia współrzędne, a nie tylko prostuje linie

Zniekształcenie beczkowe wypycha geometrię sceny na zewnątrz w sposób nieliniowy. Korekcja oblicza, z którego miejsca oryginalnego obrazu należy pobrać próbkę dla każdego piksela wyjściowego, prostując ściany i framugi drzwi, a jednocześnie przesuwając rysy twarzy. Twarz blisko środka optycznego zmienia się nieznacznie, natomiast ta znajdująca się przy rogu może zmienić się znacząco.

Techniczny przegląd zniekształceń obiektywu wyjaśnia, że krótkie ogniskowe często wyginają linie na zewnątrz. Ponieważ twarz jest częścią tej samej projekcji, korekcja kadru siłą rzeczy zmienia także jej pozorną szerokość i odstępy między rysami.

Skorygowana twarz nie jest automatycznie mniej zgodna z rzeczywistością. W wielu przypadkach jest geometrycznie bliższa obrazowi z otworkowego modelu kamery, ale widzowie mogą być przyzwyczajeni do surowego obrazu z dzwonka. Znajomość zniekształconej wersji może sprawiać, że prawidłowa korekcja wygląda jak modyfikacja.

Ponowne próbkowanie zmienia rozkład szczegółów twarzy

Korekcja rozciąga niektóre obszary i kompresuje inne, dlatego piksele wyjściowe są interpolowane na podstawie sąsiednich próbek z matrycy. Przy krawędzi oprogramowanie może tworzyć pośrednie wartości między rzadko rozmieszczonymi pikselami źródłowymi, zmiękczając oczy lub teksturę skóry. Kadrowanie usuwa następnie puste obramowania i może przesunąć lub powiększyć twarz.

Badania nad odpornością na odległość od kamery pokazują, że odległość od kamery i zniekształcenia powiększenia wpływają na przydatność obrazu twarzy jako wzorca. Korekcja i kadrowanie mogą więc zmienić informacje wykorzystywane do dopasowania, nawet gdy osoba się nie poruszyła.

Dzwonek może wykrywać twarz przed korekcją, ale wyświetlać obraz po korekcji, albo odwrotnie. Jeśli ramki i kadry pochodzą z różnych przestrzeni współrzędnych, twarz pokazana w alercie może różnić się od pikseli wykorzystanych do rozpoznania. To rozróżnienie w potoku przetwarzania ma większe znaczenie niż preferencje wizualne.

Kiedy korekcja obiektywu nie jest wyjaśnieniem

Korekcja nie wyjaśnia zmiany twarzy między sąsiednimi klatkami, jeśli osoba pozostaje w tym samym miejscu, a odwzorowanie jest stałe. Automatyczna ekspozycja, łączenie HDR, migawka krocząca, zmiany przepływności lub przełączanie między głównym a pomocniczym strumieniem mogą niezależnie zmieniać wygląd. Niektóre aplikacje dodatkowo poprawiają migawki alertów osobno od obrazu na żywo.

Systematyczne badanie rozdzielczości obrazu twarzy wykazało, że skuteczność rozpoznawania może pogarszać się poniżej określonych progów rozdzielczości. Profil korekcji nie odtworzy szczegółów twarzy, których matryca nigdy nie zarejestrowała, a powiększenie skorygowanego kadru może jedynie powiększyć interpolację.

Mechanizm obiektywu również nie jest właściwym wyjaśnieniem, jeśli twarze w centrum zmieniają się równie mocno jak twarze przy krawędzi, co sugeruje globalną zmianę rozmiaru lub przetwarzania obrazu. Wyjaśnienie to jest nieprawidłowe także wtedy, gdy obrazy surowe i skorygowane pochodzą z różnych chwil. Przed przypisaniem zmian tożsamości geometrii porównaj zsynchronizowane klatki.

Featured

ZimaCube 2 Osobisty domowy NAS w chmurze

ZimaCube2

$799.00 - $2,499.00

Buy Now

Porównuj surowe i skorygowane twarze przy stałych pozycjach

Nagrywaj osobę przemieszczającą się przez pozycję centralną, środkową i przy krawędzi kadru, a następnie zachowaj zsynchronizowane klatki surowe i skorygowane. Nałóż punkty kalibracyjne i porównaj odległość między oczami, wymiary ramki twarzy, ostrość oraz granice kadru. Podczas próby utrzymuj stałe ustawienia HDR, ekspozycję, strumień i wersję aplikacji.

Ścieżka przetwarzania lokalnego w pierwszej kolejności może utrzymywać korekcję i rozpoznawanie blisko zapisanego materiału, ograniczając niejasności dotyczące tego, która zdalna usługa utworzyła kadr alertu. Zachowaj oba odwzorowania współrzędnych wraz z rekordem zdarzenia.

Uznaj korekcję obiektywu za przyczynową, gdy zmiany geometrii nasilają się w kierunku krawędzi i powtarzają się w tych samych pozycjach. Podejrzewaj kalibrację, gdy proste linie nadal pozostają zakrzywione lub twarze stają się asymetryczne. Podejrzewaj inną ścieżkę przetwarzania, gdy zmiany są równomierne, zależne od czasu lub pojawiają się wyłącznie na migawkach generowanych przez aplikację.