Dlaczego śledzenie obiektów wydaje się mniej stabilne w przypadku kamer szerokokątnych?
Śledzenie szerokokątne często wydaje się niestabilne, ponieważ zniekształcona geometria przy krawędziach i niewielkie obiekty sprawiają, że pozycja oraz wygląd między kolejnymi klatkami są mniej spójne.
Osoba przechodząca przez szeroki podjazd może poruszać się płynnie w rzeczywistości, ale przy krawędzi obrazu przyspieszać, rozciągać się, a następnie zmniejszać w kierunku środka. Lokalny rejestrator NVR śledzi obiekty na podstawie współrzędnych pikseli, a nie przestrzeni fizycznej. Gdy geometria i szczegóły obiektu zmieniają się jednocześnie, etap przypisywania ma mniej stabilnych danych.
Szerokokątne obiektywy zamieniają stały ruch w nieliniowy ruch na obrazie
Szerokie pole widzenia odwzorowuje większy kąt sceny na tej samej szerokości matrycy. Przy krawędzi dystorsja radialna zakrzywia linie i zmienia pozorny kształt obiektu; perspektywa sprawia również, że znajdujące się blisko obiekty szybko rosną. Moduł śledzący, który zakłada podobne przemieszczenie i wygląd między klatkami, może nie doszacować tych zmian.
Omówienie techniczne dystorsji szerokokątnej pokazuje, jak wykorzystać geometrię linii prostych do oszacowania i skorygowania dystorsji szerokokątnej. Potrzeba takiej korekcji wyjaśnia, dlaczego surowe współrzędne przy krawędziach nie zachowują się jak w prostym modelu otworkowym.
Ślad może przeskoczyć na pobliskie wykrycie, pozostawać w tyle za obiektem lub otrzymać nową tożsamość przy krawędzi. Zwiększenie czułości detektora nie musi poprawić geometrii przypisywania. Większa liczba wykryć może nawet dostarczyć modułowi śledzącemu więcej kandydatów, które łatwiej pomylić.
Obiekty przy krawędzi mają mniej użytecznych pikseli
Szeroki kadr sprawia, że każda odległa osoba lub pojazd zajmuje mniej pikseli. Przy krawędzi rozmycie, cieniowanie i ponowne próbkowanie po korekcji obiektywu mogą dodatkowo ograniczać charakterystyczną teksturę. Detektor może nadal znaleźć ramkę, ale modułowi śledzącemu brakuje stabilnych cech wyglądu potrzebnych do połączenia tej ramki z poprzednią klatką.
Projekt TartanCalib informuje, że dokładna kalibracja szerokokątna poprawia wykrywanie cech i dalsze zadania geometryczne. Wyniki pokazują, że jakość kalibracji wpływa na dostępność użytecznych cech w pobliżu skrajnych obszarów obrazu.
Powstaje charakterystyczny wzorzec: stabilna tożsamość w pobliżu środka, większe drgania lub fragmentacja w zewnętrznej ćwiartce oraz odzyskanie stabilności po powrocie obiektu do środka. Jeśli niestabilność występuje równomiernie w całym kadrze, bardziej prawdopodobną przyczyną niż sama geometria obiektywu są rozdzielczość, czas migawki lub ustawienia modułu śledzącego.
Kiedy szeroki kąt nie jest przyczyną problemu
Szerokokątny obiektyw może zapewniać dobre śledzenie, gdy model został wytrenowany dla widoków typu rybie oko, obraz jest prawidłowo pozbawiony dystorsji, a obiekty pozostają wystarczająco duże. Z kolei zwykły obiektyw może działać słabo przy rozmyciu ruchu, zasłonięciach, niskiej liczbie klatek lub zatłoczonych scenach. Pole widzenia jest czynnikiem ryzyka, a nie ostatecznym werdyktem.
Przegląd optyki wyjaśnia, jak dystorsja obiektywu szerokokątnego zmienia linie proste i kształt przy krawędziach. Rozróżnia również dystorsję optyczną od perspektywy, której nie można usunąć po prostu przez zastosowanie profilu dystorsji beczkowej.
Mechanizm ten zawodzi, gdy przerwania śledzenia pokrywają się z zasłonięciami lub utraconymi klatkami, a nie z położeniem przy krawędzi. Zawodzi także wtedy, gdy NVR wykrywa obiekty już na skorygowanym strumieniu, ale nakłada ramki na surowy strumień; wówczas pozorny skok może wynikać z niezgodności transformacji współrzędnych, a nie z rzeczywistej awarii śledzenia.
Mapowanie stabilności śledzenia w całym polu widzenia kamery
Wykreśl współrzędne środków śladów dla tej samej trasy przejścia przez lewą krawędź, środek i prawą krawędź. W miarę możliwości utrzymuj stałą liczbę klatek, czas migawki, model i odległość obiektu. Porównaj wnioskowanie na surowym obrazie oraz na obrazie prawidłowo pozbawionym dystorsji, rejestrując jednocześnie rozmiar ramki, poziom pewności, zmiany tożsamości i utracone klatki.
Użyj dedykowanego mini komputera do lokalnej sztucznej inteligencji, aby zapewnić takie samo obciążenie obliczeniowe i źródło wideo w obu próbach. Zapobiega to sytuacji, w której równoczesne zadania multimedialne są błędnie uznawane za efekt obiektywu z powodu pomijanych klatek wnioskowania.
Geometria szerokokątna jest przyczyną problemu, gdy obszary przy krawędziach wykazują większy ruch resztkowy lub więcej przerw w tożsamości po uwzględnieniu rozmiaru obiektu i utraconych klatek. Jeśli korekcja poprawia położenie nakładek, ale nie przypisywanie obiektów, moduł śledzący potrzebuje obsługi ruchu lub wyglądu uwzględniającej dystorsję. Jeśli problemy pojawiają się wraz ze skokami obciążenia, należy zamiast tego zbadać częstotliwość wnioskowania.
Polecane produkty
Centrum Technologii i Sztucznej Inteligencji
Więcej do przeczytania
Jakie czynniki decydują o dokładności cytowań RAG w domowej bazie wiedzy?
Dowiedz się, dlaczego trafne źródło może nadal być błędnym cytowaniem, które etapy potoku kontrolują poparcie i zakres oraz jak audytować twierdzenia RAG dotyczące gospodarstw...
Jakie funkcje umożliwiają niezawodne generowanie danych JSON przez lokalny model LLM?
Sprawdź, które funkcje wymuszają składnię JSON, które chronią poprawność semantyczną oraz jak testować lokalny model w różnych schematach, promptach i przypadkach błędów.
Lokalne pochodzenie danych AI: dlaczego każda odpowiedź potrzebuje możliwej do prześledzenia ścieżki źródłowej
Dowiedz się, jak ścieżki źródłowe sprawiają, że lokalne odpowiedzi AI można poddać audytowi, dlaczego same cytowania są niepełne oraz jak testować pochodzenie danych po...
