객체 추적은 홈 NVR에서 반복적인 추론을 어떻게 줄일까요?

객체 추적은 프레임 간 대상의 동일성을 유지하여 NVR의 반복적인 추론을 줄입니다. 이후 관측에서는 동일한 대상을 새로운 대상으로 처리하는 대신 기존 상태를 재사용할 수 있기 때문입니다.

가정용 NVR은 여전히 사람, 차량 또는 동물을 발견하려면 객체 감지가 필요하지만, 이후의 모든 판단을 매 영상 프레임마다 처음부터 다시 시작할 필요는 없습니다. 추적기가 감지 결과를 지속적으로 유지되는 대상과 연결하면, 파이프라인은 위치, 동일성, 경과 시간, 캐시된 속성을 다음 프레임으로 전달하고, 비용이 큰 감지기 실행 간격을 늘리며, 대상의 상태가 유의미하게 변할 때만 보조 모델을 다시 실행할 수 있습니다. 따라서 절약되는 연산량은 추적이 시각 추론을 마법처럼 대체해서가 아니라 상태를 재사용하기 때문에 발생합니다.

지속적인 추적이 설정되면 감지 결과를 더 저렴하게 재사용할 수 있습니다

객체 감지는 분석된 한 프레임에서 상자와 클래스를 생성하는 반면, 추적은 새로운 관측이 이미 알고 있는 대상에 속하는지 판단하여 연속성을 추가합니다. 이 연결 과정은 시각적으로 유사한 상자들의 흐름을 상태를 가진 객체로 바꾸어, 각 프레임에서 독립적으로 다시 생성하는 대신 시간에 따라 위치와 동일성을 업데이트할 수 있게 합니다.

다중 객체 추적기는 지속적인 추적 ID를 유지하여 이후 파이프라인 단계에서 동일한 사람이나 차량을 식별할 안정적인 키를 제공합니다. 유용한 출력은 단순한 또 하나의 사각형이 아니라, 여러 관측에 걸쳐 유지되며 이력을 전달할 수 있는 대상 기록입니다.

이것이 첫 번째 연산상의 이점입니다. 이후 규칙은 더 이상 모든 상자가 완전히 새로운 객체인지 매번 확인할 필요가 없습니다. 영역 체류 시간, 이동 방향, 이벤트 중복 제거, 다운스트림 속성 모델은 대상이 화면 밖으로 나가거나 추적이 끊기거나 다른 대상으로 재할당될 때까지 하나의 추적 기록을 참조할 수 있습니다.

안정적인 추적 ID를 사용하면 보조 모델이 이전 분류 결과를 재사용할 수 있습니다

반복되는 비용의 상당 부분은 추적기 자체가 아니라, 이미 감지된 동일한 객체를 매 프레임마다 다시 분류하는 보조 모델에서 발생하는 경우가 많습니다. 추적 ID가 안정적으로 유지되면 파이프라인은 이전 속성 결과를 해당 대상에 연결하고, 대상의 외관이나 크기가 다시 추론할 만큼 크게 변했을 때만 결과를 갱신할 수 있습니다.

DeepStream은 객체 ID별로 보조 분류를 캐시하고, 객체가 처음 나타나거나 바운딩 박스 영역이 크게 증가할 때 다시 추론하는 방식으로 이 패턴을 구현합니다. 가정용 NVR도 차량 유형, 의류 카테고리, 소포 존재 여부 또는 그 밖의 객체별 고비용 분류기 같은 속성에 동일한 구조를 적용할 수 있습니다.

캐시는 대상의 동일성을 신뢰할 수 있고 재사용하는 속성이 계속 유지될 것으로 예상되는 동안에만 유효합니다. 색상 분류기는 많은 프레임에서 재사용해도 문제가 적을 수 있지만, 자세, 얼굴 방향 또는 들고 있는 물건의 상태는 빠르게 바뀔 수 있으므로 주기적이거나 이벤트 기반인 갱신이 여전히 필요할 수 있습니다.

속성 재사용은 캐시된 속성이 객체의 위치보다 느리게 변할 때 가장 효과적입니다. 따라서 추적 파이프라인은 상자 위치를 매 프레임 업데이트하면서도 차량 유형 라벨은 여러 프레임 동안 재사용할 수 있습니다. 즉, 모든 출력을 같은 속도로 갱신하는 대신 빠르게 변하는 기하학적 상태와 느리게 변하는 의미적 상태를 분리하는 것입니다.

기본 감지기를 건너뛴 프레임 사이를 추적이 연결할 수 있습니다

대상이 한 번 설정되면 일부 추적기는 기본 감지기가 실행되지 않는 프레임에서도 위치를 전달한 다음, 다음 감지가 이루어질 때 예측된 상태를 실제 감지 결과와 다시 조정할 수 있습니다. 이를 통해 NVR은 감지기 실행 빈도를 낮추면서도 이미 추적 중인 객체가 건너뛴 모든 프레임에서 완전히 보이지 않게 되는 상황을 피할 수 있습니다.

DeepStream은 감지 사이의 객체를 추적하면서 감지기 프레임 건너뛰기를 명시적으로 지원합니다. 또한 최신 추적기 지침에서는 더 강력한 추적을 사용하면 정확도 손실을 줄이면서 감지 간격을 늘릴 수 있다고 설명합니다. 기본 감지기가 추적기보다 훨씬 많은 연산을 필요로 할수록 이득은 커집니다.

하지만 추적이 감지기의 모든 역할을 대신할 수는 없습니다. 새로운 객체 발견, 추적 오차 수정, 가림 이후 복구, 모호한 추적의 종료 또는 재초기화는 여전히 감지기의 역할입니다. 프레임 간 감지 결과 연결을 이용하는 방법은 감지 결과를 증거로 삼으므로, 간격을 지나치게 늘리면 결국 연산 절감과 새로운 진입 대상 누락 및 보정 능력 저하를 맞바꾸게 됩니다.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

실제 절감량은 감지기 비용, 장면의 움직임, 추적 안정성에 따라 달라집니다

추적은 자체적으로 상태 업데이트, 움직임 추정, 특징 비교, 연결 작업을 추가하므로, 핵심 질문은 추가된 비용이 파이프라인이 피할 수 있게 된 추론 비용보다 작은지 여부입니다. 부하가 적은 가속기에서 실행되는 작은 감지기보다, 무거운 감지기나 보조 분류기가 더 큰 절감 여지를 제공합니다.

또한 많은 객체가 들어오고 나가거나 서로 겹치고 외관이 빠르게 변하는 혼잡한 장면에서는 대상 생성과 재식별이 더 자주 발생하므로 추적을 통한 절감 효과가 작아집니다. 따라서 실제 NVR 튜닝에서는 카메라 감지율과 감지기 추론 속도를 별도의 측정값으로 유지해야 합니다. 그런 다음 하나의 간격이 모든 상황에서 효율적이라고 가정하지 말고, 동일하게 녹화된 클립에서 추적 지연 시간, 추론 간격, 활성 추적 수, 분류기 갱신 횟수, 이벤트 재현율을 비교해야 합니다.

이와 관련된 실패 사례는 ZimaSpace의 설명에서 다루듯, 짧은 이벤트가 유효한 추적이 형성되기 전에 사라질 수 있다는 점입니다. 추적은 유용한 상태가 생성된 이후에만 반복 작업을 줄이므로, 연산 효율성과 짧은 이벤트 재현율을 함께 측정해야 합니다.

실제 효율이 역전되는 지점은 추적기 FPS만으로 판단하기보다, 추적 대상 하나당 절약된 가속기 시간으로 측정할 수 있습니다. 추적기가 건너뛴 감지기 작업만큼의 장치 시간을 거의 소비하거나, 잦은 재식별로 분류기를 다시 실행해야 한다면, 겉으로는 추론 횟수가 줄어들어도 추가 카메라를 위한 실질적인 여유 연산량으로 이어지지 않을 수 있습니다.