¿Cómo reduce el seguimiento de objetos las inferencias repetidas en un NVR doméstico?

El seguimiento de objetos reduce las inferencias repetidas del NVR al conservar la identidad del objetivo entre fotogramas, de modo que las observaciones posteriores pueden reutilizar el estado en lugar de tratar el mismo objetivo como uno nuevo.

Un NVR doméstico sigue necesitando detección de objetos para descubrir una persona, un vehículo o un animal, pero no es necesario que cada decisión posterior se reinicie desde cero en cada fotograma de vídeo. Una vez que un rastreador asocia las detecciones con un objetivo persistente, el sistema puede conservar la posición, la identidad, la antigüedad y los atributos almacenados, espaciar las pasadas costosas del detector y volver a ejecutar los modelos secundarios solo cuando el objetivo cambie de forma significativa. Por tanto, el ahorro proviene de reutilizar el estado, no de que el seguimiento sustituya mágicamente a la inferencia visual.

Una detección es más barata de reutilizar cuando tiene un seguimiento persistente

La detección de objetos produce un recuadro y una clase para un fotograma analizado, mientras que el seguimiento añade continuidad al decidir si una nueva observación pertenece a un objetivo ya conocido. Esa asociación convierte un flujo de recuadros visualmente similares en un objeto con estado, cuya posición y cuya identidad pueden actualizarse con el tiempo en lugar de recrearse de forma independiente en cada fotograma.

Un rastreador multiobjeto puede mantener identificadores de seguimiento persistentes, lo que proporciona a las etapas posteriores del sistema una clave estable para la misma persona o vehículo. El resultado útil no es simplemente otro rectángulo, sino un registro del objetivo que perdura entre observaciones y puede conservar un historial.

Esta es la primera ventaja de cómputo, porque las reglas posteriores ya no tienen que preguntarse si cada recuadro corresponde a un objeto completamente nuevo. El tiempo de permanencia en una zona, la dirección, la deduplicación de eventos y los modelos de atributos posteriores pueden consultar un único registro de seguimiento hasta que el objetivo salga, se pierda o se reasigne.

Los identificadores de seguimiento estables permiten reutilizar clasificaciones anteriores de los modelos secundarios

El mayor coste repetido a menudo no lo genera el propio rastreador, sino un modelo secundario que, de otro modo, clasificaría el mismo objeto ya detectado en cada fotograma. Si el identificador de seguimiento permanece estable, el sistema puede asociar el resultado anterior de un atributo con ese objetivo y actualizarlo solo cuando su apariencia o su tamaño cambien lo suficiente como para justificar otra inferencia.

DeepStream implementa este patrón almacenando en caché la clasificación secundaria por identificador de objeto y volviendo a inferir cuando un objeto aparece por primera vez o cuando el área de su recuadro delimitador aumenta considerablemente. Un NVR doméstico puede aplicar la misma arquitectura a atributos como el tipo de vehículo, la categoría de ropa, la presencia de un paquete u otro clasificador costoso por objeto.

La caché solo sigue siendo válida mientras la identidad del objetivo sea fiable y se espere que el atributo reutilizado permanezca estable. Un clasificador de color puede tolerar muchos fotogramas reutilizados, mientras que la pose, la orientación del rostro o el estado de un objeto transportado pueden cambiar con suficiente rapidez como para requerir una actualización periódica o activada por eventos.

La reutilización de atributos es más eficaz cuando la propiedad almacenada cambia más lentamente que la posición del objeto. Por eso un sistema de seguimiento puede reutilizar la etiqueta del tipo de vehículo durante muchos fotogramas y, al mismo tiempo, actualizar el recuadro en cada fotograma, separando el estado geométrico rápido del estado semántico más lento en lugar de actualizar todas las salidas al mismo ritmo.

El seguimiento puede conectar fotogramas en los que se omite el detector principal

Una vez establecido un objetivo, algunos rastreadores pueden propagar su ubicación entre los fotogramas en los que no se ejecuta el detector principal y reconciliar después el estado previsto cuando llega la siguiente detección. Esto permite que el NVR reduzca la frecuencia del detector sin convertir cada fotograma omitido en un punto ciego total para los objetos que ya se están siguiendo.

DeepStream admite explícitamente omitir fotogramas del detector mientras se realiza el seguimiento entre detecciones, y sus indicaciones actuales sobre rastreadores señalan que un seguimiento más robusto puede permitir un intervalo de detección mayor con una menor pérdida de precisión. La ventaja aumenta cuando el detector principal es mucho más costoso que el rastreador.

El detector sigue teniendo funciones que el seguimiento no puede asumir: descubrir un objeto nuevo, corregir la deriva, recuperarse tras una oclusión y finalizar o reinicializar seguimientos ambiguos. Los métodos de asociación, como el seguimiento mediante la asociación de detecciones entre fotogramas, dependen de las detecciones como evidencia, por lo que aumentar demasiado el intervalo acaba intercambiando el ahorro de cómputo por entradas no detectadas y correcciones menos precisas.

Featured

ZimaCube 2 NAS personal en la nube para el hogar

ZimaCube2

$799.00 - $2,499.00

Buy Now

El ahorro neto depende del coste del detector, del movimiento de la escena y de la estabilidad del seguimiento

El seguimiento añade sus propias actualizaciones de estado, estimación de movimiento, comparación de características y tareas de asociación, por lo que la pregunta adecuada es si ese coste adicional es menor que la inferencia que permite evitar al sistema. Un detector o clasificador secundario pesado ofrece más margen de ahorro que un detector pequeño ejecutándose en un acelerador con poca carga.

Un rastreador también ahorra menos en escenas abarrotadas, donde muchos objetos entran, salen, se solapan o cambian rápidamente de apariencia, porque la creación de objetivos y la reidentificación ocurren con mayor frecuencia. Por eso, al ajustar un NVR, conviene mantener separadas la tasa de detección de la cámara y la velocidad de inferencia del detector, y comparar la latencia del rastreador, el intervalo de inferencia, el número de seguimientos activos, las actualizaciones del clasificador y la recuperación de eventos en las mismas grabaciones, en lugar de asumir que un único intervalo es eficiente en todos los casos.

El modo de fallo relacionado está cubierto por la explicación de ZimaSpace de que los eventos breves pueden desaparecer antes de que se establezca un seguimiento válido. El seguimiento solo reduce el trabajo repetido después de que exista un estado útil, por lo que la eficiencia de cómputo y la recuperación de eventos breves deben medirse conjuntamente.

El punto de equilibrio práctico puede medirse como tiempo de acelerador ahorrado por objeto seguido, en lugar de basarse únicamente en los FPS del rastreador. Si el rastreador consume casi tanto tiempo del dispositivo como el trabajo del detector omitido, o si las reidentificaciones frecuentes obligan a ejecutar de nuevo los clasificadores, la aparente reducción en el número de inferencias puede no traducirse en margen útil para añadir más cámaras.