Comment le suivi des objets réduit-il les inférences répétées dans un NVR domestique ?

Le suivi des objets réduit les inférences répétées du NVR en préservant l'identité des cibles d'une image à l'autre, afin que les observations ultérieures puissent réutiliser l'état existant au lieu de traiter la même cible comme une nouvelle.

Un NVR domestique a toujours besoin de la détection d'objets pour découvrir une personne, un véhicule ou un animal, mais toutes les décisions en aval ne doivent pas nécessairement repartir de zéro à chaque image vidéo. Une fois qu'un outil de suivi associe les détections à une cible persistante, le pipeline peut conserver la position, l'identité, l'ancienneté et les attributs mis en cache, espacer les passages coûteux du détecteur et réexécuter les modèles secondaires uniquement lorsque la cible change de manière significative. L'économie provient donc de la réutilisation de l'état, et non du fait que le suivi remplacerait comme par magie l'inférence visuelle.

Une détection devient moins coûteuse à réutiliser une fois qu'elle dispose d'une piste persistante

La détection d'objets produit une boîte et une classe pour une image analysée, tandis que le suivi ajoute une continuité en déterminant si une nouvelle observation correspond à une cible déjà connue. Cette association transforme un flux de boîtes visuellement similaires en un objet doté d'un état, dont la position et l'identité peuvent être mises à jour au fil du temps au lieu d'être recréées indépendamment à chaque image.

Un outil de suivi multi-objets peut conserver des identifiants de piste persistants, offrant aux étapes suivantes du pipeline une clé stable pour une même personne ou un même véhicule. Le résultat utile n'est pas simplement un autre rectangle : c'est une fiche de cible qui persiste d'une observation à l'autre et peut conserver un historique.

Il s'agit du premier avantage en matière de calcul, car les règles suivantes n'ont plus besoin de se demander si chaque boîte correspond à un objet entièrement nouveau. La durée de présence dans une zone, la direction, la déduplication des événements et les modèles d'attributs en aval peuvent faire référence à une seule fiche de piste jusqu'à ce que la cible sorte du champ, soit perdue ou réattribuée.

Des identifiants de piste stables permettent aux modèles secondaires de réutiliser une classification antérieure

Le coût répété le plus important ne vient souvent pas du suivi lui-même, mais d'un modèle secondaire qui classerait autrement le même objet déjà détecté à chaque image. Si un identifiant de piste reste stable, le pipeline peut associer un résultat d'attribut antérieur à cette cible et ne l'actualiser que lorsque l'apparence ou la taille de l'objet change suffisamment pour justifier une nouvelle inférence.

DeepStream met en œuvre ce modèle en mettant en cache la classification secondaire par identifiant d'objet et en relançant l'inférence lorsqu'un objet apparaît pour la première fois ou que la surface de sa boîte englobante augmente sensiblement. Un NVR domestique peut appliquer la même architecture à des attributs tels que le type de véhicule, la catégorie de vêtements, la présence d'un colis ou tout autre classificateur coûteux par objet.

Le cache reste valide uniquement tant que l'identité de la cible demeure fiable et que l'attribut réutilisé est censé rester stable. Un classificateur de couleurs peut tolérer de nombreuses images réutilisées, tandis que la pose, l'orientation du visage ou l'état d'un objet transporté peuvent changer assez rapidement pour nécessiter une actualisation périodique ou déclenchée par un événement.

La réutilisation des attributs est particulièrement efficace lorsque la propriété mise en cache change plus lentement que la position de l'objet. C'est pourquoi un pipeline de suivi peut réutiliser l'étiquette du type de véhicule pendant de nombreuses images tout en mettant à jour la boîte à chaque image, en séparant l'état géométrique rapide de l'état sémantique plus lent au lieu d'actualiser toutes les sorties au même rythme.

Le suivi peut relier les images où le détecteur principal est désactivé

Une fois qu'une cible établie, certains outils de suivi peuvent propager sa position à travers les images où le détecteur principal ne s'exécute pas, puis réconcilier l'état prédit lors de l'arrivée de la détection suivante. Le NVR peut ainsi réduire la fréquence du détecteur sans transformer chaque image ignorée en angle mort complet pour les objets déjà suivis.

DeepStream prend explicitement en charge le saut d'images du détecteur tout en assurant le suivi entre les détections, et ses recommandations actuelles indiquent qu'un suivi plus performant peut permettre d'augmenter l'intervalle entre les détections avec une perte de précision moindre. Le gain est plus important lorsque le détecteur principal est beaucoup plus coûteux que le suivi.

Le détecteur conserve toutefois des fonctions que le suivi ne peut pas assurer : découvrir un nouvel objet, corriger une dérive, récupérer après une occlusion et mettre fin aux pistes ambiguës ou les réinitialiser. Les méthodes d'association, comme le suivi par association des détections entre les images, dépendent des détections comme éléments probants. Augmenter excessivement l'intervalle finit donc par échanger les économies de calcul contre des entrées manquées et des corrections moins efficaces.

Featured

ZimaCube 2 NAS personnel Cloud à domicile

ZimaCube2

$799.00 - $2,499.00

Buy Now

L'économie nette dépend du coût du détecteur, des mouvements de la scène et de la stabilité des pistes

Le suivi ajoute ses propres mises à jour d'état, estimations de mouvement, comparaisons de caractéristiques et opérations d'association. La bonne question est donc de savoir si ce coût supplémentaire est inférieur à celui de l'inférence que le pipeline peut éviter. Un détecteur ou un classificateur secondaire lourd offre davantage de possibilités d'économie qu'un petit détecteur exécuté sur un accélérateur peu sollicité.

Un outil de suivi permet également moins d'économies dans les scènes très encombrées, où de nombreux objets entrent, sortent, se chevauchent ou changent rapidement d'apparence, car la création des cibles et la réidentification surviennent plus souvent. Le réglage pratique d'un NVR conserve donc le taux de détection de la caméra et la vitesse d'inférence du détecteur comme deux mesures distinctes, puis compare la latence du suivi, l'intervalle d'inférence, le nombre de pistes actives, les actualisations du classificateur et le rappel des événements sur les mêmes séquences enregistrées, au lieu de supposer qu'un seul intervalle est toujours optimal.

Le mode d'échec connexe est abordé dans l'explication de ZimaSpace selon laquelle de brefs événements peuvent disparaître avant qu'une piste valide ne soit créée. Le suivi ne réduit le travail répété qu'une fois qu'un état utile existe, raison pour laquelle l'efficacité de calcul et le rappel des événements courts doivent être mesurés ensemble.

Le point d'équilibre pratique peut être mesuré en temps d'accélérateur économisé par objet suivi, plutôt qu'en se basant uniquement sur les FPS du suivi. Si le suivi consomme presque autant de temps machine que le travail du détecteur qu'il permet d'éviter, ou si les réidentifications fréquentes obligent les classificateurs à s'exécuter de nouveau, la réduction apparente du nombre d'inférences peut ne pas fournir une capacité utile pour ajouter d'autres caméras.