Como é que o seguimento de objetos reduz a inferência repetida num NVR doméstico?

O rastreio de objetos reduz a inferência repetida do NVR ao preservar a identidade do alvo entre fotogramas, permitindo que as observações seguintes reutilizem o estado em vez de tratarem o mesmo alvo como novo.

Um NVR doméstico continua a precisar de deteção de objetos para descobrir uma pessoa, um veículo ou um animal, mas não precisa de reiniciar todas as decisões subsequentes a partir do zero em cada fotograma de vídeo. Quando um rastreador associa deteções a um alvo persistente, o pipeline pode transportar a posição, a identidade, a idade e os atributos em cache, espaçar as execuções dispendiosas do detetor e voltar a executar modelos secundários apenas quando o alvo muda de forma significativa. A poupança resulta, portanto, da reutilização do estado, não de o rastreio substituir magicamente a inferência visual.

Uma deteção torna-se mais barata de reutilizar quando tem um rastreio persistente

A deteção de objetos produz uma caixa e uma classe para um fotograma analisado, enquanto o rastreio acrescenta continuidade ao determinar se uma nova observação pertence a um alvo já conhecido. Essa associação transforma uma sequência de caixas visualmente semelhantes num objeto com estado, cuja posição e identidade podem ser atualizadas ao longo do tempo, em vez de serem recriadas independentemente em cada fotograma.

Um rastreador de múltiplos objetos pode manter IDs de rastreio persistentes, fornecendo às fases seguintes do pipeline uma chave estável para a mesma pessoa ou veículo. O resultado útil não é apenas outro retângulo; é um registo do alvo que sobrevive entre observações e pode transportar histórico.

Esta é a primeira vantagem computacional, porque as regras subsequentes já não precisam de perguntar se cada caixa corresponde a um objeto completamente novo. O tempo de permanência numa zona, a direção, a eliminação de eventos duplicados e os modelos de atributos subsequentes podem referenciar um único registo de rastreio até o alvo sair, ser perdido ou ser reatribuído.

IDs de rastreio estáveis permitem aos modelos secundários reutilizar classificações anteriores

O maior custo repetido muitas vezes não é o próprio rastreador, mas um modelo secundário que, de outro modo, classificaria o mesmo objeto já detetado em todos os fotogramas. Se um ID de rastreio permanecer estável, o pipeline pode associar um resultado de atributo anterior a esse alvo e atualizá-lo apenas quando o aspeto ou o tamanho do objeto mudarem o suficiente para justificar outra inferência.

O DeepStream implementa este padrão ao colocar em cache a classificação secundária por ID do objeto e ao voltar a inferir quando um objeto aparece pela primeira vez ou quando a área da sua caixa delimitadora aumenta substancialmente. Um NVR doméstico pode aplicar a mesma arquitetura a atributos como o tipo de veículo, a categoria de vestuário, a presença de uma encomenda ou outro classificador dispendioso por objeto.

A cache só permanece válida enquanto a identidade do alvo continuar a ser fiável e for esperado que o atributo reutilizado permaneça estável. Um classificador de cor pode tolerar muitos fotogramas reutilizados, enquanto a postura, a orientação do rosto ou o estado de um objeto transportado podem mudar suficientemente depressa para que seja necessária uma atualização periódica ou orientada por eventos.

A reutilização de atributos é mais eficaz quando a propriedade em cache muda mais lentamente do que a posição do objeto. É por isso que um pipeline de rastreio pode reutilizar a identificação do tipo de veículo durante muitos fotogramas, continuando a atualizar a caixa em cada fotograma, separando o estado geométrico rápido do estado semântico mais lento em vez de atualizar todos os resultados ao mesmo ritmo.

O rastreio pode fazer a ponte entre fotogramas em que o detetor principal é ignorado

Depois de um alvo ser estabelecido, alguns rastreadores conseguem propagar a sua localização através de fotogramas em que o detetor principal não é executado e, em seguida, reconciliar o estado previsto quando chega a deteção seguinte. Isto permite ao NVR reduzir a frequência do detetor sem transformar todos os fotogramas ignorados num ponto cego completo para objetos que já estão a ser rastreados.

O DeepStream suporta explicitamente a eliminação de fotogramas do detetor enquanto faz o rastreio entre deteções, e as suas orientações atuais sobre rastreadores indicam que um rastreio mais robusto pode permitir um intervalo de deteção maior com menor perda de precisão. O ganho é maior quando o detetor principal é muito mais dispendioso do que o rastreador.

O detetor continua a desempenhar funções que o rastreio não pode assumir: descobrir um novo objeto, corrigir desvios, recuperar após uma oclusão e terminar ou reinicializar rastreios ambíguos. Os métodos de associação, como o rastreio através da associação de deteções entre fotogramas, dependem das deteções como evidência; por isso, aumentar demasiado o intervalo acaba por trocar a poupança computacional por entradas não detetadas e correções menos eficazes.

Featured

ZimaCube 2 NAS Pessoal Cloud para Casa

ZimaCube2

$799.00 - $2,499.00

Buy Now

A poupança líquida depende do custo do detetor, do movimento da cena e da estabilidade do rastreio

O rastreio acrescenta as suas próprias atualizações de estado, estimativas de movimento, comparações de características e operações de associação; por isso, a pergunta certa é saber se esse custo adicional é inferior à inferência que permite ao pipeline evitar. Um detetor ou classificador secundário pesado oferece mais margem para poupanças do que um detetor pequeno a funcionar num acelerador pouco utilizado.

Um rastreador também poupa menos em cenas congestionadas, onde muitos objetos entram, saem, se sobrepõem ou mudam rapidamente de aspeto, porque a criação de alvos e a reidentificação ocorrem com maior frequência. O ajuste prático de um NVR mantém, por isso, a taxa de deteção da câmara e a velocidade de inferência do detetor como medições separadas, comparando depois a latência do rastreador, o intervalo de inferência, o número de rastreios ativos, as atualizações do classificador e a recuperação de eventos nos mesmos clips gravados, em vez de presumir que um único intervalo é universalmente eficiente.

O modo de falha adjacente é abordado pela explicação da ZimaSpace de que eventos breves podem desaparecer antes de se formar um rastreio válido. O rastreio reduz o trabalho repetido apenas depois de existir um estado útil, razão pela qual a eficiência computacional e a recuperação de eventos breves têm de ser medidas em conjunto.

O ponto de equilíbrio prático pode ser medido como tempo do acelerador poupado por objeto rastreado, em vez de se considerar apenas o FPS do rastreador. Se o rastreador consumir quase tanto tempo do dispositivo como o trabalho do detetor que foi ignorado, ou se a reidentificação frequente obrigar os classificadores a ser executados novamente, a aparente redução no número de inferências pode não se traduzir numa margem útil para adicionar mais câmaras.