O que é o rolling shutter e quando distorce a deteção da câmara doméstica?
O obturador progressivo capta as linhas do sensor em momentos diferentes, pelo que o movimento durante a leitura pode transformar um único fotograma numa medição geométrica temporalmente distorcida.
Uma pessoa a atravessar um alpendre tranquilo pode parecer normal, enquanto uma bicicleta rápida, um suporte a vibrar ou uma panorâmica rápida podem inclinar, esticar ou deformar uma imagem num único fotograma. Um detetor vê a geometria distorcida dos píxeis, em vez do objeto num instante específico. O efeito depende do tempo de leitura das linhas, da exposição, da direção do movimento, da objetiva, da iluminação e da distribuição dos dados de treino do modelo.
Um fotograma contém uma sequência de tempos de exposição
Muitos sensores CMOS expõem ou leem as linhas sequencialmente, em vez de captarem toda a imagem em simultâneo. A parte superior e a parte inferior do fotograma apresentado representam, por isso, momentos diferentes, sendo a distorção total determinada pela leitura do sensor e não apenas pela frequência nominal de fotogramas.
Uma análise abrangente de modelos de obturador progressivo revê os modelos de movimento e os métodos de correção associados ao obturador progressivo. Descreve a distorção geométrica como consequência do movimento relativo da câmara ou da cena durante o processo de aquisição linha a linha. Esta distinção continua visível durante testes domésticos posteriores.
Um movimento lento e uma leitura curta podem tornar a diferença negligenciável. Um movimento lateral rápido, pás de ventoinha em rotação, vibração da câmara ou um veículo em movimento podem produzir uma inclinação evidente, mesmo quando a exposição é suficientemente curta para limitar o desfoque.
A distorção altera as caixas, as características e as trajetórias aparentes
Os detetores de objetos dependem de formas e texturas aprendidas a partir de imagens de treino. Uma deformação dependente da linha pode alterar as proporções ou dividir uma aresta em movimento por várias posições, enquanto os sistemas de seguimento podem interpretar o centróide deformado como uma alteração abrupta da velocidade. O desfoque de movimento pode ocorrer em simultâneo, mas é um efeito de exposição distinto.
A explicação da geometria da visão da Universidade de Linköping mostra como o obturador progressivo modifica a geometria clássica da câmara e afeta tarefas de visão computacional, como a reconstrução da estrutura a partir do movimento e a estabilização. O seguimento em câmaras domésticas apresenta a mesma discrepância de medição, embora em menor escala.
A correção da objetiva não remove automaticamente a distorção temporal, porque a distorção da objetiva é espacial e, na sua maioria, fixa, enquanto a distorção do obturador progressivo varia com o movimento. A aplicação de uma transformação geométrica comum pode até deslocar os píxeis já inclinados para um novo sistema de coordenadas.
A direção da leitura faz com que a orientação do movimento seja relevante
Um movimento paralelo à leitura das linhas pode comprimir ou expandir as formas, enquanto um movimento perpendicular pode produzir inclinação e deslocamento lateral. Um sensor com obturador global evita a distorção temporal dentro do fotograma, mas pode diferir em custo, sensibilidade, ruído ou resolução, pelo que não constitui uma melhoria incondicional.
Um trabalho da CVPR sobre geometria de leitura desenvolve modelos formais para câmaras com obturador progressivo e demonstra que a geometria de leitura condiciona a forma como os pontos da cena são observados. O resultado reforça o motivo pelo qual uma única correção da distorção não pode abranger todas as configurações de movimento e de sensor.
O limite da falha está na avaliação da deteção apenas com imagens diurnas estáticas. A exposição noturna, objetos rápidos, suportes flexíveis e a estabilização eletrónica podem combinar desfoque e inclinação de formas ausentes do conjunto de testes, fazendo com que um modelo pareça pouco fiável apenas sob determinadas direções de movimento.
Faça um teste da câmara com várias direções de movimento
Grave um alvo conhecido a mover-se na horizontal, na vertical e na diagonal, a várias velocidades e com luz intensa e reduzida, repetindo depois o teste com vibração controlada da câmara. Preserve os fotogramas nativos e meça os metadados de leitura, quando disponíveis, em vez de avaliar apenas uma transcodificação do NVR.
Compare a revocação da deteção, a forma das caixas, a continuidade do seguimento e a localização das arestas com o fluxo de trabalho de IDs persistentes em seguimento persistente. Separe a inclinação do obturador progressivo do desfoque de movimento variando a iluminação ou o tempo do obturador, mantendo controladas a deslocação e a posição da câmara.
Considere o obturador progressivo relevante apenas quando o erro aumenta de acordo com o movimento e as condições de leitura previstos. Se o efeito for confirmado, compare a montagem, a exposição, o modo do sensor, o aumento de dados do modelo e as alternativas com obturador global utilizando a mesma métrica ao nível da cena.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Um LLM local pode retomar a geração depois de o seu processo reiniciar?
Uma explicação da retoma da geração de LLM baseada primeiro no mecanismo, das suas concessões em termos de recursos partilhados, de três perguntas frequentes...
Pode um servidor doméstico executar embeddings e transcodificação de vídeo na mesma GPU integrada?
Uma explicação baseada primeiro no mecanismo dos embeddings partilhados da iGPU e da transcodificação, das suas cedências em termos de recursos partilhados, três perguntas...
Como é que o tempo de vida do token de acesso afeta a segurança e o atrito no agregado familiar?
Uma explicação baseada primeiro no mecanismo da duração dos tokens de acesso, os compromissos relativos aos recursos partilhados, três perguntas frequentes sobre a propagação...
