O que leva os modelos locais de imagem a classificarem incorretamente fotografias domésticas com pouca luz?
Os modelos locais de imagens classificam incorretamente fotografias domésticas com pouca luz porque a iluminação fraca altera o sinal, o ruído, a cor e a distribuição das características que o modelo recebe.
Um classificador de fotografias autoalojado pode funcionar bem com fotografias de família tiradas durante o dia, mas confundir as mesmas pessoas, animais de estimação, divisões ou objetos em imagens captadas à noite. A falha resulta geralmente de uma combinação entre uma captura limitada pelo número de fotões e uma mudança de domínio, com o processamento e o melhoramento da câmara a acrescentarem ainda mais variação. Executar o modelo localmente protege o percurso dos dados, mas não torna o modelo invariável à escuridão.
A pouca luz reduz o sinal antes de o modelo ver a fotografia
Uma fotografia escura não é simplesmente uma fotografia clara com valores de píxeis mais baixos. Um menor número de fotões captados reduz a relação sinal-ruído, enquanto o ruído de leitura do sensor, o ruído de disparo, os erros de cor e a compressão passam a representar uma parcela maior da imagem visível.
A investigação da Scientific Reports sobre a deteção de objetos em condições de pouca luz mostra por que motivo a degradação da iluminação e o ruído devem ser tratados como um problema de perceção, e não apenas de visualização. Pequenos detalhes domésticos, como o rosto de um animal de estimação, o rótulo de uma encomenda ou uma pessoa no fundo de um corredor, podem desaparecer antes de a classificação começar.
Um modelo local de imagens não consegue recuperar características que nunca foram captadas com clareza. Mais capacidade de computação pode melhorar a redução de ruído ou o melhoramento da imagem, mas a evidência de entrada já foi alterada.
As características treinadas durante o dia não passam automaticamente para cenas noturnas
Muitos classificadores e codificadores visuais aprendem a partir de imagens dominadas pela luz do dia, iluminação interior, contraste nítido e processamento de câmara comum. As fotografias noturnas alteram simultaneamente o brilho, a temperatura da cor, a estrutura das sombras, o ruído e, muitas vezes, a desfocagem.
O trabalho da CVPR sobre adaptação do dia para a noite trata a deteção noturna como um problema de adaptação de domínio, e não apenas como um ajuste de contraste. As características que distinguiam os objetos durante o dia podem mudar no espaço de representação quando a iluminação se altera.
É por isso que um modelo pode identificar corretamente a mesma cadeira, gato ou porta ao meio-dia e confundi-los à meia-noite, apesar de os pesos e o conjunto de etiquetas permanecerem inalterados.
O ruído e a desfocagem destroem primeiro as pequenas características distintivas
As câmaras em condições de pouca luz aumentam frequentemente o ganho ISO ou o tempo de exposição. Um ganho mais elevado amplifica o ruído, enquanto uma exposição mais longa torna mais provável a desfocagem causada pelo movimento da câmara, de animais de estimação ou de pessoas. Os processos dos telemóveis podem depois aplicar uma redução de ruído agressiva que suaviza a textura.
A investigação da IEEE sobre visão em condições de pouca luz centra-se num melhoramento que apoia a deteção de objetos a jusante, e não apenas na aparência visual. Esta distinção é importante porque uma fotografia pode parecer mais nítida a uma pessoa e, ainda assim, perder os contornos ou as texturas utilizados pelo classificador.
As classes pequenas são particularmente vulneráveis. Um comando escuro pode fundir-se com um sofá, um gato preto pode perder os detalhes da silhueta e um rótulo pode tornar-se ilegível mesmo depois de a imagem ser iluminada.
O processamento da câmara pode criar uma segunda mudança de domínio
As bibliotecas de fotografias domésticas combinam telemóveis, câmaras de segurança, webcams, câmaras digitais antigas, capturas de ecrã e exportações editadas. Cada dispositivo aplica a sua própria redução de ruído, nitidez, fusão HDR, mapeamento de tons e processamento de cor antes de o modelo receber o ficheiro final.
A investigação sobre adaptação RAW em condições de pouca luz mostra que o comportamento do melhoramento pode variar entre diferentes domínios de câmaras. Assim, um modelo ajustado ao processamento noturno de um dispositivo pode encontrar uma textura de ruído e uma resposta de cor diferentes noutro.
Se os erros se concentrarem numa câmara específica, em vez de ocorrerem em todas as fotografias escuras, o problema não é simplesmente a intensidade da iluminação. O processamento específico do dispositivo faz parte da distribuição de entrada.
Iluminar a imagem pode ajudar as pessoas, mas prejudicar o modelo
Um modelo de melhoramento pode tornar as sombras visíveis ao alterar o contraste local, a cor, a textura e o ruído. Essas alterações podem melhorar a visibilidade subjetiva sem restaurar as mesmas características que teriam existido com uma iluminação melhor.
Um estudo empírico concluiu que o melhoramento de imagens com pouca luz tem efeitos inconsistentes na classificação e na deteção. Alguns processos de melhoramento melhoram a perceção automática, enquanto outros podem introduzir artefactos ou eliminar pistas úteis.
Num fluxo de trabalho doméstico de fotografias com IA, o melhoramento deve ser validado com o modelo real utilizado a jusante. Uma pré-visualização mais bonita não prova que a precisão da etiquetagem melhorou.
Separe as falhas de iluminação das falhas do modelo e do conjunto de dados
Um conjunto de teste útil utiliza os mesmos objetos ou pessoas da casa em cenas claras, pouco iluminadas e muito escuras, mantendo constantes a câmara, o enquadramento e a etiqueta. Compare a confiança, o tipo de erro e qualquer etapa de pré-processamento em cada nível de iluminação.
O guia da ZimaSpace sobre organização local de fotografias com IA aborda a camada de aplicação; uma organização fiável continua a depender da capacidade do modelo de visão para detetar características estáveis nas imagens de origem.
Se o desempenho diminuir apenas com a escuridão, recolha exemplos com pouca luz, utilize um modelo treinado ou adaptado a esse domínio, ou melhore as condições de captura. Se uma classe falhar em todas as condições, o espaço de etiquetas ou os dados de treino são os suspeitos mais prováveis.
Essa distinção também é importante quando o tamanho da imagem muda. A explicação da ZimaSpace sobre resolução de imagem e carga de IA multimodal mostra que o pré-processamento pode alterar a evidência e o percurso computacional independentemente da iluminação.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Estado em tempo de execução vs. estado persistente no Home Assistant: o que tem de sobreviver ao reinício?
O Home Assistant não persiste todos os valores em tempo real; a configuração, os registos, os estados restaurados selecionados, o histórico e os dados...
Como é que o Home Assistant autentica sessões locais e remotas?
As sessões locais e remotas do Home Assistant utilizam o mesmo modelo de identidade do lado do servidor; o acesso remoto altera a rota...
Porque é que as consultas ao histórico do Home Assistant podem ficar mais lentas à medida que os dados do Recorder aumentam?
O crescimento do gravador pode aumentar o custo das consultas do Histórico quando o intervalo solicitado abrange mais linhas, as falhas de cache aumentam...
