O que é uma incorporação multimodal e quando é relevante para a pesquisa de conteúdos multimédia em casa?

Uma incorporação multimodal representa diferentes tipos de suportes num espaço vetorial semântico comparável, para que uma consulta numa modalidade possa recuperar conteúdo noutra.

Para um arquivo doméstico, isto pode significar escrever “bicicleta vermelha ao lado da garagem” e recuperar fotografias ou fotogramas de vídeo, mesmo quando nenhum nome de ficheiro ou legenda contém essas palavras. A propriedade útil não é apenas o facto de as imagens e o texto terem incorporações; as suas representações têm de estar suficientemente alinhadas para que a semelhança entre modalidades tenha significado. Isto torna-se valioso quando os metadados dos suportes são escassos, mas também introduz compromissos relacionados com a indexação, a granularidade e os falsos positivos.

As incorporações multimodais mapeiam diferentes entradas para um espaço comparável

Um codificador de texto e um codificador de imagem, áudio ou vídeo podem produzir vetores cuja geometria é treinada para aproximar entradas semanticamente relacionadas. É esse alinhamento que permite comparar diretamente uma consulta de texto com representações visuais ou de áudio.

A supervisão em linguagem natural pode produzir representações visuais e linguísticas alinhadas que permitem a comparação entre imagens e texto sem treino específico para cada tarefa.

Um índice de suportes domésticos pode, assim, armazenar incorporações de imagens e codificar uma expressão de pesquisa com o codificador de texto correspondente. A base de dados continua a realizar uma pesquisa por semelhança vetorial, mas agora os vetores fazem a ponte entre modalidades, em vez de representarem apenas texto.

Um espaço partilhado permite a recuperação entre modalidades

A mesma ideia estende-se para além da imagem e do texto quando um modelo é treinado para alinhar várias modalidades em torno de conteúdos semanticamente relacionados. Assim, um som, uma imagem e uma descrição podem ser comparados, apesar de os seus formatos originais não partilharem tokens nem píxeis.

Uma incorporação conjunta entre várias modalidades pode incluir imagens, texto, áudio, profundidade, dados térmicos e sinais inerciais.

Para um arquivo privado, isto permite pesquisas como encontrar vídeos com um cão a ladrar a partir de uma expressão de texto ou agrupar áudios e imagens em torno do mesmo evento. O suporte depende das modalidades que o modelo escolhido aprendeu efetivamente, e não de uma afirmação genérica de que todos os vetores são interoperáveis.

As diferentes famílias de incorporações também utilizam dimensões e geometrias distintas, pelo que os vetores de modelos não relacionados não devem ser misturados no mesmo espaço de semelhança, exceto quando o sistema aprende ou aplica explicitamente um alinhamento.

O vídeo geralmente precisa de representações ao nível do fotograma ou do clipe

Um vídeo longo contém muitas cenas, objetos, intervenientes e ações, pelo que um único vetor para todo o ficheiro pode diluir o momento que o utilizador pretende recuperar. A pesquisa de suportes domésticos normalmente precisa de representações para fotogramas, planos, clipes ou segmentos agrupados temporalmente.

Um modelo unificado pode mapear texto, imagem, vídeo e áudio para um espaço de recuperação partilhado, mas a aplicação continua a escolher a unidade temporal que se torna um registo pesquisável.

Um clipe de dez segundos pode preservar melhor o contexto de uma ação do que um único fotograma isolado, enquanto as incorporações densas de fotogramas aumentam o armazenamento e duplicam conteúdos quase idênticos. A granularidade adequada depende de o arquivo pesquisar objetos, cenas, pessoas, sons ou eventos.

-15% OFF

ZimaBoard 2 - Mini Servidor Doméstico para a Sua Grande Ideia

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

A semelhança entre modalidades é evidência semântica, não prova de identidade

Uma pontuação de semelhança elevada significa que o modelo encontrou semelhanças semânticas de acordo com o seu objetivo de treino. Não prova que dois registos mostrem a mesma pessoa, o mesmo produto exato ou o mesmo evento, e pode confundir conteúdos domésticos visual ou conceptualmente semelhantes.

Mesmo com vetores normalizados ao estilo do CLIP, a geometria das incorporações reflete uma semelhança aprendida, e não uma relação de identidade verificada.

Utilize metadados, marcas temporais, a identificação da câmara, modelos específicos para rostos ou objetos e análise humana quando a aplicação precisar de evidências mais fortes do que a recuperação semântica.

Este limite é importante no caso de imagens de segurança doméstica. Uma pesquisa de texto por “estafeta” pode apresentar clipes plausíveis, mas não deve, por si só, tornar-se uma decisão de controlo de acesso ou de identificação.

As incorporações multimodais são mais importantes quando os metadados estão incompletos

Álbuns bem etiquetados, com legendas, datas e etiquetas de pessoas fiáveis, podem já ser fáceis de pesquisar lexicalmente. As incorporações multimodais acrescentam mais valor quando o conteúdo visual ou acústico contém informação útil que nunca foi registada nos metadados.

A camada de organização privada de suportes pode utilizar incorporações multimodais como um dos mecanismos de recuperação para conteúdos que os nomes de ficheiros e as pastas não conseguem descrever.

Avalie a recuperação com consultas específicas do agregado familiar antes de incorporar todos os fotogramas de um arquivo de grandes dimensões. O número adicional de vetores, o armazenamento e o trabalho de indexação só se justificam quando a pesquisa entre modalidades encontra suportes úteis que os metadados existentes não conseguem localizar.