O que é a recuperação por interação tardia e em que difere da pesquisa de vetor único?
A recuperação de interação tardia preserva múltiplas representações ao nível dos tokens e realiza correspondências detalhadas no momento da consulta, em vez de comprimir cada documento num único vetor.
Um arquivo familiar pode conter excertos longos nos quais um nome, número de peça ou frase traduzida é importante, mas o texto circundante domina um embedding agregado. A pesquisa de vetor único armazena um resumo compacto por excerto. Um modelo de interação tardia armazena muitos vetores de tokens contextualizados e compara os tokens da consulta com as melhores correspondências entre tokens do documento, melhorando a correspondência de evidências locais à custa de um índice maior e de mais trabalho de pontuação.
A Interação Tardia Adia a Correspondência Entre Textos Até à Pesquisa
A consulta e o documento são codificados de forma independente, pelo que as representações dos documentos podem ser calculadas offline. No momento da pesquisa, um operador como o MaxSim encontra a correspondência mais forte entre um token do documento e cada token da consulta e agrega esses máximos numa pontuação de relevância.
O ColBERT introduziu a interação tardia contextualizada, que preserva representações de tokens contextualizados enquanto adia a sua interação. Isto distingue-o de um cross-encoder, que processa conjuntamente cada par consulta-documento e é demasiado dispendioso para a pesquisa de primeira fase em todo o corpus. Esta distinção continua visível durante testes domésticos posteriores.
A palavra tardia descreve o local onde ocorre a interação entre a consulta e o documento, não a data de criação do índice. Também não significa que os resultados só sejam reordenados depois de uma pesquisa de vetor único, embora os sistemas utilizem frequentemente uma fase de candidatos.
A Pesquisa de Vetor Único Elimina os Detalhes ao Nível dos Tokens
Um bi-encoder normalmente agrega um excerto num único vetor e compara-o com um único vetor de consulta utilizando similaridade de cosseno ou produto escalar. Isto é compacto e funciona bem com índices maduros de vizinhos mais próximos aproximados, mas cada termo tem de partilhar uma única representação.
Uma visão geral das representações token a token explica que os modelos de interação tardia retêm vetores token a token, enquanto os sistemas densos de vetor único os agregam. A distinção altera tanto a função de correspondência como a estrutura do índice armazenado. O resultado intermédio tem de permanecer inspecionável antes de a automatização avançar.
A interação tardia pode preservar entidades raras e correspondências composicionais, mas mais vetores não significam automaticamente uma pesquisa melhor. O objetivo de treino, o tokenizador, o comprimento dos documentos, a poda e a geração de candidatos continuam a determinar a qualidade. Esse limite deve ser medido separadamente em condições operacionais realistas.
O Índice Troca Compactação por Pontuação Detalhada
Armazenar dezenas ou centenas de vetores por excerto multiplica os bytes do índice, o tráfego de memória e o cálculo da consulta. A compressão, a poda de tokens, as estruturas invertidas ou um recuperador de primeira fase podem reduzir o custo, preservando correspondências úteis. A consequência prática surge quando várias fontes competem por um contexto limitado.
O ColBERTv2 utiliza compressão residual e supervisão sem ruído para reduzir o espaço ocupado pela recuperação de múltiplos vetores. O trabalho mostra que a interação tardia prática depende tanto da engenharia do índice como da fórmula MaxSim. Esta dependência deve permanecer explícita na interface final.
O limite de falha é um servidor doméstico cujo armazenamento, RAM ou orçamento de latência não consiga suportar candidatos de múltiplos vetores. Um recuperador de vetor único bem treinado, juntamente com um reranker, pode proporcionar melhor qualidade de ponta a ponta quando o índice de interação tardia está fortemente comprimido ou subdimensionado.
Compare a Recuperação de Evidências por Gigabyte e Milissegundo
Indexe a mesma versão do corpus com modelos de vetor único e de interação tardia, utilizando a tokenização recomendada para cada um. Mantenha constantes o conjunto de consultas, a filtragem, o top-k e as avaliações de evidências em perguntas exatas, parafraseadas, com muitas entidades e multilingues. O resultado deve, portanto, ser verificado face à evidência original.
Relacione a opção de segunda fase com o reranking de primeira fase. Registe a recuperação, o nDCG, o suporte das citações, o tamanho do índice, o tempo de criação, a RAM, a latência mediana e p99 e o custo de reranking dos candidatos. Esta distinção continua visível durante testes domésticos posteriores.
Utilize a interação tardia apenas quando os ganhos detalhados justificarem a dimensão do índice e a capacidade necessária para o serviço. Se a maior parte da melhoria surgir após o reranking, uma primeira fase compacta poderá ser o projeto de servidor doméstico mais estável. O resultado intermédio tem de permanecer inspecionável antes de a automatização avançar.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Um LLM local pode retomar a geração depois de o seu processo reiniciar?
Uma explicação da retoma da geração de LLM baseada primeiro no mecanismo, das suas concessões em termos de recursos partilhados, de três perguntas frequentes...
Pode um servidor doméstico executar embeddings e transcodificação de vídeo na mesma GPU integrada?
Uma explicação baseada primeiro no mecanismo dos embeddings partilhados da iGPU e da transcodificação, das suas cedências em termos de recursos partilhados, três perguntas...
Como é que o tempo de vida do token de acesso afeta a segurança e o atrito no agregado familiar?
Uma explicação baseada primeiro no mecanismo da duração dos tokens de acesso, os compromissos relativos aos recursos partilhados, três perguntas frequentes sobre a propagação...
