Como é que a quantização afeta a qualidade da recuperação de embeddings?
A quantização de embeddings geralmente preserva grandes zonas semânticas, embora possa alterar a ordem entre candidatos próximos à medida que a precisão numérica e a capacidade dos códigos são reduzidas.
Um índice de documentos doméstico pode armazenar milhões de dimensões vetoriais, mesmo quando a biblioteca de origem cabe confortavelmente num NAS. Comprimir embeddings de vírgula flutuante pode tornar o índice mais pequeno e mais rápido de consultar, mas a representação guardada aproxima as distâncias originais. O efeito é menor em correspondências claramente separadas e maior junto ao limite de recuperação, onde pequenos erros de distância podem trocar fragmentos relevantes por irrelevantes.
A quantização substitui coordenadas exatas por códigos
Os embeddings de precisão total mantêm cada coordenada como um valor de vírgula flutuante. A quantização escalar mapeia os valores para menos níveis numéricos, a quantização de produto divide um vetor em subespaços e armazena identificadores de livros de códigos, e os métodos binários retêm apenas padrões compactos de bits. Cada abordagem reduz o número de bytes ao descartar informações diferentes.
A formulação original de quantização de produto representa vetores de alta dimensionalidade através de subquantizadores aprendidos e compara códigos compactos utilizando distâncias aproximadas. A sua estrutura explica por que motivo a memória diminui drasticamente, enquanto o erro de reconstrução passa a fazer parte de cada decisão de vizinho mais próximo. Este efeito deve continuar a ser mensurável na carga de trabalho prevista para o servidor doméstico.
A compressão também pode melhorar o débito efetivo, porque cabem mais vetores na RAM ou na cache e circulam menos dados pelo barramento de memória. Um índice mais pequeno não é automaticamente mais preciso; pode simplesmente pesquisar mais candidatos dentro do mesmo orçamento de latência.
O erro de distância é mais importante junto ao limite
Se o documento relevante estiver muito mais próximo do que qualquer elemento distrator, uma quantização moderada raramente altera o vencedor. Quando vários fragmentos têm pontuações semelhantes, os erros de arredondamento ou do livro de códigos podem reordená-los, reduzindo a recuperação em valores baixos de top-k, mesmo que o erro médio de distância pareça aceitável.
Um estudo de recuperação sobre quantização contrastiva aperfeiçoa conjuntamente as representações BERT e aplica-lhes quantização de produto, mostrando que os objetivos de treino podem fazer com que os códigos compactos preservem melhor a utilidade da pesquisa do que a compressão aplicada posteriormente. Isto separa o design do quantizador da simples largura de bits.
As definições de vizinhos mais próximos aproximados interagem com a quantização. Uma pesquisa mais profunda pode recuperar candidatos perdidos devido a um encaminhamento grosseiro, enquanto um reranker forte pode corrigir a ordenação apenas se o item relevante sobreviver ao conjunto de candidatos da primeira fase. Esta distinção é importante quando várias fases do pipeline partilham o mesmo orçamento de armazenamento e memória.
A poupança de memória pode ser trocada por recuperação inferior nas consultas de cauda
Os erros de quantização não são distribuídos uniformemente pelas consultas. Nomes raros, termos multilingues, cadeias curtas e embeddings de fotografias visualmente semelhantes podem depender de pequenas diferenças direcionais que os tópicos comuns não exigem, pelo que a recuperação agregada pode ocultar falhas domésticas importantes.
O sistema de pesquisa vetorial comprimida combina pesquisa em GPU com representações comprimidas à escala de mil milhões de vetores e apresenta o compromisso de engenharia entre velocidade, memória e precisão. Os seus resultados mostram por que motivo a configuração do índice deve ser avaliada como um percurso de recuperação completo.
A fronteira de falha corresponde a qualquer classe de consulta cujos candidatos relevantes se agrupem estreitamente junto ao limite ou cuja distribuição de embeddings seja diferente da utilizada no treino do quantizador. Uma largura de bits inferior não é segura quando a poupança é aceite sem medir a recuperação por segmento.
FAQ sobre pesquisa de embeddings quantizados
A quantização int8 reduz sempre a recuperação?
Não. A quantização escalar int8 pode preservar bem a ordenação quando os vetores estão normalizados e os vizinhos relevantes estão claramente separados. A perda torna-se visível primeiro em margens de pontuação reduzidas, alterações de distribuição e valores pequenos de top-k, pelo que a recuperação deve ser medida no corpus previsto.
O reranking pode recuperar a qualidade perdida com a quantização?
O reranking pode corrigir a ordem dos candidatos que a pesquisa quantizada ainda recupera. Não pode recuperar um fragmento relevante ausente do conjunto de candidatos, razão pela qual a recuperação da primeira fase deve ser testada antes de avaliar a lista final ordenada.
Os vetores de consulta e os vetores armazenados devem utilizar a mesma precisão?
Devem utilizar pontuação e normalização compatíveis, mas o sistema pode manter as consultas com maior precisão enquanto as compara com vetores armazenados quantizados. A escolha correta depende da implementação do índice e deve ser verificada com base no cálculo de distância documentado.
Execute uma variação de precisão versus recuperação
Crie um conjunto de consultas etiquetado que contenha tópicos comuns, nomes raros, abreviaturas, termos multilingues e fotografias quase duplicadas. Construa índices idênticos de vírgula flutuante, int8, quantizados por produto e binários; depois compare a recuperação com várias profundidades de candidatos, a qualidade da ordenação final, o tamanho do índice, a memória, a latência e o tempo de ingestão.
Interprete a poupança de espaço em conjunto com as restrições de compressão descritas em restrições de compressão vetorial. Mantenha constantes o modelo de embeddings, o corpus de fragmentos, a normalização, o esforço de pesquisa e o reranker, para que a diferença medida resulte da quantização e não de outra definição do índice.
Escolha a menor precisão que cumpra os objetivos de recuperação para cada segmento de consulta importante, e não apenas a melhor média. Aumente a profundidade dos candidatos ou mantenha a precisão total para coleções sensíveis quando os erros de ordenação comprimida se concentrarem junto ao limite operacional.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Um LLM local pode retomar a geração depois de o seu processo reiniciar?
Uma explicação da retoma da geração de LLM baseada primeiro no mecanismo, das suas concessões em termos de recursos partilhados, de três perguntas frequentes...
Pode um servidor doméstico executar embeddings e transcodificação de vídeo na mesma GPU integrada?
Uma explicação baseada primeiro no mecanismo dos embeddings partilhados da iGPU e da transcodificação, das suas cedências em termos de recursos partilhados, três perguntas...
Como é que o tempo de vida do token de acesso afeta a segurança e o atrito no agregado familiar?
Uma explicação baseada primeiro no mecanismo da duração dos tokens de acesso, os compromissos relativos aos recursos partilhados, três perguntas frequentes sobre a propagação...
