O que causa a deriva dos embeddings após reindexar a mesma biblioteca de documentos?
A deriva dos embeddings surge quando a reindexação altera o modelo, o texto, as definições do codificador, o percurso numérico ou as regras de comparação utilizados para representar a biblioteca.
Uma base de conhecimento doméstica pode conter os mesmos PDFs, notas, manuais e registos familiares antes e depois de uma reconstrução, mas ainda assim devolver vizinhos mais próximos ou pontuações de semelhança diferentes. Algumas alterações são verdadeira deriva dos embeddings: o vetor produzido para uma entrada idêntica mudou. Outras são deriva da ingestão, quando o texto enviado ao codificador mudou, ou deriva da recuperação, quando vetores idênticos são pesquisados com métricas ou definições de índice diferentes. Por isso, o primeiro limite de diagnóstico consiste em comparar os bytes de origem, o texto extraído, a identidade dos fragmentos, os vetores brutos e os resultados ordenados como artefactos separados.
A deriva real dos vetores e a deriva aparente da recuperação são diferentes
A deriva real significa que o mesmo texto normalizado produz um vetor diferente. A deriva aparente significa que o vetor permanece estável, mas a pertença aos fragmentos, a métrica de semelhança, a filtragem, a quantização ou a pesquisa aproximada de vizinhos altera os resultados ordenados.
As coleções Qdrant definem o tamanho do vetor e a métrica de distância como parâmetros ao nível da coleção. A reconstrução numa coleção com outra métrica pode alterar as pontuações e a ordenação sem modificar os próprios valores dos embeddings.
Comparar apenas os principais resultados da pesquisa mistura estas causas. Um checksum dos vetores brutos para textos de teste fixos permite separar a deriva do codificador da deriva do índice ou da ordenação.
Uma revisão de modelo não fixada pode substituir o codificador
O nome de um modelo nem sempre corresponde a um conjunto permanente de pesos e ficheiros de configuração. O proprietário de um repositório pode atualizar os pesos, os ficheiros do tokenizador, a configuração de pooling ou o código do modelo, mantendo o nome público do repositório.
Os repositórios do Hugging Face têm controlo de versões e as transferências podem utilizar uma revisão específica em vez do estado mais recente do ramo.
Esta causa produz um movimento amplo num conjunto de sondas fixo, frequentemente acompanhado por uma alteração no commit do modelo, no caminho da cache, no hash da configuração ou num recurso do tokenizador. É diferente da deriva específica de documentos, que afeta apenas os ficheiros cuja extração ou fragmentação mudou.
As opções do codificador podem alterar o comprimento, a escala e a geometria dos vetores
Os mesmos pesos podem produzir representações diferentes quando mudam o pooling, a normalização, a precisão, os prefixos de prompt, o comprimento máximo da sequência ou as dimensões de saída.
O Sentence Transformers disponibiliza controlos do codificador, incluindo precisão, normalização, prompts e dimensões truncadas.
Uma alteração da normalização pode preservar a direção e, ao mesmo tempo, alterar a magnitude do vetor; um prefixo de prompt pode deslocar todos os documentos para outro espaço condicionado pela tarefa; o truncamento pode eliminar dimensões. Estas são alterações de configuração, não instabilidade aleatória.
O texto que chega ao codificador pode não ser o mesmo
A reindexação pode utilizar outra versão do analisador, outro percurso de OCR, outra normalização de espaços em branco, outra regra de ordenação das páginas ou outra estratégia de fragmentação, mesmo quando os ficheiros originais são idênticos byte a byte.
O Unstructured executa a fragmentação depois do particionamento e documenta como o tamanho dos fragmentos, a sobreposição e os limites das secções determinam que texto entra em cada fragmento.
Se um título for detetado recentemente ou se uma página produzir um OCR diferente, todos os limites dos fragmentos seguintes podem mudar. Os vetores resultantes não são representações alteradas do mesmo texto de entrada; representam intervalos de texto diferentes.
A execução não determinística pode criar pequenas diferenças numéricas
Os kernels paralelos, as bibliotecas de hardware, a ordem das operações e os componentes aleatórios podem fazer com que a inferência repetida varie ligeiramente, mesmo com o mesmo modelo e a mesma entrada.
O PyTorch indica que a reprodutibilidade completa não é garantida entre versões, plataformas ou dispositivos e disponibiliza controlos de algoritmos determinísticos para as operações suportadas.
Esta causa costuma criar pequenas diferenças nas coordenadas, em vez de reorganizar completamente o espaço semântico. Se a semelhança de cosseno entre os vetores antigos e novos das sondas continuar extremamente elevada, a alteração pode ser ruído numérico que só se torna visível perto de empates na ordenação.
A precisão e a quantização podem deslocar vizinhos limítrofes
Uma reconstrução pode mudar de float32 para float16, int8 ou outro perfil de execução otimizado para reduzir a memória e melhorar o débito.
O ONNX Runtime explica que a conversão para float16 pode introduzir diferenças de exatidão que exigem testes de tolerância.
O efeito semântico é frequentemente pequeno, mas uma biblioteca local pode conter muitos fragmentos semelhantes. Pequenas alterações nas coordenadas podem trocar a ordem de vizinhos cujas pontuações originais eram quase iguais.
A reindexação pode misturar gerações antigas e novas de vetores
Uma coleção parcialmente reconstruída pode conter vetores gerados com commits do modelo, definições de fragmentação, dimensões ou regras de normalização diferentes.
As gerações mistas criam um comportamento irregular: os documentos não alterados podem permanecer estáveis, enquanto apenas os ficheiros processados novamente mudam, e os vetores das consultas podem ser incompatíveis com parte da coleção armazenada.
O guia da ZimaSpace sobre indexação semântica num NAS apresenta o limite adjacente: a biblioteca de origem, os registos extraídos, os embeddings e o índice de pesquisa são camadas separadas e não devem ser tratados como um único objeto imutável.
Perguntas frequentes
Um texto idêntico deve produzir sempre embeddings idênticos bit a bit?
Apenas com um modelo fixado, uma configuração idêntica, um percurso de execução determinístico e um ambiente de hardware e software correspondente. Caso contrário, podem ainda ocorrer pequenas diferenças de vírgula flutuante.
Resultados de pesquisa inalterados podem provar que os embeddings não sofreram deriva?
Não. Os vetores podem mudar sem ultrapassar os limites da ordenação. Compare os vetores brutos ou os respetivos hashes e semelhanças num conjunto de sondas fixo.
Uma alteração do vizinho mais próximo indica sempre deriva do modelo?
Não. A fragmentação, os filtros, as métricas de distância, a quantização e a construção aproximada do índice podem alterar a recuperação enquanto a saída do codificador permanece estável.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Que funcionalidades permitem criar um limite de confiança de IA doméstico em torno de ficheiros sensíveis?
Uma fronteira de confiança para IA doméstica combina encriptação em repouso, permissões de privilégio mínimo, sandboxing em tempo de execução e recuperação com âmbito...
O que faz com que os resultados de pesquisa privada favoreçam ficheiros editados com frequência?
Os ficheiros editados frequentemente obtêm vantagens no posicionamento quando cada atualização acrescenta sinais de atualidade, fragmentos, versões ou interação, sem normalização por fonte.
O que faz com que os modelos de presença de casas inteligentes confundam visitantes com residentes?
Os visitantes podem parecer residentes quando o sistema observa padrões de atividade doméstica, mas não dispõe de um sinal de identidade estável da pessoa...
