O que é um marcador de eliminação num índice vetorial e porque é importante após a eliminação de um ficheiro?

Um marcador de eliminação de um índice vetorial é um indicador lógico que oculta um registo removido antes de a estrutura de pesquisa subjacente o ter recuperado fisicamente.

Num índice RAG local, eliminar um PDF ou uma fotografia pode fazer com que os respetivos fragmentos desapareçam dos resultados normais muito antes de o grafo vetorial, os ficheiros de segmento ou as páginas de armazenamento serem reescritos. Os marcadores de eliminação permitem que a base de dados preserve a consistência do índice enquanto a manutenção é feita mais tarde. Esse estado intermédio é relevante para as estimativas de armazenamento, a integridade do índice, a frequência de atualizações e qualquer pressuposto de que uma eliminação lógica equivale a um apagamento físico imediato.

Um marcador de eliminação assinala um registo como eliminado antes da limpeza física

Eliminar um registo de um índice aproximado nem sempre permite remover todas as referências físicas numa única operação económica. Em alternativa, o sistema pode assinalar o item como eliminado, excluí-lo dos resultados visíveis e deixar a limpeza estrutural para uma operação de manutenção posterior.

Num índice HNSW, os marcadores de eliminação assinalam objetos eliminados e podem permanecer no grafo até que um processo de limpeza os remova.

Numa base de conhecimento doméstica, isto significa que o ficheiro de origem pode ter desaparecido e a camada de consulta pode suprimir corretamente os respetivos fragmentos, apesar de o estado interno do índice ainda registar que esses nós existiram.

A pesquisa pode ocultar um vetor eliminado enquanto o índice ainda mantém o estado correspondente

A eliminação lógica e a recuperação física respondem a perguntas diferentes. A primeira determina se o registo pode aparecer nos resultados da pesquisa; a segunda determina se os respetivos bytes e relações do índice foram removidos do armazenamento e das estruturas de memória.

Os índices baseados em segmentos podem manter registos eliminados até à fusão, em vez de obrigarem cada eliminação a reescrever imediatamente um segmento.

É esta separação que explica por que motivo o número de registos de uma coleção pode diminuir antes de o uso do disco. Também explica por que motivo cargas de trabalho com muitas eliminações e atualizações podem acumular dívida de manutenção sem fazer com que registos obsoletos voltem a aparecer na pesquisa normal.

Por isso, um painel de monitorização deve distinguir entre registos ativos, estado de eliminação pendente, número de segmentos e uso real do disco, em vez de tratar uma única métrica como prova de que a limpeza terminou.

Os marcadores de eliminação acumulam-se quando os ficheiros são alterados ou substituídos repetidamente

Um índice privado pode gerar marcadores de eliminação durante atualizações normais, e não apenas quando um utilizador remove permanentemente um ficheiro. Substituir uma versão de um documento pode eliminar os fragmentos antigos e inserir novos, enquanto a reorganização de pastas pode retirar registos associados a identidades anteriores.

As coleções vetoriais mutáveis acumulam atualizações e eliminações antes de a otimização dos segmentos consolidar essas alterações de forma assíncrona.

Se uma base de conhecimento doméstica gerar frequentemente novos embeddings dos documentos, a pressão dos marcadores de eliminação pode ser um indicador de alterações mais útil do que o número de ficheiros atualmente pesquisáveis. A frequência da limpeza deve refletir a taxa de atualização e a capacidade de E/S disponível.

-15% OFF

ZimaBoard 2 - Mini Servidor Doméstico para a Sua Grande Ideia

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Um marcador de eliminação não é um apagamento seguro

Um marcador lógico foi concebido para garantir a correção do índice, não para realizar uma eliminação forense. Os bytes antigos podem permanecer em ficheiros de segmento, instantâneos, réplicas, cópias de segurança, espaço livre do sistema de ficheiros ou outros armazenamentos derivados até que processos de ciclo de vida separados os removam.

A fase posterior de compactação após a eliminação é um mecanismo diferente do próprio marcador de eliminação, pois pode reescrever o estado obsoleto dos segmentos e recuperar espaço.

Trate a eliminação de dados sensíveis como um problema de retenção de ponta a ponta, abrangendo ficheiros de origem, armazenamentos vetoriais, metadados, caches, instantâneos e cópias de segurança. Os marcadores de eliminação são apenas um mecanismo intermédio de consistência dentro desse ciclo de vida mais abrangente.

Esta distinção também evita uma expectativa enganadora relativamente ao armazenamento: eliminar milhares de fragmentos pode produzir resultados de pesquisa corretos imediatamente, embora continue sem se refletir nos gráficos de espaço livre até a limpeza agendada terminar.