Marcadores de eliminación del índice vectorial: cómo los archivos eliminados siguen siendo localizables hasta la compactación
Los archivos eliminados pueden seguir siendo localizables cuando un índice registra un marcador lógico de eliminación, pero los segmentos antiguos, las réplicas, las cachés o los fragmentos derivados aún responden a las búsquedas.
Eliminar un PDF de un NAS doméstico no necesariamente elimina su embedding, el texto de su miniatura, la salida de OCR ni el resultado de recuperación almacenado en caché. Muchos motores de almacenamiento primero marcan los registros como eliminados y recuperan sus bytes más adelante durante la compactación. Las rutas de consulta correctas deben respetar el marcador de inmediato, pero una propagación incompleta o un filtro omitido pueden hacer que aparezcan datos obsoletos.
Un marcador de eliminación separa la eliminación lógica de la recuperación física
En el almacenamiento orientado a anexos, reescribir un segmento grande por cada eliminación sería costoso. Un marcador de eliminación registra que un identificador ya no está activo. Las consultas consultan este estado, mientras que la compactación en segundo plano fusiona posteriormente los segmentos y descarta tanto el registro obsoleto como su marcador cuando es seguro hacerlo.
Una explicación de los marcadores lógicos de eliminación de las bases de datos señala que estos impiden que se devuelvan filas eliminadas antes de que la compactación elimine sus datos físicos. El mismo principio es importante para los sistemas vectoriales, aunque sus implementaciones de segmentos y mapas de eliminación sean diferentes.
Esta distinción explica por qué el uso del disco puede no disminuir después de una eliminación. Por sí sola, no explica que aparezca un resultado visible: una consulta actual correcta debe excluir el vector marcado para eliminación aunque sus bytes sigan en el disco.
Un archivo eliminado puede dejar varios derivados independientes
Un archivo de origen puede generar fragmentos, embeddings, índices de palabras clave, resúmenes, texto OCR, miniaturas y entradas de caché de respuestas. Eliminar solo los ID de los vectores deja intactas otras rutas de recuperación. Volver a ingerir el archivo con un identificador nuevo también puede crear duplicados que la lista de eliminaciones original no cubre.
La documentación sobre bases de datos relativa a la limpieza mediante compactación explica que la recuperación se produce durante la compactación porque reescribir los datos continuamente es costoso. Hasta que finaliza la limpieza coordinada, el almacenamiento físico y la visibilidad lógica deben tratarse como estados independientes. Esta distinción modifica la decisión doméstica resultante.
Por tanto, un registro de eliminaciones fiable relaciona la identidad del origen con cada derivado y espacio de nombres. También registra la generación que se está eliminando, lo que evita que un evento de eliminación retrasado oculte accidentalmente un reemplazo más reciente con el mismo nombre de archivo.
Dónde las réplicas obsoletas y las cachés rompen la semántica de eliminación
La búsqueda distribuida o multiproceso añade retrasos de propagación. Un trabajador puede respetar el marcador de eliminación mientras otro sirve un segmento antiguo; una caché de respuestas puede devolver una respuesta compuesta anteriormente sin consultar el índice. Las copias de seguridad pueden restaurar posteriormente el derivado eliminado si las reglas de retención no lo incluyen.
DataStax describe los marcadores de eliminación de réplicas como marcadores que se propagan entre réplicas antes de su eliminación definitiva. El periodo de gracia protege contra la reaparición de datos en el almacenamiento distribuido, pero también muestra por qué la limpieza prematura y las réplicas incoherentes requieren una coordinación cuidadosa. Este límite sigue siendo visible durante revisiones posteriores de evidencias.
El límite de fallo es la visibilidad de la consulta, no los bytes ocupados. Si alguna ruta de búsqueda compatible aún puede devolver la evidencia eliminada después del plazo de eliminación prometido, el sistema no ha completado la eliminación, aunque un panel informe de que se ha realizado correctamente.
Demuestra la eliminación en todas las rutas de búsqueda
Antes de eliminarlo, registra el ID del origen, los ID de los fragmentos derivados, una frase única y una pregunta almacenada en caché. Elimina el archivo y, después, consulta por frase, paráfrasis semántica, filtro de metadatos, ID del origen y la pregunta almacenada en caché, antes y después de la compactación.
Usa la misma disciplina de archivos actuales descrita en el estado de indexación incremental: la prueba debe distinguir entre visibilidad lógica, almacenamiento físico y retención histórica. Inspecciona todas las réplicas o trabajadores configurados en lugar de confiar en una sola consulta correcta. Por tanto, la dependencia debe medirse por separado en la práctica.
Considera que la prueba ha sido superada solo cuando ninguna ruta del modo actual devuelve el origen ni sus derivados, las cachés se han invalidado y la compactación recupera finalmente el almacenamiento esperado. Si la recuperación histórica es intencionada, aíslala tras una autorización independiente y haz que no esté disponible para las consultas RAG ordinarias.
Productos recomendados
Centro de Tecnología e IA
Más para leer
Calibración de la puntuación de búsqueda privada: cómo la similitud sin procesar se convierte en una señal de confianza utilizable
Descubre por qué la similitud coseno no es una medida de confianza, cómo las consultas etiquetadas calibran las puntuaciones y cómo supervisar los umbrales...
Localidad NUMA de la IA local: por qué la ubicación de la memoria cambia la tasa de alimentación del acelerador
Descubre cómo la topología de la CPU, la RAM y PCIe afecta al suministro de datos al acelerador, por qué la asignación automática puede...
Mapeo de memoria de archivos de modelos: cómo las páginas compartidas reducen el uso duplicado de RAM
Comprende cómo se producen y comparten los fallos en las páginas de modelos mapeadas, por qué RSS puede inducir a error y qué cachés...
