¿Qué hace que una base de datos vectorial devuelva vecinos diferentes después de la compactación?
Una base de datos vectorial puede devolver vecinos diferentes después de la compactación porque los mismos embeddings pueden reorganizarse en una estructura de búsqueda aproximada recién construida.
En un servidor RAG local, el cambio suele parecer sospechoso: no se volvieron a generar embeddings de ningún documento de forma intencionada, pero una consulta conocida devuelve una lista top-k ligeramente diferente después del mantenimiento. La distinción clave está entre los valores de los vectores y el índice ANN que los busca. La compactación puede conservar los primeros mientras reconstruye el segundo.
La compactación puede reemplazar varios segmentos de búsqueda por un índice nuevo
Una base de datos vectorial suele acumular segmentos separados a medida que se insertan, actualizan y eliminan documentos. La compactación consolida esas piezas para que el sistema tenga menos estructuras que buscar y menos datos obsoletos que conservar.
Qdrant ofrece optimizadores que actúan sobre el número y el tamaño de los segmentos, en lugar de tratar la colección como un único grafo permanentemente fijo. Cuando la compactación crea un segmento optimizado más grande, la estructura de búsqueda física puede reconstruirse aunque los vectores lógicos no hayan cambiado.
Esta distinción es importante para un índice RAG privado: los embeddings pueden tener valores numéricos idénticos antes y después del mantenimiento, mientras que el grafo de búsqueda aproximada que los conecta puede ser diferente.
La búsqueda aproximada de vecinos más cercanos depende de la topología del grafo
HNSW no compara una consulta con todos los vectores. Recorre un grafo por capas y sigue un conjunto limitado de conexiones prometedoras, por lo que la ruta seguida por el grafo influye en los candidatos que se examinan.
Elasticsearch explica que las fusiones de segmentos pueden requerir recalcular los grafos HNSW. Un grafo reconstruido puede conectar los mismos vectores de forma diferente porque el orden de construcción, el estado de las eliminaciones y las heurísticas del grafo influyen en las aristas.
Si dos candidatos tienen distancias muy similares, un pequeño cambio en la topología puede hacer que uno entre en el conjunto de candidatos mientras el otro nunca se visite. El resultado son vecinos aproximados diferentes sin ningún cambio en el modelo de embeddings.
Los parámetros de búsqueda determinan cuánto se explora del grafo nuevo
Después de la compactación, la base de datos puede buscar en un grafo grande en lugar de hacerlo en varios más pequeños. Por tanto, la misma solicitud top-k puede recorrer un conjunto de candidatos diferente aunque el presupuesto de búsqueda configurado parezca no haber cambiado.
Weaviate documenta el equilibrio entre ef y calidad de búsqueda de HNSW: una lista de candidatos más grande generalmente mejora la recuperación, aunque aumenta el trabajo. Cerca de un límite de clasificación, un esfuerzo de búsqueda bajo hace que los resultados sean más sensibles a la construcción del grafo.
Una prueba diagnóstica útil consiste en comparar los resultados aproximados con una búsqueda de ef alto o exacta en un conjunto de prueba pequeño. Si los vecinos exactos permanecen estables mientras los vecinos ANN cambian, la compactación modificó la ruta de recuperación, no los vectores.
Las eliminaciones y actualizaciones cambian qué nodos sobreviven a la reconstrucción
Antes de la compactación, los registros eliminados o reemplazados pueden seguir existiendo físicamente con marcas de eliminación o información de gestión a nivel de segmento. Las búsquedas los filtran, pero su presencia histórica puede influir en el grafo que se construyó anteriormente.
Milvus explica que HNSW almacena una estructura de grafo explícita además de los vectores sin procesar. Reconstruirlo después de eliminar los registros obsoletos crea un grafo a partir del conjunto superviviente.
Esto puede alterar la conectividad local alrededor de un documento doméstico aunque ese documento nunca se haya editado. Una nota puede ganar o perder un nodo puente cercano, cambiando la región a la que llega primero el recorrido ANN.
Los empates y casi empates pueden cambiar aunque las distancias no lo hagan
Muchos corpus privados contienen duplicados o casi duplicados: manuales repetidos, archivos versionados, pies de foto, notas copiadas o fragmentos con el mismo texto estándar. Sus puntuaciones de coseno o producto interno pueden ser prácticamente indistinguibles.
La explicación de Pinecone sobre HNSW muestra cómo los límites de navegación del grafo restringen los vectores examinados. Cuando dos elementos están cerca del punto de corte, una ruta de candidatos diferente o un orden distinto en caso de empate puede cambiar el top-k devuelto sin que exista una diferencia semántica significativa.
Por ello, las aplicaciones deben evitar tratar la posición 7 frente a la posición 8 de un vecino como una afirmación de identidad duradera. Almacena identificadores de documentos estables y compara las distancias reales cuando sea importante un comportamiento determinista.
La búsqueda exacta marca el límite entre la deriva de datos y la deriva de ANN
La separación más clara consiste en conservar un conjunto pequeño de consultas reproducibles y registrar los embeddings, la métrica de distancia, el top-k exacto, el top-k aproximado, la configuración del índice y la versión de la base de datos antes del mantenimiento.
El análisis de ZimaSpace sobre los cambios de dominio de los embeddings en la recuperación privada aborda una clase de fallo diferente: cambia el propio espacio vectorial. La compactación debe diagnosticarse por separado porque puede alterar la recuperación aproximada mientras mantiene intacto ese espacio.
La guía de ZimaSpace sobre búsqueda de documentos y flujos de trabajo RAG proporciona el contexto de la aplicación: la identidad estable de los documentos y la evaluación son importantes incluso cuando se permite que la capa ANN sea aproximada.
Si cambian los resultados exactos, revisa los vectores, los filtros, la normalización, la métrica o las versiones de los datos. Si los resultados exactos permanecen fijos pero cambian los resultados ANN, la causa está en la reconstrucción del índice, el esfuerzo de búsqueda, el tratamiento de empates o la disposición de los segmentos.
Por tanto, no se espera que la compactación garantice un orden de vecinos idéntico byte a byte en un índice aproximado. Para obtener una clasificación determinista se necesita una búsqueda más estricta o reglas de desempate a nivel de aplicación.
Preguntas frecuentes
¿La compactación cambia los vectores de embeddings?
No por sí sola. Una compactación o fusión normal de segmentos reorganiza el almacenamiento y los índices. Los embeddings solo cambian si la aplicación vuelve a generarlos, los vuelve a cuantizar, los renormaliza o reescribe sus valores de alguna otra forma.
¿Deberían cambiar los vecinos más cercanos exactos después de la compactación?
Deberían permanecer iguales cuando los vectores supervivientes, la métrica y la representación numérica no cambian, salvo en casos de verdaderos empates de puntuación o detalles de implementación de coma flotante.
¿La reconstrucción de HNSW puede reproducir exactamente la clasificación anterior?
No siempre. HNSW es aproximado y la construcción del grafo puede ser sensible al orden de inserción, la aleatoriedad, las eliminaciones y los detalles de implementación. La clasificación exacta requiere una comparación exhaustiva o, de otro modo, determinista.
Productos recomendados
Centro de Tecnología e IA
Más para leer
Estado de ejecución frente a estado persistente en Home Assistant: ¿qué debe sobrevivir al reinicio?
Home Assistant no conserva todos los valores en tiempo real; la configuración, los registros, los estados restaurados seleccionados, el historial y los datos de...
¿Cómo autentica Home Assistant las sesiones locales y remotas?
Las sesiones locales y remotas de Home Assistant utilizan el mismo modelo de identidad del servidor; el acceso remoto cambia la ruta y el...
¿Por qué pueden volverse lentas las consultas del historial de Home Assistant a medida que crecen los datos del grabador?
El crecimiento del grabador puede aumentar el costo de las consultas del historial cuando el rango solicitado abarca más filas, aumentan los fallos de...
