Qu’est-ce qu’un marqueur de suppression d’index vectoriel, et pourquoi est-il important après la suppression d’un fichier ?
Un marqueur de suppression d’un index vectoriel est un indicateur de suppression logique qui masque un enregistrement supprimé avant que la structure de recherche sous-jacente ne l’ait physiquement récupéré.
Dans un index RAG local, la suppression d’un PDF ou d’une photo peut faire disparaître ses segments des résultats habituels bien avant la réécriture du graphe vectoriel, des fichiers de segment ou des pages de stockage. Les marqueurs de suppression permettent à la base de données de préserver la cohérence de l’index tandis que la maintenance est effectuée ultérieurement. Cet état intermédiaire est important pour les estimations de stockage, l’état de santé de l’index, la fréquence des mises à jour et toute hypothèse selon laquelle une suppression logique équivaudrait à un effacement physique immédiat.
Un marqueur de suppression indique qu’un enregistrement est supprimé avant le nettoyage physique
La suppression d’un enregistrement dans un index approximatif ne permet pas toujours de retirer chaque référence physique au moyen d’une seule opération peu coûteuse. Le système peut plutôt marquer l’élément comme supprimé, l’exclure des résultats visibles et laisser le nettoyage structurel à une opération de maintenance ultérieure.
Dans un index HNSW, les marqueurs de suppression signalent les objets supprimés et peuvent rester dans le graphe jusqu’à ce qu’un processus de nettoyage les retire.
Pour une base de connaissances domestique, cela signifie que le fichier source peut avoir disparu et que la couche de requête peut correctement masquer ses segments, même si l’état interne de l’index se souvient encore que ces nœuds ont existé.
La recherche peut masquer un vecteur supprimé tandis que l’index conserve encore son état
La suppression logique et la récupération physique répondent à des questions différentes. La première consiste à déterminer si l’enregistrement peut apparaître dans les résultats de recherche ; la seconde, à déterminer si ses octets et ses relations d’index ont été retirés du stockage et des structures en mémoire.
Les index basés sur des segments peuvent conserver les enregistrements supprimés jusqu’à la fusion au lieu de forcer la réécriture immédiate d’un segment à chaque suppression.
Cette séparation explique pourquoi le nombre d’éléments d’une collection peut diminuer avant l’utilisation du disque. Elle explique également pourquoi les charges de travail comportant de nombreuses suppressions et mises à jour peuvent accumuler une dette de maintenance sans faire réapparaître les anciens enregistrements dans les recherches habituelles.
Un tableau de bord de supervision devrait donc distinguer les enregistrements actifs, l’état des suppressions en attente, le nombre de segments et l’utilisation réelle du disque, plutôt que de considérer une seule métrique comme la preuve que le nettoyage est terminé.
Les marqueurs de suppression s’accumulent lorsque les fichiers changent ou sont remplacés à plusieurs reprises
Un index privé peut générer des marqueurs de suppression lors des mises à jour courantes, et pas uniquement lorsqu’un utilisateur supprime définitivement un fichier. Le remplacement d’une version d’un document peut supprimer les anciens segments et en insérer de nouveaux, tandis que la réorganisation des dossiers peut retirer les enregistrements associés aux identifiants précédents.
Les collections vectorielles modifiables accumulent les mises à jour et les suppressions avant que l’optimisation des segments ne consolide ces changements de manière asynchrone.
Si une base de connaissances domestique recalcule fréquemment les représentations vectorielles des documents, la pression exercée par les marqueurs de suppression peut devenir un meilleur indicateur de l’activité de modification que le nombre de fichiers actuellement consultables. La fréquence du nettoyage devrait tenir compte du rythme des mises à jour et de la marge d’E/S disponible.
Un marqueur de suppression ne constitue pas un effacement sécurisé
Un marqueur logique est conçu pour garantir la cohérence de l’index, et non pour assurer une suppression légale ou forensique. D’anciens octets peuvent rester dans les fichiers de segment, les instantanés, les réplicas, les sauvegardes, l’espace libre du système de fichiers ou d’autres stockages dérivés jusqu’à ce que des processus distincts de gestion du cycle de vie les suppriment.
L’étape ultérieure de compaction après suppression est un mécanisme différent du marqueur de suppression lui-même, car elle peut réécrire l’état obsolète des segments et récupérer de l’espace.
Traitez les suppressions de données sensibles comme un problème de conservation de bout en bout couvrant les fichiers sources, les magasins vectoriels, les métadonnées, les caches, les instantanés et les sauvegardes. Les marqueurs de suppression ne constituent qu’un mécanisme intermédiaire de cohérence au sein de ce cycle de vie plus large.
Cette distinction permet également d’éviter une attente trompeuse concernant le stockage : la suppression de milliers de segments peut être immédiatement effective pour la recherche tout en restant invisible dans les graphiques d’espace libre jusqu’à la fin du nettoyage planifié.
Produits recommandés
Centre Tech & IA
Plus à lire
Qu’est-ce que l’état de Plex et quelles parties doivent être persistantes ?
L’état persistant de Plex regroupe les informations qui préservent l’expérience du serveur après un redémarrage ou une reconstruction ; les données multimédias et les...
Comment Plex gère-t-il l’authentification entre les sessions locales et distantes ?
L’authentification Plex commence par l’identité du serveur et du compte, puis les chemins réseau locaux ou distants déterminent l’accessibilité et le fonctionnement de la...
Pourquoi la recherche dans Plex peut-elle ralentir à mesure que les données de la bibliothèque augmentent ?
La croissance de la bibliothèque n’est pas à elle seule la cause du problème. Testez la forme des requêtes, les index, l’état du cache,...
