Comment la quantification vectorielle réduit-elle la taille d’un index de recherche domestique ?
La quantification vectorielle réduit la taille d’un index de recherche domestique en remplaçant les valeurs d’embedding haute précision par des codes compacts qui approchent les vecteurs d’origine.
Un serveur de recherche privé peut indexer des centaines de milliers, voire des millions de segments provenant de notes, de textes OCR, de manuels, de métadonnées photo, de transcriptions et d’enregistrements d’applications. Stocker chaque embedding sous forme de valeurs flottantes en pleine précision peut rendre l’ensemble de travail vectoriel plus volumineux que le texte source lui-même. La quantification modifie la représentation utilisée pour la recherche afin que chaque vecteur occupe moins d’octets, en acceptant une approximation contrôlée en échange d’une pression moindre sur la mémoire et le stockage.
Les embeddings en pleine précision utilisent plusieurs octets pour chaque dimension
Un embedding est un tableau de coordonnées numériques. Un vecteur de 1 024 dimensions stocké sous forme de nombres flottants de 32 bits nécessite 4 096 octets pour ses valeurs brutes, avant même de compter les liens du graphe, les identifiants, les données utiles, la surcharge de l’allocateur ou les répliques.
Les représentations vectorielles compressées réduisent le nombre d’octets requis par la partie vectorielle d’un index, ce qui permet à un ensemble de travail interrogeable plus volumineux de rester en mémoire sur un serveur domestique aux ressources limitées.
Multipliez cette taille brute par un million de segments : les seules valeurs vectorielles non compressées approchent plusieurs gigaoctets. Plusieurs collections, les répliques et les index de recherche résidents augmentent encore l’empreinte sur le serveur domestique. La quantification cible cette représentation numérique. Elle ne compresse pas automatiquement les PDF sources, les métadonnées utiles, les index inversés ni toutes les arêtes du graphe associées à ces vecteurs.
La quantification convertit les coordonnées détaillées en un ensemble plus restreint de représentations
L’idée générale consiste à remplacer de nombreuses valeurs flottantes possibles par un plus petit nombre d’états représentables. Le mappage exact dépend de l’utilisation d’une famille de quantification scalaire, binaire, produit, rotationnelle ou autre.
Les modes de quantification vectorielle réduisent la taille des représentations de différentes manières. Les approches scalaires, binaires et par produit n’offrent donc pas un compromis universel entre précision et performances.
Un schéma scalaire peut réduire la précision de chaque coordonnée. Les schémas binaires encodent des informations directionnelles beaucoup plus grossières. La quantification produit, abordée séparément, divise un vecteur en sous-espaces et stocke des identifiants de livres de codes.
Le résultat courant est le même : le moteur de recherche peut conserver une approximation compacte dans son ensemble de travail actif au lieu de transporter le tableau d’origine en pleine précision lors de chaque comparaison de candidats.
Des vecteurs plus petits réduisent à la fois la mémoire résidente et le trafic lié au calcul des distances
La recherche charge régulièrement les vecteurs candidats et les compare à la requête. Lorsque ces représentations sont plus petites, davantage de candidats tiennent dans le cache du processeur ou la mémoire de l’accélérateur, et moins de données doivent circuler dans la hiérarchie mémoire.
Les vecteurs approximatifs compacts réduisent le stockage et le trafic mémoire lors de la recherche initiale parmi un grand nombre de candidats, mais leurs distances approchent les relations encodées par les embeddings d’origine en pleine précision.
Sur un serveur domestique, l’avantage consiste souvent davantage à maintenir l’index actif en mémoire qu’à atteindre des taux de compression spectaculaires. Éviter la pression mémoire peut empêcher les défauts de page répétés ou la concurrence avec le LLM local, la base de données et les autres conteneurs.
L’amélioration de la latence dépend du moteur de recherche, des instructions du processeur, de la structure de l’index et des éventuelles étapes supplémentaires de décodage ou de reclassement.
Les vecteurs approximatifs peuvent modifier l’ordre des voisins
La quantification est généralement avec perte. Plusieurs vecteurs distincts en pleine précision peuvent être convertis en représentations compactes proches ou identiques. Les distances approximatives ne préservent donc pas exactement tous les classements d’origine.
La recherche avec perte dans un espace compressé échange une représentation numérique exacte contre un ensemble de travail plus petit ou plus rapide pour la recherche par similarité. C’est pourquoi le rappel doit être mesuré après la compression.
Un segment pertinent qui était à peine plus proche qu’un autre en pleine précision peut changer de position après compression. L’effet dépend de la distribution des données, du modèle d’embedding, du quantificateur, de la taille des codes et de la difficulté de la requête. Les tests de rappel sont donc essentiels. Un réglage de compression qui semble sûr pour des requêtes sémantiques générales peut se comporter différemment avec des manuels de produits très similaires ou des passages correspondant à des versions proches.
Le suréchantillonnage et le reclassement peuvent restaurer la précision lors d’une première passe compacte
Une architecture courante recherche dans l’index compressé davantage de candidats que le top-k final, puis utilise les vecteurs d’origine pour recalculer les distances exactes ou de plus haute précision sur cet ensemble réduit.
Le suréchantillonnage et le reclassement permettent d’effectuer une recherche étendue sur une représentation compressée, puis de recalculer des distances de plus haute précision pour un ensemble réduit de candidats avant le classement final.
Cette approche hybride évite d’inclure les vecteurs complets coûteux dans l’analyse initiale d’un grand nombre de candidats, tout en permettant de corriger les résultats limites avant que les éléments de preuve n’atteignent le système RAG.
Le compromis est que la conservation des vecteurs d’origine consomme davantage d’espace disque ou de mémoire, tandis que le reclassement ajoute du travail pour chaque requête. Un serveur domestique doit mesurer l’empreinte combinée plutôt que de comptabiliser uniquement les octets compressés.
La quantification résout le problème de la taille des vecteurs, pas tous les goulots d’étranglement de l’index de recherche
Un index HNSW stocke également la connectivité du graphe, tandis que les filtres de métadonnées, les index textuels, les données utiles des documents, les caches et les tampons de requêtes consomment leurs propres ressources.
L’infrastructure de recherche sémantique comprend les embeddings, l’indexation, le filtrage et les étapes de récupération. La réduction de la taille des vecteurs n’agit donc que sur une seule couche de ressources de l’ensemble du pipeline de recherche domestique.
Un index HNSW contient à la fois des vecteurs et un graphe de connexions. La compression des vecteurs ne peut donc pas réduire l’empreinte totale de l’index dans les mêmes proportions que les octets bruts des embeddings.
Produits recommandés
Centre Tech & IA
Plus à lire
Les caméras domestiques peuvent-elles synchroniser les événements sans services horaires cloud ?
Une explication axée sur les mécanismes de l’heure de la caméra sans cloud, ses compromis liés aux ressources partagées, trois FAQ sur la diffusion...
Un service d’IA local peut-il détecter les couches de modèle corrompues avant l’inférence ?
Une explication axée sur les mécanismes de la détection des couches de modèle corrompues, de ses compromis en matière de ressources partagées, de trois...
Un système RAG peut-il être restauré sans régénérer chaque embedding ?
Une explication de la restauration RAG sans réencodage, axée sur le mécanisme, de ses compromis en matière de ressources partagées, trois FAQ sur la...
