Quels facteurs entraînent une baisse du rappel de la recherche vectorielle dans les collections multilingues ?

La recherche vectorielle multilingue échoue souvent parce qu’un même espace d’embeddings n’aligne pas avec la même précision chaque langue, chaque écriture, chaque domaine et chaque requête avec changement de langue.

Une archive familiale peut mélanger des manuels en anglais, des reçus chinois, des notes en espagnol, des codes produit et des noms de fichiers écrits dans plusieurs systèmes d’écriture. Une requête peut exprimer le sens correct tout en se retrouvant éloignée du segment pertinent lorsque le modèle couvre mal une langue ou lorsque la segmentation supprime le contexte partagé. L’approximation de l’index peut amplifier cet écart de représentation, mais elle ne peut pas le corriger.

La couverture des embeddings est inégale selon les langues et les domaines

Les modèles multilingues apprennent une géométrie commune à partir de données d’entraînement inégalement réparties. Les langues disposant de nombreuses ressources et les domaines courants du Web bénéficient généralement de signaux d’alignement plus riches que les langues minoritaires, les abréviations familiales, les noms ou les termes techniques. Deux traductions peuvent donc occuper des voisinages différents même lorsqu’un humain les considère comme équivalentes.

Une vaste étude sur l’évaluation du RAG multilingue rapporte que la qualité de la récupération et de la génération varie selon les langues et que le contexte multilingue crée des difficultés supplémentaires. Cela met en garde contre l’idée de considérer la moyenne d’un benchmark multilingue comme la preuve d’un rappel équivalent dans toute une archive familiale.

Le choix du modèle fixe le plafond de représentation. Un modèle monolingue peut regrouper efficacement une langue et échouer entre plusieurs langues, tandis qu’un modèle multilingue peut sacrifier une partie de la précision intralingue au profit de l’alignement interlingue. Mesurez la récupération dans la même langue et entre les langues, plutôt que de supposer que l’une remplace l’autre.

La tokenisation et le découpage peuvent séparer des éléments probants équivalents

Les systèmes d’écriture diffèrent par les limites entre les mots, la morphologie, la densité des caractères et la ponctuation. Un segment fixe de 500 tokens couvre une quantité de sens différente en anglais, en chinois, dans les mots composés allemands ou dans un texte multilingue. L’OCR et la normalisation Unicode peuvent également séparer les accents ou des caractères visuellement similaires.

Des recherches sur la récupération interlingue étudient la récupération entre les langues à partir de données monolingues et montrent que les choix d’échantillonnage et de représentation modifient sensiblement le rappel. Cela justifie de tester la direction linguistique exacte plutôt que de se limiter à l’étiquette du modèle. Cette distinction reste visible lors des tests familiaux ultérieurs.

La segmentation adaptée à la langue doit préserver les titres, les phrases, les tableaux et les traductions parallèles. Stockez le texte normalisé pour les embeddings tout en conservant le texte original pour les citations ; une traduction ou une translittération agressive peut faciliter la correspondance, mais risque d’effacer les noms, les codes et la formulation nécessaires pour vérifier la source.

La recherche approximative et le déséquilibre linguistique creusent l’écart

Les index de plus proches voisins approximatifs sacrifient une partie du rappel exhaustif au profit de la vitesse. Lorsque les vecteurs interlingues pertinents sont déjà légèrement séparés, une faible largeur de recherche, une compression agressive ou un petit ensemble de candidats peut les éliminer avant le reclassement. Des quasi-doublons dans la langue dominante remplissent alors les premiers résultats.

Un benchmark indépendant des embeddings multilingues compare des modèles d’embeddings multilingues dans six langues et rapporte des comportements de récupération sensiblement différents selon le modèle et la langue. Sa leçon pratique est que les classements agrégés masquent les échecs propres à chaque direction. Le résultat intermédiaire doit rester inspectable avant toute automatisation.

La limite de l’évaluation apparaît avec un jeu de test dominé par l’anglais ou les traductions littérales. Il peut afficher un rappel moyen satisfaisant tandis que les surnoms, les changements de langue, les textes OCR et les paires de langues peu dotées échouent. Le reclassement ne peut pas récupérer des éléments qui n’entrent jamais dans l’ensemble des candidats.

Featured

ZimaCube 2 NAS personnel Cloud à domicile

ZimaCube2

$799.00 - $2,499.00

Buy Now

Construisez une matrice de rappel par paire de langues

Étiquetez cinquante questions familiales couvrant les cas dans la même langue, entre plusieurs langues, avec changement de langue, translittérés, issus de l’OCR et contenant des codes produit. Pour chaque requête, identifiez tous les segments probants acceptables et consignez la langue de la requête, la langue source, le système d’écriture, le type de document et la classe d’entité. Cette limite doit être mesurée séparément dans des conditions d’utilisation réalistes.

Utilisez la séparation d’évaluation présentée dans le comportement des embeddings multilingues pour calculer le Recall@k dans chaque direction plutôt qu’un total unique combiné. Répétez l’évaluation avec une segmentation adaptée à la langue, une largeur de recherche accrue, des candidats lexicaux et un reranker multilingue, tout en conservant le corpus fixe.

Choisissez les paramètres à partir de la paire de langues importante la plus faible, et non de la moyenne globale. Si le rappel ne s’améliore qu’après traduction des requêtes, conservez la formulation originale et le chemin de citation afin que l’aide à la correspondance ne produise pas des éléments impossibles à retracer. La conséquence pratique apparaît lorsque plusieurs sources se disputent un contexte limité.