Quels facteurs déterminent la précision des citations RAG dans une base de connaissances domestique ?

La précision des citations RAG dépend de la récupération du bon passage source et de son association à l’affirmation exacte qu’il étaye, et pas simplement de l’énumération de documents pertinents.

Une base de connaissances domestique peut répondre à partir d’une police d’assurance, d’un manuel d’appareil ou d’une facture numérisée, tout en citant la mauvaise page. Le bon document peut être présent alors que la phrase justificative a été scindée, classée derrière un autre fragment ou associée à la mauvaise affirmation générée. La qualité des citations reflète donc conjointement l’ingestion, la récupération, la génération, l’alignement et le contrôle des versions.

La qualité des sources et des fragments détermine le plafond des preuves

Les erreurs d’OCR, les tableaux manquants, les copies obsolètes et les titres perdus altèrent les preuves avant même le début de la récupération. Les limites des fragments doivent préserver l’énoncé, le qualificatif et le contexte d’identification nécessaires pour étayer une affirmation ; un fragment contenant uniquement un nombre peut correspondre sans prouver ce qu’il mesure.

Des recherches comparant les stratégies avancées de segmentation montrent que les choix de segmentation des documents modifient les performances de récupération, car les fragments de taille fixe peuvent scinder des concepts ou mélanger des éléments sans rapport. La précision des citations ne peut pas dépasser la qualité du passage disponible à citer.

Les métadonnées doivent conserver la version du document, la page, la section et les coordonnées afin que la citation renvoie à une preuve vérifiable. La déduplication doit empêcher les copies obsolètes et actuelles de se concurrencer sans supprimer la version historique utilisée par une réponse antérieure.

La récupération et la génération doivent préserver l’alignement au niveau des affirmations

Un récupérateur peut renvoyer une page pertinente sur le plan thématique sans qu’elle implique la phrase finale. Le reclassement doit privilégier l’étayage direct, tandis que la génération doit conserver les limites des affirmations et les identifiants des sources visibles afin que chaque passage factuel corresponde aux preuves réellement présentes dans le contexte.

Les recherches sur la fidélité des citations distinguent la correction des citations de leur fidélité et indiquent que des citations apparemment justificatives peuvent être associées après que le modèle s’est appuyé sur d’autres informations. C’est pourquoi une simple concordance de surface peut surestimer la confiance.

La couverture et la correction des citations sont distinctes. Une réponse peut citer correctement deux affirmations tout en en laissant trois sans preuve, ou citer chaque phrase à partir d’un seul document général qui n’en étaye aucune précisément. Ces deux dimensions nécessitent des mesures indépendantes. Cette distinction reste visible lors des tests domestiques ultérieurs.

Le post-traitement peut corriger les liens, mais pas les preuves manquantes

Un vérificateur peut comparer chaque affirmation générée avec des passages candidats, déplacer une citation vers une meilleure source ou supprimer une affirmation non étayée. Cela permet de détecter les erreurs d’alignement après la génération, mais pas de récupérer des preuves que l’ingestion ou la récupération n’ont jamais fournies.

Le système de correction des citations vérifie les citations générées par rapport aux articles récupérés et rapporte une amélioration de la précision des citations à un coût supplémentaire limité. Ses résultats démontrent l’intérêt d’une étape d’alignement dédiée après la rédaction de la réponse. Le résultat intermédiaire doit rester vérifiable avant la mise en œuvre de l’automatisation.

La limite d’échec correspond à une affirmation formulée avec assurance, sans source impliquante dans l’ensemble récupéré. Le vérificateur doit s’abstenir, effectuer une nouvelle récupération ou supprimer l’affirmation, plutôt que d’attribuer la citation qui semble la plus proche et de donner l’apparence d’une réponse étayée.

-15% OFF

ZimaBoard 2 - Mini serveur domestique pour votre grande idée

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Évaluez séparément l’étayage et la couverture des citations

Constituez cinquante questions avec des passages de réponse vérifiés couvrant des PDF propres, des numérisations OCR, des tableaux, des versions dupliquées et des cas sans réponse. Divisez chaque réponse générée en affirmations atomiques, puis évaluez si chaque citation implique son affirmation et si chaque affirmation factuelle possède une citation.

Utilisez le cadre de rappel, de précision et de couverture présenté dans le cadre d’évaluation du RAG, mais ajoutez l’implication de la citation, l’exactitude de la version et une page ou une région résoluble. Comparez les résultats par type de document au lieu de ne communiquer qu’un score agrégé. Cette limite doit être mesurée séparément dans des conditions d’utilisation réalistes.

Ne validez que lorsque les citations renvoient à des passages actuels et vérifiables et que les affirmations non étayées déclenchent une abstention ou une nouvelle tentative de récupération. Lorsqu’une source est pertinente, mais n’implique pas la phrase, comptez-la comme une citation inexacte plutôt que comme une réussite partielle.