Warum nennt eine RAG-Pipeline die richtige Datei, aber die falsche Textstelle?

Eine RAG-Pipeline kann die richtige Datei, aber die falsche Passage zitieren, wenn die Dokumenterkennung erfolgreich ist, der Chunk-Abruf oder die Zuordnung der Zitate jedoch fehlschlägt.

Große Dateien enthalten häufig zahlreiche Abschnitte mit übereinstimmender Terminologie, wiederholten Überschriften, ähnlichen Beispielen oder mehreren Versionen derselben Information. Ein Retriever auf Dateiebene kann das relevante Handbuch, den richtigen Bericht oder die passende Notiz erkennen, während die passagenbasierte Stufe einen benachbarten Chunk auswählt. Das Antwortmodell kann das fehlende Detail dann aus seinem eigenen Wissen oder einem anderen Chunk ableiten, aber die Metadaten der ausgewählten Datei anhängen. Zuverlässige Zitate erfordern daher unabhängige Korrektheit auf Dokument-, Seiten-, Chunk-, Textstellen- und Generierungsstufe.

Dokument-Recall und Passagen-Recall sind unterschiedliche Abrufprobleme

Eine Datei kann weit oben eingestuft werden, weil ihr Titel, ihre Metadaten oder ihr gesamtes Embedding zur Frage passen. Das beweist jedoch nicht, dass der Absatz mit der Antwort in der Menge der abgerufenen Chunks enthalten ist.

Ein praxisorientierter Leitfaden zu RAG-Fehlern unterscheidet Ebenen von Retrieval-Fehlern und empfiehlt, die exakten Chunks statt nur die endgültige Antwort zu prüfen.

Die Pipeline sollte Dokument-Recall, Seiten-Recall und Chunk-Recall getrennt messen. Ein korrekter Dateiname kann darüber hinwegtäuschen, dass die relevante Antwortstelle übersehen wurde.

Chunk-Grenzen können Belege und Kontext voneinander trennen

Bei einer Aufteilung in Blöcke fester Größe können Überschrift, Aussage sowie Ausnahme oder Tabellenbeschriftung in drei verschiedene Chunks fallen.

Der Leitfaden von Edtek beschreibt, wie falsche Chunk-Grenzen Passagen erzeugen, die zwar die Suchanfrage erwähnen, aber nicht die vollständige Antwort enthalten.

Der Retriever kann dennoch die richtige Datei auswählen, weil viele Chunks dasselbe Thema behandeln. Der Generator erhält eine unvollständige Passage und zitiert die Quelle auf Dateiebene, als würde sie die Aussage belegen.

Strukturelle Chunk-Aufteilung, Parent-Child-Retrieval und die Erweiterung um benachbarte Chunks helfen nur, wenn die Quellpositionen weiterhin nachvollziehbar sind.

Zitiermetadaten können der falschen Granularität zugeordnet werden

Manche Pipelines kopieren eine Dokument-URL oder einen Dateinamen auf jeden Chunk, ohne Seite, Abschnitt, Begrenzungsrahmen oder Zeichenpositionen zu speichern.

Der Zitierleitfaden von Tensorlake zeigt, wie räumliche Anker von der Dokumentvorverarbeitung über den Abruf bis zur Antwortgenerierung weitergegeben werden können.

Ein dateibasierter Verweis belegt, aus welchem Korpusobjekt die Information stammt, nicht, welche Bytes den Satz stützen. Zitate auf Passagenebene benötigen eine stabile Chunk-ID sowie Positionsmetadaten.

OCR, PDF-Neuformatierung und bearbeitete Dokumente können Positionsangaben ungültig machen, sofern das Zitat nicht zusätzlich den indexierten Snapshot oder den Inhaltshash speichert.

Featured

ZimaCube 2 Persönliche Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Ähnliche Passagen können dazu führen, dass der Generator IDs vermischt

Der Kontext kann mehrere Chunks derselben Datei mit ähnlicher Sprache enthalten. Das Modell kann den Inhalt einer Passage verwenden, aber das Zitatlabel eines anderen, benachbarten Chunks ausgeben.

Ein Artikel zu zitierkritischem RAG warnt, dass Fehler bei benachbarten Passagen selbst dann möglich sind, wenn das zitierte Dokument maßgeblich ist.

Versehen Sie Chunks mit eindeutigen, klar voneinander unterscheidbaren IDs und platzieren Sie das Zitat direkt neben dem unterstützenden Text. Wenn das Modell sich nach der Synthese eine separate Zitierzuordnung merken muss, steigt das Risiko von Abweichungen.

Eine deterministische Prüfung von Zitat und Chunk kann erkennen, wenn die zitierte Passage den behaupteten oder wörtlich zitierten Text nicht enthält.

Das Reranking muss die Unterstützung durch die Passage bewerten, nicht nur die thematische Ähnlichkeit

Ein Retriever der ersten Stufe kann viele Chunks aus der richtigen Datei liefern. Ein Reranker sollte den Abschnitt, der die Frage direkt beantwortet, von Abschnitten unterscheiden, die lediglich dasselbe Thema behandeln.

Der Chunking-Leitfaden von Databricks betont, dass kohärente Abrufeinheiten erforderlich sind, bevor nachgelagerte Abrufstufen Passagen präzise einstufen können.

Führen Sie das Reranking mit der vollständigen Suchanfrage durch, bewahren Sie Überschrift und übergeordneten Kontext der Passage und werten Sie Chunks ab, denen das angeforderte Feld, Datum, die Entität oder die verlangte Belegart fehlt.

Der Dokumentensuch-Workflow von ZimaSpace behandelt diese als separate Stufen und nicht als eine allgemeine Bewertung der „RAG-Qualität“.

Prüfen Sie die exakte Passage, bevor Sie das Zitat darstellen

Ordnen Sie nach der Generierung jeden faktischen Satz und jedes Zitat dem Chunk zu, der die entsprechende Aussage stützt. Verwerfen Sie Zitate, die lediglich auf die richtige Datei verweisen.

Infolitz empfiehlt, Zitate an belegführende Chunks anzuhängen, statt sie auf Dateiebene nachträglich zu rekonstruieren.

Bewerten Sie die Präzision der Passage, die Vollständigkeit der Belege, die Übereinstimmung wörtlicher Zitate, die Gültigkeit der Zitatpositionen und die Frage, ob die zitierte Textstelle die exakt generierte Aussage stützt.

Das System ist erst dann repariert, wenn ein Klick auf das Zitat die kleinste ausreichende Passage öffnet – nicht lediglich irgendwo in der Nähe der Antwort das richtige Dokument.