So messen Sie die lokale RAG-Abrufqualität und interpretieren Recall, Precision und Zitatabdeckung
Die Qualität von lokalem RAG lässt sich messen, wenn gekennzeichnete Belege, Retrieval-Metriken und Prüfungen von Zitaten auf Behauptungsebene getrennt an einem repräsentativen Abfragesatz bewertet werden.
Eine flüssige Antwort kann eine übersehene Quelle verbergen, während ein leistungsfähiger Retriever einem Generator korrekte Passagen liefern kann, die dieser schlecht zitiert. Beginnen Sie mit Abfragen, deren relevante Abschnitte bekannt sind, und bewerten Sie zunächst die Top-k-Liste, bevor Sie Antworten generieren. Die Zitatabdeckung gehört zur Antwortebene und darf nicht als Ersatz für den Recall des Retrievals verwendet werden.
Ground Truth erstellen, bevor eine Metrik berechnet wird
Ermitteln Sie für jede Testabfrage alle akzeptablen Belegabschnitte oder zumindest eine belastbare Bewertungsmenge. Beziehen Sie direkte Nachschlagefragen, Synthesefragen, Fälle mit Aktualitätsbezug, Abkürzungen, Sprachen und Berechtigungsgrenzen ein. Teilen Sie die zum Tuning verwendeten Fragen von einem zurückgehaltenen Testsatz.
Ein praxisnaher Überblick zur RAG-Bewertung empfiehlt, Retriever- und Generator-Komponenten getrennt zu bewerten, da End-to-End-Werte Fehler nicht lokalisieren können.
Bei einer großen Bibliothek kann die Ground Truth unvollständig sein. Führen Sie Ergebnisse mehrerer Retriever zusammen, bewerten Sie die Vereinigungsmenge und kennzeichnen Sie unsichere Fälle, anstatt jeden nicht bewerteten Abschnitt als irrelevant einzustufen. Schwache Labels erzeugen präzise wirkende, aber irreführende Metriken.
Recall und Precision beantworten unterschiedliche Fragen zum Retrieval
Recall@k ist die Anzahl der relevanten Abschnitte, die unter den Top k abgerufen wurden, geteilt durch die Gesamtzahl der bekannten relevanten Abschnitte. Precision@k ist die Anzahl der relevanten Abschnitte unter den Top k, geteilt durch k. Ein höheres k verbessert in der Regel den Recall, lässt aber mehr Rauschen zu. Daher sollten beide Metriken gemeinsam betrachtet werden.
Die klassischen Definitionen von Precision und Recall beschreiben diesen Zielkonflikt beim Information Retrieval. Die Rangposition wird dabei nicht berücksichtigt. Ergänzen Sie daher MRR oder nDCG, wenn frühe Belege wichtig sind.
Eine Abfrage mit einer relevanten Passage hat einen Recall@5 von 1,0, wenn diese Passage irgendwo unter fünf Ergebnissen erscheint, aber die Precision@5 beträgt nur 0,2. Das kann für einen Reranker akzeptabel, für einen Generator mit kleinem Kontext jedoch zu verrauscht sein. Die Metrikziele hängen vom nachgelagerten Belegbudget ab.
Die Zitatabdeckung prüft Behauptungen, nicht Links
Teilen Sie die generierte Antwort in überprüfbare Behauptungen auf. Die Zitatabdeckung ist der Anteil der belegten Behauptungen an allen Behauptungen, die einen Beleg erfordern. Bei der Zitatrichtigkeit wird geprüft, ob jede zitierte Passage die ihr zugeordnete Behauptung tatsächlich stützt. Eine Antwort kann viele Links enthalten und dennoch eine geringe Abdeckung aufweisen.
Aktuelle Arbeiten zu zitatbewusstem Retrieval bewerten die Abdeckung von Abfragen und die Verifizierbarkeit atomarer Behauptungen, weil ein einziger aggregierter Relevanzwert unbelegte Fragmente einer Antwort nicht sichtbar machen kann.
Die Zitatabdeckung verliert ihre Aussagekraft, wenn Behauptungen nicht konsistent segmentiert werden oder Allgemeinwissen und quellenpflichtige Behauptungen ohne klare Richtlinie vermischt werden. Außerdem kann sie nicht beweisen, dass die Antwort vollständig ist. Mehr Zitate bedeuten nicht automatisch eine bessere Fundierung.
Eine Entscheidungsregel verwenden, die die diagnostische Trennung bewahrt
Führen Sie zuerst das Retrieval aus und speichern Sie die IDs, Scores und Versionen der nach Rang geordneten Abschnitte. Berechnen Sie Recall@k, Precision@k sowie MRR oder nDCG. Generieren Sie anschließend aus den unveränderten Ergebnissen und bewerten Sie Faktentreue, Antwortrelevanz, Zitatabdeckung und Zitatrichtigkeit.
Eine kontrollierte Arbeit zu RAG-Bewertungsmetriken berichtet kontextbezogene Precision, kontextbezogenen Recall, Faktentreue und Antwortrelevanz gemeinsam und veranschaulicht, warum keine einzelne Punktzahl ausreicht.
Geben Sie eine Version nur frei, wenn der Recall des Retrievals seinen Mindestwert erreicht, die Precision innerhalb des Kontextbudgets bleibt und jede wesentliche Behauptung der Antwort belegt oder ausdrücklich eingeschränkt ist. Wenn der Recall scheitert, verbessern Sie Indexierung oder Retrieval. Wenn bei vorhandenen korrekten Belegen die Zitate scheitern, verbessern Sie Generierung und Attribution.
Ein gemeinsames Freigabegate für Retrieval und Zitate anwenden
Erstellen Sie für ein kleines Haushaltssystem mindestens 50 repräsentative Abfragen und erweitern Sie diese auf 100–200, wenn die Zahl der Dokumenttypen und Sprachen zunimmt. Bewerten Sie die Belege auf Rang 5 und Rang 10, frieren Sie die Ergebnismenge ein und prüfen Sie anschließend die generierten Behauptungen. Berichten Sie neben Makrodurchschnitten auch die schlechtesten Abfragesegmente.
Bewahren Sie den Test neben den Inhalten zur Bewertung von RAG-Formaten auf, damit tabellenlastige und narrative Quellen berücksichtigt und nicht gemeinsam gemittelt werden. Versionieren Sie jede Abschnitts-ID und jede Relevanzbewertung.
Verwenden Sie anfängliche Mindestwerte wie Recall@5 von 0,85 und eine Zitatrichtigkeit von 0,95 nur als lokale Einstiegshürden, nicht als universelle Standards. Verschärfen Sie sie abhängig vom Risiko. Opfern Sie niemals die Korrektheit von Berechtigungen oder unbelegte, wirkungsreiche Behauptungen zugunsten einer höheren aggregierten Punktzahl.
Empfohlene Produkte
Tech- & KI-Zentrum
Mehr zum Lesen
Warum wird die Berechnung von Smart-Home-Funktionen bei gleicher Abtastrate wichtiger, je mehr Sensoren vorhanden sind?
Verfolge die Berechnungen pro Sensor und über mehrere Sensoren hinweg, während die Anzahl der Geräte steigt, ermittle nichtlineare Fusionskosten und benchmarke die Feature-Pipeline, bevor...
Warum werden die Kosten der RAG-Evaluierung bei gleichbleibender Abfragezahl wichtiger, je größer die Dokumentbibliothek wird?
Verstehen Sie, warum das Wachstum des Korpus den Bewertungsaufwand für RAG ohne zusätzliche Nutzeranfragen erhöht und wie geschichtete Tests die Kosten an das Risiko...
Warum der Overhead von Agent-Tools bei gleicher Modellgröße mit zunehmender Anzahl der Workflow-Schritte wichtiger wird
Verfolge, wie sich serielle Wartezeiten, das Anwachsen des Kontexts, Wiederholungsversuche und Zuverlässigkeit über die einzelnen Agentenschritte hinweg summieren, und messe anschließend den Ausführungsaufwand getrennt...
