Wie reduziert Maximal Marginal Relevance redundante RAG-Belege?

Maximale marginale Relevanz reduziert redundante RAG-Belege, indem Passagen sowohl nach ihrer Relevanz für die Anfrage als auch nach ihrer Neuheit im Verhältnis zu bereits ausgewählten Belegen ausgewählt werden.

Ein privates RAG-System zu Hause kann mehrere Abschnitte aus demselben Absatz eines Handbuchs, sich überschneidende Scans, doppelte Notizen oder benachbarte Abschnitte abrufen, weil sie alle der Anfrage sehr ähnlich sind. Eine reine Top-k-Ähnlichkeit behandelt solche nahezu doppelten Ergebnisse einzeln als besonders stark. MMR fügt eine zweite Beziehung hinzu: Jedes nächste Ergebnis muss die Anfrage weiterhin beantworten, wird aber zusätzlich mit den Passagen verglichen, die bereits einen Platz in der Belegmenge erhalten haben.

MMR beginnt, nachdem ein Retriever einen Kandidatenpool erstellt hat

MMR durchsucht normalerweise nicht die gesamte Vektorsammlung von Grund auf. Zunächst erstellt ein schneller lexikalischer, Vektor- oder hybrider Retriever eine größere Kandidatenmenge, deren Mitglieder plausibel genug sind, um berücksichtigt zu werden.

Das Ziel der maximalen marginalen Relevanz gleicht die Relevanz für die Anfrage mit der Redundanz gegenüber bereits ausgewählten Elementen aus. Dadurch hängt die Rangfolge von der sich entwickelnden Ergebnismenge und nicht von isolierten Kandidatenwerten ab.

Wenn der anfängliche Pool die richtige Passage nie enthält, kann MMR sie nicht erfinden. Die Kandidatentiefe bleibt daher eine Grenze für den Recall: Ein größerer Pool bietet dem Diversifizierungsschritt mehr Alternativen, während ein übermäßig breiter Pool schwaches Material hinzufügt, das später verworfen werden muss.

Jede Auswahl gleicht die Passung zur Anfrage mit der Ähnlichkeit zu den ausgewählten Belegen ab

Die erste ausgewählte Passage wird normalerweise hauptsächlich durch ihre Relevanz bestimmt, da noch nichts ausgewählt wurde. Danach wird jeder verbleibende Kandidat anhand zweier Faktoren bewertet: Wie gut passt er zur Anfrage, und wie stark ähnelt er den bereits ausgewählten Belegen?

In einem iterativen Auswahlprozess verändert jede akzeptierte Passage die auf die verbleibenden Kandidaten angewendete Redundanzstrafe. Dadurch hängt die nächste Auswahl sowohl von der Passung zur Anfrage als auch vom bereits vorhandenen Kontext ab.

Damit ändert sich die Ranglistenaufgabe von einer unabhängigen Bewertung hin zum Aufbau einer Menge. Eine Passage kann einen hervorragenden Anfragewert haben und dennoch nach unten rutschen, wenn sie dieselbe Tatsache wie das erste Ergebnis wiederholt.

Für ein Heimarchiv kann das bedeuten, einen Absatz auszuwählen, der die Backup-Richtlinie beschreibt, einen weiteren, der die Ausnahme bei der Aufbewahrung aufführt, und einen dritten aus dem Wiederherstellungsverfahren, anstatt drei sich überschneidende Kopien des Richtlinienabsatzes zurückzugeben.

Der Diversifizierungsfaktor steuert, wie stark nahezu doppelte Ergebnisse nach unten verschoben werden

MMR benötigt einen Ausgleichsparameter, da Relevanz und Neuheit miteinander in Konflikt geraten können. Eine Einstellung nahe dem relevanzorientierten Ende verhält sich eher wie eine gewöhnliche Top-k-Rangliste, während eine diversitätsorientierte Einstellung eher bereit ist, etwas direkte Ähnlichkeit gegen andere Belege einzutauschen.

Ein anpassbarer Ausgleich zwischen Relevanz und Diversität bestimmt, wie bereitwillig der Selektor etwas direkte Ähnlichkeit zugunsten von Belegen aufgibt, die andere Informationen beitragen.

Die geeignete Einstellung hängt von der Frage ab. Eine Anfrage nach einer bestimmten Seriennummer profitiert von einer starken Gewichtung der Relevanz, während eine Frage danach, warum ein Backup auf einem Heimserver fehlgeschlagen ist, unabhängige Belege aus Protokollen, Konfiguration, Speicherstatus und Scheduler-Verlauf benötigen kann.

Zu viel Diversität kann eine zweite Passage nach unten verschieben, die die erste tatsächlich sinnvoll bestätigt oder qualifiziert. Das Ziel ist daher nicht maximale Verschiedenheit, sondern genug Unterschiedlichkeit, um den knappen Kontext mit zusätzlichen Informationen zu füllen.

Featured

ZimaCube 2 Persönliche Cloud Home NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

MMR funktioniert am besten, wenn doppelte Chunks weiterhin aussagekräftige Ähnlichkeitssignale tragen

Überlappende Chunk-Aufteilung, kopierte Dateien, wiederholte Überschriften und versionierte Dokumente können Kandidaten erzeugen, die semantisch nahezu identisch sind. Das sind günstige Bedingungen für MMR, da sich Redundanz direkt in der Ähnlichkeit zwischen den Kandidaten zeigt.

MMR-basierte Diversifizierung kann eine vorhandene Kandidatenmenge neu bewerten, ohne dass jedes nahezu doppelte Ergebnis zuvor physisch aus dem Vektorindex entfernt werden muss.

Zwei Passagen können jedoch dieselbe Tatsache mit unterschiedlichem Vokabular oder in unterschiedlichen Formaten wiederholen. Eine Tabellenzeile und ein Satz im Fließtext können für einen Menschen redundant sein, während ihre Vektorähnlichkeit nur mittelmäßig ausfällt. Deshalb ergänzt MMR die quellenbezogene Deduplizierung, anstatt sie zu ersetzen. Dokument-IDs, Versionsmetadaten, übergeordnete Gruppierungen und die Erfassung von Überschneidungen können strukturelle Duplikate entfernen, bevor die semantische Diversität angewendet wird.

Vielfältigere Belege geben dem Generator ein besseres Kontextbudget

Lokale Antwortmodelle verfügen über einen begrenzten Kontext und eine begrenzte Aufmerksamkeitsspanne. Wenn sechs Abrufplätze mit nahezu identischen Passagen gefüllt werden, werden Token verschwendet, ohne die Zahl der unabhängig nützlichen Fakten zu erhöhen, die das Modell prüfen kann.

Da RAG-Belegeinheiten während der Aufnahme festgelegt werden, kann MMR nur zwischen den Chunks diversifizieren, die Parser und Chunker tatsächlich für den Abruf bereitgestellt haben.

Eine vielfältigere Menge kann eine Ausnahme, ein zweites Dokument, eine neuere Revision oder eine unterstützende Tabelle sichtbar machen, die bei einer gewöhnlichen Ähnlichkeitsrangfolge unter wiederholten Chunks verborgen geblieben wäre.

Der Generator benötigt weiterhin eine nachvollziehbare Herkunft und sorgfältige Zitierweise. Diversität macht die Belegmenge weniger repetitiv, beweist jedoch nicht, dass jede ausgewählte Passage korrekt, aktuell oder maßgeblich ist.

MMR kann fehlende, veraltete oder fehlerhaft geparste Belege nicht reparieren

MMR arbeitet mit der Darstellung, die es erhält. Wenn OCR eine Tabelle abgeflacht hat, die Chunk-Aufteilung eine Einschränkung abgetrennt hat, ein Metadatenfilter die aktuelle Datei ausgeschlossen hat oder das Einbettungsmodell die Anfrage nicht angemessen repräsentiert, verfügt der Diversifizierungsschritt über keine verlässlichen Belege, die er hervorheben könnte.

Die Verwendung einer Suche mit maximaler marginaler Relevanz verändert, welche verfügbaren Kandidaten in die endgültige Menge aufgenommen werden. Sie behebt jedoch keine Extraktionsfehler und erzeugt keine fehlenden Belege.

Bewerte sie mit Abrufmetriken, die auch die Duplikatrate und die Belegabdeckung berücksichtigen, nicht nur die Relevanz des ersten Ergebnisses. Ein sinnvoller Testsatz sollte sich überschneidende Chunks, wiederholte Versionen und Fragen enthalten, deren Antwort mehr als eine unabhängige Passage erfordert.

MMR ist erfolgreich, wenn der endgültige Kontext die stärksten relevanten Belege bewahrt und redundante Plätze durch Passagen ersetzt, die tatsächlich neue Unterstützung liefern.