Kalibrierung des Scores für die private Suche: Wie aus roher Ähnlichkeit ein brauchbares Vertrauenssignal wird

Die Kalibrierung von Suchwerten wandelt rohe Ähnlichkeitswerte in ein nutzbares Vertrauenssignal um, indem sie die Werte mit der beobachteten Relevanz für eine definierte private Suchaufgabe in Beziehung setzt.

Ein Kosinuswert von 0,82 kann für ein Embedding-Modell hervorragend und für ein anderes gewöhnlich sein. Seine Bedeutung ändert sich außerdem je nach Chunking, Dokumentsprache, Schwierigkeit der Anfrage und Dichte des Korpus. Bei der Kalibrierung werden markierte Beispiele verwendet, um zu schätzen, wie häufig Ergebnisse in einem bestimmten Wertebereich tatsächlich relevant sind. Dadurch können Schwellenwerte und Regeln zur Enthaltung die Evidenz statt der Intuition widerspiegeln.

Ähnlichkeit ordnet Kandidaten, drückt aber keine Wahrscheinlichkeit aus

Kosinusähnlichkeit, Skalarprodukt und Distanz sind geometrische Rangsignale. Sie vergleichen einen Anfragevektor mit Dokumentvektoren unter Verwendung eines bestimmten Modells und einer bestimmten Normalisierung. Selbst wenn der Wert zwischen null und eins liegt, bedeutet er nicht automatisch eine entsprechende prozentuale Relevanzwahrscheinlichkeit.

Die Indexübersicht von Pinecone erklärt, dass die semantische Suche Datensätze zurückgibt, die einem Anfragevektor am nächsten liegen. Dieser Mechanismus bestimmt die relative Nachbarschaft, doch die Skala des Rohwerts hängt weiterhin von Metrik, Encoder, Korpus und Anfrage ab. Dieser Unterschied bleibt auch unter realistischen Bedingungen im Haushalt wichtig.

Ein aus einer anderen Bereitstellung übernommener Schwellenwert kann daher gute Treffer aus dem Haushalt ablehnen oder plausible Ablenkungen akzeptieren. Der erste Schritt besteht darin, Relevanz für die vorgesehene Aufgabe zu definieren, etwa danach, ob ein Chunk eine Antwort direkt unterstützt und nicht lediglich dasselbe Thema behandelt.

Markierte Anfragen ordnen Wertebereiche empirischen Ergebnissen zu

Erstelle eine zurückgehaltene Sammlung realistischer Anfragen und bewerte die Kandidaten-Chunks als unterstützend, thematisch relevant oder irrelevant. Ein Kalibrierungsverfahren wie die logistische Regression, die isotonische Regression oder eine gruppierte Zuordnung zur Zuverlässigkeit kann anschließend Rohwerte und zusätzliche Merkmale mit beobachteten Relevanzhäufigkeiten verknüpfen.

Forschungen zur Kalibrierung von Suchergebnissen argumentieren, dass die Unsicherheit der Suche den Punktwert ergänzen sollte, und zeigen ranglistenbasierte Kalibrierung sowie die Vorhersage von Grenzwerten. Dies spricht dafür, Validierungsdaten zu verwenden, um ein Entscheidungssignal zu erlernen, statt den Ranglistenwert direkt zu interpretieren.

Kalibrierung ist bedingt. Für Sprachen, Dokumenttypen oder Anfrageklassen können separate Zuordnungen erforderlich sein, wenn sich deren Werteverteilungen unterscheiden. Das Ergebnis kann die Enthaltung steuern, eine umfassendere Suche anfordern oder eine Neurangierung auslösen. Die Qualität der Rangfolge sollte jedoch weiterhin unabhängig gemessen werden.

Änderungen an Korpus und Modell verursachen Kalibrierungsdrift

Das Hinzufügen vieler nahezu identischer Dokumente, eine Änderung der Chunk-Größe, die Aktualisierung eines Embedding-Modells oder die Aktivierung einer hybriden Suche verändert die Verteilungen von Kandidaten und Werten. Ein zuvor zuverlässiger Schwellenwert kann dadurch übermäßig zuversichtlich werden, selbst wenn der Top-k-Recall stabil erscheint. Der Zwischenzustand sollte bei späterer Diagnose und Überprüfung weiterhin sichtbar bleiben.

Die Dokumentation von Scikit-learn zur Zuverlässigkeitskalibrierung unterscheidet die Zuverlässigkeit von Wahrscheinlichkeiten von der reinen Vorhersageleistung und stellt Zuverlässigkeitsdiagramme sowie Kalibrierungsmethoden vor. Dieselbe Evaluationslogik gilt, nachdem ein Suchwert als Relevanzwahrscheinlichkeit modelliert wurde.

Die Fehlergrenze liegt dort, wo kalibriertes Vertrauen außerhalb der Daten und der Entscheidungsdefinition verwendet wird, mit denen es angepasst wurde. Kalibrierung kann fehlende Evidenz, verzerrte Markierungen oder eine falsche Entitätszuordnung nicht beheben; sie schätzt lediglich die beobachtete Korrektheit unter vergleichbaren Bedingungen.

-15% OFF

ZimaBoard 2 – Mini-Heimserver für Ihre große Idee

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Erstelle ein Zuverlässigkeitsdiagramm für die Suche

Sammle mindestens fünfzig repräsentative Haushaltsanfragen mit bewerteten Kandidaten-Chunks und halte eine separate Testaufteilung zurück. Teile die vorhergesagte Sicherheit in Gruppen ein, vergleiche jede Gruppe mit ihrer beobachteten Relevanzrate und erfasse den Kalibrierungsfehler zusammen mit Recall, Präzision, Ranglistenqualität und Abdeckung.

Verwende den Evaluationsrahmen für die RAG-Suchevaluation, um die Suchqualität von der Abdeckung der Antwortzitate getrennt zu halten. Teste direkte Fragen, Abkürzungen, mehrsprachige Anfragen, OCR-Text und Fälle ohne Antwort, da sich deren Werteverteilungen unterscheiden können. Diese Abhängigkeit muss separat gemessen werden, bevor die Automatisierung aktiviert wird.

Lege einen Schwellenwert für Enthaltung oder Neurangierung erst fest, nachdem die Kosten einer falschen Annahme und einer falschen Ablehnung gemessen wurden. Passe das Modell neu an oder validiere es erneut, sobald sich Encoder, Chunking, Fusion oder Korpuszusammensetzung ändern. Andernfalls sollte der Wert als Ähnlichkeit und nicht als Vertrauen angezeigt werden.