Vilka faktorer avgör citeringsnoggrannheten för RAG i en hemkunskapsbas?

Eva Wong

IceWhale author

Eva Wong är Teknisk skribent och den boende fixaren på ZimaSpace. En livslång nörd med en passion för hemma-labb och öppen källkod, hon specialiserar sig på att översätta komplexa tekniska koncept till tillgängliga, praktiska guider. Eva tror att självhosting ska vara roligt, inte skrämmande. Genom sina handledningar ger hon gemenskapen verktyg att avmystifiera hårdvaruinstallationer, från att bygga sin första NAS till att bemästra Docker-containrar.

What Factors Determine RAG Citation Accuracy in a Home Knowledge Base?

RAG-citeringsprecision beror på att rätt källtextavsnitt hämtas och kopplas till det exakta påstående som det stöder, inte bara på att relevanta dokument listas.

En kunskapsbas i hemmet kan svara utifrån en försäkringspolicy, en bruksanvisning för en apparat eller en skannad faktura och ändå hänvisa till fel sida. Det korrekta dokumentet kan finnas med, medan den stödjande meningen har delats upp, rankats under ett annat textavsnitt eller kopplats till fel genererat påstående. Citeringskvalitet återspeglar därför inläsning, hämtning, generering, anpassning och versionshantering tillsammans.

Källans och textavsnittens kvalitet sätter bevisgränsen

OCR-fel, saknade tabeller, inaktuella kopior och förlorade rubriker förstör bevisningen innan hämtningen börjar. Gränserna mellan textavsnitt måste bevara påståendet, förbehållet och det identifierande sammanhang som behövs för att stödja ett påstående; ett fragment som bara innehåller ett tal kan matcha utan att visa vad talet mäter.

Forskning som jämför avancerade strategier för uppdelning i textavsnitt visar att valen kring dokumentsegmentering förändrar hämtningens prestanda, eftersom fasta textavsnitt kan dela upp begrepp eller blanda orelaterat material. Citeringsprecisionen kan inte överstiga kvaliteten på det textavsnitt som finns tillgängligt att hänvisa till.

Metadata bör bevara dokumentversion, sida, avsnitt och koordinater så att hänvisningen leder till granskningsbar bevisning. Dubbletthanteringen måste förhindra att inaktuella och aktuella kopior konkurrerar utan att radera den historiska version som användes för ett tidigare svar.

Hämtning och generering måste bevara anpassningen på påståendenivå

En hämtare kan returnera en tematiskt relevant sida som inte innebär det slutliga påståendet. Omrankningen bör prioritera direkt stöd, medan genereringen bör behålla påståendegränser och källidentifierare synliga så att varje faktamässig del kopplas till den bevisning som faktiskt finns i sammanhanget.

Forskning om citeringstrohet skiljer mellan citeringskorrekthet och citeringstrohet och rapporterar att till synes stödjande hänvisningar kan ha lagts till efter att modellen förlitat sig på annan information. Därför kan enbart ytlig överensstämmelse överskatta tilliten.

Citeringstäckning och korrekthet är separata. Ett svar kan hänvisa korrekt till två påståenden medan tre lämnas utan stöd, eller hänvisa varje mening till ett brett dokument som inte stöder något av dem exakt. Båda dimensionerna behöver mätas oberoende av varandra. Denna skillnad förblir synlig under senare tester i hemmet.

Efterbearbetning kan korrigera länkar men inte saknad bevisning

En verifierare kan jämföra varje genererat påstående med kandidatpassager, flytta en hänvisning till en bättre källa eller ta bort ett påstående utan stöd. Detta fångar anpassningsfel efter genereringen, men kan inte återställa bevisning som inläsningen eller hämtningen aldrig tillhandahöll.

Systemet för citeringskorrigering dubbelkontrollerar genererade hänvisningar mot hämtade artiklar och rapporterar förbättrad citeringsprecision till en begränsad extra kostnad. Resultaten visar värdet av ett särskilt anpassningssteg efter att svaret har utformats. Mellanresultatet måste förbli granskningsbart innan automatiseringen går vidare.

Felgränsen är ett självsäkert påstående utan en källa i den hämtade mängden som innebär påståendet. Verifieraren bör avstå från att svara, hämta igen eller ta bort påståendet i stället för att tilldela den mest liknande hänvisningen och få svaret att framstå som förankrat.

-15% OFF

ZimaBoard 2 - Minihemmserver för din stora idé

Single board computer zimaboard2

Mät citeringsstöd och täckning separat

Skapa femtio frågor med verifierade textsvar i rena PDF-filer, OCR-skanningar, tabeller, dubblettversioner och fall utan svar. Dela upp varje genererat svar i atomära påståenden och bedöm sedan om varje hänvisning innebär dess påstående och om varje faktamässigt påstående har en hänvisning.

Använd ramverket för precision, återkallning och täckning i utvärdering av RAG, men lägg till citeringsentailment, versionskorrekthet och en upplösningsbar sida eller region. Jämför resultaten efter dokumenttyp i stället för att bara rapportera ett enda sammanlagt resultat. Den gränsen bör mätas separat under realistiska driftsförhållanden.

Godkänn endast när hänvisningarna leder till aktuella, granskningsbara textavsnitt och påståenden utan stöd utlöser avstående eller ett nytt hämtningsförsök. När en källa är relevant men inte innebär meningen ska det räknas som en felaktig hänvisning, inte som delvis framgång.