Welke factoren bepalen de nauwkeurigheid van RAG-citaten in een persoonlijke kennisbank?

Eva Wong

IceWhale author

Eva Wong is de Technisch Schrijver en en vaste knutselaar bij ZimaSpace. Een levenslange geek met een passie voor homelabs en open-source software, zij is gespecialiseerd in het vertalen van complexe technische concepten naar toegankelijke, praktische handleidingen. Eva gelooft dat zelf-hosting leuk moet zijn, niet intimiderend. Met haar tutorials stelt ze de community in staat om hardware-setup te ontrafelen, van het bouwen van hun eerste NAS tot het beheersen van Docker-containers.

What Factors Determine RAG Citation Accuracy in a Home Knowledge Base?

De nauwkeurigheid van RAG-citaten hangt af van het ophalen van het juiste bronfragment en het koppelen daarvan aan de exacte bewering die het ondersteunt, niet alleen van het opsommen van relevante documenten.

Een kennisbank voor thuisgebruik kan antwoorden uit een verzekeringspolis, handleiding van een apparaat of gescande factuur en toch naar de verkeerde pagina verwijzen. Het juiste document kan aanwezig zijn terwijl de ondersteunende zin is opgesplitst, lager is gerangschikt dan een ander fragment of aan de verkeerde gegenereerde bewering is gekoppeld. De kwaliteit van citaten weerspiegelt daarom de inname, het ophalen, de generatie, de afstemming en het versiebeheer als geheel.

De kwaliteit van bronnen en fragmenten bepaalt de bovengrens van het bewijs

OCR-fouten, ontbrekende tabellen, verouderde kopieën en verdwenen koppen vervormen het bewijs voordat het ophalen begint. Fragmentgrenzen moeten de bewering, de kwalificatie en de identificerende context behouden die nodig zijn om een bewering te ondersteunen; een fragment dat alleen een getal bevat, kan overeenkomen zonder te bewijzen wat het meet.

Onderzoek waarin geavanceerde fragmentatiestrategieën worden vergeleken, laat zien dat keuzes voor documentsegmentatie de prestaties van het ophalen veranderen, omdat vaste fragmenten concepten kunnen opsplitsen of niet-gerelateerd materiaal kunnen vermengen. De nauwkeurigheid van citaten kan niet hoger zijn dan de kwaliteit van het beschikbare bronfragment.

Metadata moet de documentversie, pagina, sectie en coördinaten behouden, zodat het citaat naar controleerbaar bewijs verwijst. Deduplicatie moet voorkomen dat verouderde en actuele kopieën met elkaar concurreren, zonder de historische versie te verwijderen die voor een eerder antwoord is gebruikt.

Ophalen en genereren moeten de afstemming op beweringsniveau behouden

Een retriever kan een thematisch relevante pagina teruggeven die de uiteindelijke zin niet ondersteunt. Herordening moet directe ondersteuning prioriteren, terwijl generatie de grenzen van beweringen en bron-ID's zichtbaar moet houden, zodat elk feitelijk fragment aan het bewijs wordt gekoppeld dat daadwerkelijk in de context aanwezig is.

Onderzoek naar getrouwheid van citaten maakt onderscheid tussen de juistheid en de getrouwheid van citaten en meldt dat ogenschijnlijk ondersteunende citaten kunnen zijn toegevoegd nadat het model op andere informatie had gesteund. Daarom kan oppervlakkige overeenstemming het vertrouwen te hoog inschatten.

Dekking en juistheid van citaten zijn afzonderlijke zaken. Een antwoord kan twee beweringen nauwkeurig citeren en drie andere onbewezen laten, of elke zin naar één breed document laten verwijzen dat geen enkele zin precies ondersteunt. Beide dimensies moeten onafhankelijk worden gemeten. Dit onderscheid blijft zichtbaar tijdens latere tests in huishoudelijke situaties.

Nabewerking kan koppelingen herstellen, maar ontbrekend bewijs niet aanvullen

Een verificateur kan elke gegenereerde bewering vergelijken met kandidaatpassages, een citaat naar een betere bron verplaatsen of een onbewezen bewering verwijderen. Dit vangt afstemmingsfouten na de generatie op, maar kan geen bewijs terughalen dat bij de inname of het ophalen nooit is aangeleverd.

Het systeem voor citaatcorrectie controleert gegenereerde citaten aan de hand van opgehaalde artikelen en rapporteert een verbeterde nauwkeurigheid van citaten tegen beperkte extra kosten. De resultaten tonen de waarde aan van een speciale afstemmingsfase na het opstellen van een antwoord. Het tussenresultaat moet controleerbaar blijven voordat automatisering wordt uitgevoerd.

De faalgrens is een zelfverzekerde bewering waarvoor in de opgehaalde verzameling geen bron staat die de bewering ondersteunt. De verificateur moet zich onthouden, opnieuw zoeken of de bewering verwijderen, in plaats van het citaat dat er het meest op lijkt toe te wijzen en het antwoord gefundeerd te laten lijken.

-15% OFF

ZimaBoard 2 - Mini-thuisserver voor jouw grote idee

Single board computer zimaboard2

Beoordeel ondersteuning en dekking van citaten afzonderlijk

Stel vijftig vragen op met geverifieerde antwoordfragmenten in schone pdf's, OCR-scans, tabellen, dubbele versies en gevallen zonder antwoord. Splits elk gegenereerd antwoord op in atomische beweringen en beoordeel vervolgens of elk citaat de bewering ondersteunt en of elke feitelijke bewering een citaat heeft.

Gebruik het raamwerk voor recall, precisie en dekking in het RAG-evaluatieraamwerk, maar voeg citaat-entailment, juistheid van de versie en een resolveerbare pagina of regio toe. Vergelijk de resultaten per documenttype in plaats van slechts één totaalscore te rapporteren. Deze grens moet afzonderlijk worden gemeten onder realistische bedrijfsomstandigheden.

Laat het systeem alleen slagen wanneer citaten naar actuele, controleerbare fragmenten verwijzen en onbewezen beweringen leiden tot onthouding of een nieuwe zoekpoging. Wanneer een bron relevant is maar de zin niet ondersteunt, tel dit dan als een onnauwkeurig citaat en niet als gedeeltelijk succes.