Varför ser lokala RAG-svar bättre ut för narrativa dokument än för kalkylblad?
Local RAG svarar ofta bättre på narrativa dokument eftersom vanlig chunkning bevarar prosans kontext men bryter den relationella struktur som ger kalkylbladsceller sin betydelse.
Ett policyavsnitt innehåller sitt ämne och sina förbehåll i närliggande meningar, medan ”42” i en arbetsbok kan vara beroende av en radetikett, ett kolumndatum, en enhet, en formel och ett bladnamn. När en hemserver omvandlar båda till ren text bevaras narrativet mer troget än rutnätet och dess dolda relationer mellan celler under genereringen av förankrade svar.
Narrativa textblock bär med sig sin egen semantiska omgivning
Prosa upprepar entiteter, verb och kausala relationer i angränsande meningar. Ett textblock med fast storlek innehåller vanligtvis tillräckligt med språk för att en embedding ska representera ämnet och för att en generator ska kunna tolka evidensen. Överlappning kan bevara en mening som sträcker sig över en gräns.
En tabellcentrerad RAG-metod konstaterar att konventionell RAG fungerar väl för narrativ text men brister när viktig information finns i tabeller och strukturer. Skillnaden uppstår före genereringen, under representation och hämtning.
Narrativ kvalitet kan fortfarande vara missvisande: välformulerade avsnitt uppmuntrar till välformulerade svar även när fel textblock hämtades. Den jämförande fördelen är strukturellt bevarande, inte en garanti för att svaren på prosa är faktamässigt korrekta.
Kalkylbladets betydelse finns i koordinater och operationer
En cells betydelse kommer från relationer längs flera axlar. Om raderna plattas ut en efter en kan rubriker, sammanfogade etiketter, formler, dolda blad eller enheter kopplas bort. Embeddings jämför då isolerade strängar i stället för den operation som frågan kräver, till exempel att filtrera ett kvartal och summera en kategori.
Forskning om tabelltopologi modellerar text och tabelltopologi explicit eftersom hybriddokument innehåller kopplingar som vanliga linjära textblock förlorar. När närhet och hierarki bevaras förändras vilken evidens som kan återfinnas.
Även perfekt hämtning räcker kanske inte för att besvara en kalkylbladsfråga. Generatorn måste välja celler, respektera datatyper, utföra aritmetik och ange koordinater. En språkmodell som sammanfattar ett stycke väl kan fortfarande kasta om kolumner eller beräkna utifrån formaterad visningstext.
När narrativ RAG förlorar sin fördel
Den narrativa fördelen försvinner när dokument innehåller täta korsreferenser, långa bilagor eller fakta som är separerade från sina definitioner. Omvänt kan kalkylblad med tydliga rubriker, välordnade rader och ett semantiskt frågelager vara enklare att besvara än tvetydig prosa.
En guide till utvärdering av RAG för tabelldata betonar utvärdering mot tabellförankrade frågor i stället för generella textmått. Svaret bör kontrolleras mot exakta celler och operationer.
Mekanismen brister också om de narrativa och kalkylbladsbaserade pipelines använder olika OCR, embeddingmodeller eller behörigheter. Då blandas formatet ihop med verktygen. ”Snyggare” är inte samma sak som bättre förankrat; båda formaten behöver verifieras på svarsnivå.
Bedöm hämtning och beräkning som separata steg
Skapa parvisa frågor från en narrativ rapport och en välordnad arbetsbok: uppslagning, jämförelse, aggregering och frågor om avvikelser. Notera vilka avsnitt eller cellkoordinater som krävs och kör sedan båda genom samma modell och med samma hämtningsbudget. Bedöm hämtning, beräkning, källhänvisning och slutligt svar separat.
Använd en lokal vektordatabas för att bevara vektorer och källfiler lokalt medan du testar tabellmedveten serialisering mot vanlig radtext. Håll modellens temperatur och prompten oförändrade.
Om kalkylbladsevidens hämtas men aritmetiken misslyckas, lägg till ett strukturerat körningssteg. Om rubriker försvinner före hämtningen, reparera extraheringen och serialiseringen. Om narrativa svar bara låter bättre men hänvisar till fel avsnitt, justera utvärderingen i stället för att förklara den prosabaserade pipelinen som överlägsen.
Rekommenderade produkter
Teknik- och AI-hubb
Mer att läsa
Så mäter du kvaliteten på lokal RAG-hämtning och tolkar återkallning, precision och källhänvisningstäckning
Bygg ett lokalt RAG-testset, beräkna centrala återhämtningsmått, tolka deras avvägningar och granska om svarens påståenden stöds av citerade belägg.
Varför blir beräkning av smarta hem-funktioner viktigare när antalet sensorer ökar vid samma samplingsfrekvens?
Spåra beräkningar per sensor och mellan sensorer när antalet enheter ökar, identifiera icke-linjära kostnader för fusion och benchmarka funktionspipelinen innan automatiseringarna börjar släpa efter.
Varför blir kostnaden för RAG-utvärdering viktigare när dokumentbiblioteket växer trots samma frågevolym?
Förstå varför en växande korpus ökar utvärderingsarbetet för RAG utan fler användarfrågor och hur stratifierade tester håller kostnaden kopplad till risken.
