Utökning av RAG-frågor: Så hittar syntetiska formuleringar belägg bortom exakta termer

Eva Wong är Teknisk skribent och den boende fixaren på ZimaSpace. En livslång nörd med en passion för hemma-labb och öppen källkod, hon specialiserar sig på att översätta komplexa tekniska koncept till tillgängliga, praktiska guider. Eva tror att självhosting ska vara roligt, inte skrämmande. Genom sina handledningar ger hon gemenskapen verktyg att avmystifiera hårdvaruinstallationer, från att bygga sin första NAS till att bemästra Docker-containrar.

Syntetisk frågeexpansion förbättrar ofta återkallningen i RAG genom att lägga till plausibla parafraser och domäntermer som överbryggar vokabulärskillnader mellan frågor och lagrade belägg.

En familjemedlem kan fråga efter ”panninspektionen”, medan den skannade fakturan säger ”årlig service av vattenburet värmesystem” och aldrig använder hushållets uttryck. Exakt textsökning missar kopplingen. Frågeexpansion genererar alternativa formuleringar eller ett hypotetiskt svar, söker med varje representation och slår ihop kandidaterna före omrankning, så att relevanta belägg får mer än en väg in i kontextfönstret.

En fråga kan representera flera sökintentioner

En kort hushållsfråga kan utelämna det formella produktnamnet, datumet, platsen eller terminologin som används i källan. Expansion gör dessa latenta tolkningar explicita genom att skapa relaterade fraser, delfrågor eller ett syntetiskt textstycke. Gles informationssökning får nya matchande termer, medan tät informationssökning får ytterligare semantiska perspektiv.

Metoden Query2doc instruerar en språkmodell att generera ett pseudodokument och lägger till det i den ursprungliga frågan. Experimenten visar att den tillagda texten kan förbättra både gles och tät informationssökning utan att den underliggande sökmodellen behöver tränas om.

Mekanismen gör inte frågan mer sanningsenlig. Den breddar ytan för kandidatgenerering, varefter sammanslagning och omrankning måste avgöra vilka kandidater som fortfarande besvarar den ursprungliga frågan, snarare än den genererade utläggningen. Denna skillnad förblir synlig under senare tester i hushållet.

Syntetiska textstycken överbryggar vokabulärgapet mellan fråga och dokument

Ett hypotetiskt dokument kan likna stilen och vokabulären hos sannolika belägg även när dess fakta är påhittade. Systemet bäddar in det syntetiska textstycket och hämtar verkliga dokument i närheten av det. Genereringen används då som en semantisk brygga, inte som belägg som presenteras för användaren.

hypotetiska dokumentinbäddningar skapar hypotetiska dokument innan de bäddas in för tät nollskottsinformationssökning. Den viktiga åtskillnaden är att den genererade texten styr informationssökningen, medan de returnerade korpusdokumenten förblir de enda tillåtna beläggen för det slutliga svaret.

Flera expansioner kan täcka förkortningar, smeknamn, översättningar och olika nivåer av teknisk detalj. Kandidatunionen ökar återkallningen, men deduplicering och omrankning behövs eftersom tio omskrivningar annars kan fylla listan med nästan identiska eller svagt relaterade textstycken.

Expansion kan glida mot ett plausibelt men felaktigt ämne

En generator kan tolka ett tvetydigt namn fel, introducera en produkt som hushållet inte äger eller hitta på ett datum. Dessa termer kan hämta internt konsekventa dokument om fel entitet och skapa mer övertygande brus än den ursprungliga glesa frågan.

En kontrollerad studie av kompletterande frågeomskrivning visar att kombinationer kan förbättra täckningen i vissa dataset, men försämra resultatet i ett riktmärke för tvetydiga frågor. Resultatet visar varför expansion bör styras av frågetyp och utvärderas mot en stark baslinje.

Felgränsen går vid frågor där den centrala entiteten eller intentionen är osäker. Bevara den ursprungliga frågan, märk syntetisk text som ett hjälpmedel för informationssökning, begränsa dess inflytande vid sammanslagning och avstå från svar när expansionerna inte är överens om evidensmängden.

Genomför ett test av expansionens bidrag

Skapa trettio verkliga hushållsfrågor som innehåller förkortningar, informella namn, översättningar och formella termer som saknas i frågan. Anteckna de verifierade stödjande textstyckena och kör sedan informationssökning med enbart den ursprungliga frågan samt den föreslagna expansionsmetoden, med samma index, samma top-k-budget och samma omrankare.

Följ återkallning och citattäckning med utvärderingsmetoden i förkortningssökning. För varje tillagt relevant textstycke ska du spara vilken omskrivning som hittade det. För varje nytt distraherande resultat ska du registrera termen som orsakade avdriften och om omrankningen tog bort det.

Aktivera expansion endast där den höjer återkallningen på avskilda testdata utan oacceptabel förlust av precision eller ökad svarstid. Om vinsterna bara beror på en större kandidatbudget ska du jämföra med en körning med den ursprungliga frågan och samma budget innan förbättringen tillskrivs syntetisk formulering.

Teknik- och AI-hubb

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.