Perché una pipeline RAG cita il file giusto, ma il passaggio sbagliato?
Una pipeline RAG può citare il file giusto ma il passaggio sbagliato quando la scoperta del documento va a buon fine, mentre il recupero dei chunk o la mappatura delle citazioni falliscono.
I file di grandi dimensioni spesso contengono molte sezioni che condividono la terminologia, intestazioni ripetute, esempi simili o più versioni dello stesso fatto. Un sistema di recupero a livello di file può identificare correttamente il manuale, il report o la nota domestica pertinente, mentre la fase a livello di passaggio seleziona un chunk adiacente. Il modello che genera la risposta può quindi ricavare il dettaglio mancante dalle proprie conoscenze o da un altro chunk, ma associargli i metadati del file selezionato. Una citazione affidabile richiede correttezza indipendente nelle fasi relative a documento, pagina, chunk, intervallo di testo e generazione.
Il richiamo del documento e il richiamo del passaggio sono problemi di recupero diversi
Un file può posizionarsi in alto perché il titolo, i metadati o l’embedding complessivo corrispondono alla domanda. Questo non dimostra che il paragrafo contenente la risposta sia presente nell’insieme di chunk recuperati.
Una guida pratica agli errori RAG separa i livelli degli errori di recupero e consiglia di esaminare i chunk esatti, non soltanto la risposta finale.
La pipeline dovrebbe misurare separatamente il richiamo del documento, della pagina e del chunk. Un nome file corretto può nascondere un intervallo di risposta mancato.
I confini dei chunk possono separare le prove dal loro contesto
Una suddivisione a dimensione fissa può collocare un’intestazione in un chunk, l’affermazione in un altro e l’eccezione o l’etichetta della tabella in un terzo.
La guida di Edtek descrive come i confini errati dei chunk producano passaggi che menzionano la query senza contenere la risposta completa.
Il sistema di recupero può comunque selezionare il file corretto perché molti chunk condividono lo stesso argomento. Il generatore riceve un passaggio incompleto e cita la fonte a livello di file come se dimostrasse l’affermazione.
La suddivisione strutturale, il recupero padre-figlio e l’espansione ai chunk vicini sono utili solo quando gli offset della fonte restano tracciabili.
I metadati delle citazioni possono essere associati al livello di granularità sbagliato
Alcune pipeline copiano un unico URL o nome file del documento su ogni chunk senza memorizzare pagina, sezione, riquadro o offset dei caratteri.
La guida alle citazioni di Tensorlake mostra come gli ancoraggi spaziali possano passare dalla preelaborazione del documento al recupero e alla generazione della risposta.
Un riferimento limitato al file dimostra da quale elemento del corpus proviene il contenuto, non quali byte supportano la frase. Le citazioni a livello di passaggio richiedono un’identità stabile del chunk e metadati sulla sua posizione.
OCR, riformattazione dei PDF e documenti modificati possono invalidare gli offset, a meno che la citazione non registri anche l’istantanea indicizzata o l’hash del contenuto.
I passaggi simili possono indurre il generatore a confondere gli ID
Il contesto può contenere diversi chunk dello stesso file con un linguaggio simile. Il modello può utilizzare il contenuto di un passaggio e produrre l’etichetta della citazione di un altro chunk vicino.
Un articolo sulla RAG in cui le citazioni sono fondamentali avverte che gli errori nei passaggi vicini restano possibili anche quando il documento citato è autorevole.
Assegna ai chunk ID chiari e non simili tra loro e mantieni la citazione accanto al testo di supporto. Chiedere al modello di ricordare una mappa delle citazioni separata dopo la sintesi aumenta il rischio di disallineamento.
Una verifica deterministica tra citazione e chunk può rilevare quando il passaggio citato non contiene il testo affermato o riportato.
Il reranking deve valutare il supporto del passaggio, non solo la similarità dell’argomento
Un sistema di recupero di prima fase può portare molti chunk dal file corretto. Un reranker dovrebbe distinguere la sezione che risponde direttamente alla query dalle sezioni che condividono soltanto l’argomento.
La guida al chunking di Databricks sottolinea che le unità di recupero coerenti sono necessarie affinché le fasi successive possano classificare accuratamente i passaggi.
Esegui il reranking con la query completa, conserva l’intestazione del passaggio e il contesto principale e penalizza i chunk privi del campo, della data, dell’entità o del tipo di prova richiesti.
Il flusso di lavoro per la ricerca nei documenti di ZimaSpace tratta questi elementi come fasi separate, anziché come un unico punteggio generico di “qualità RAG”.
Verifica il passaggio esatto prima di visualizzare la citazione
Dopo la generazione, associa ogni frase fattuale o citazione testuale al chunk che contiene il relativo supporto. Rifiuta le citazioni che rimandano soltanto al file corretto.
Infolitz consiglia di associare le citazioni ai chunk contenenti la fonte, invece di ricostruirle a livello dell’intero file.
Valuta la precisione del passaggio, la completezza delle prove, il contenimento delle citazioni testuali, la validità degli offset delle citazioni e la capacità dell’intervallo citato di supportare l’esatta affermazione generata.
Il problema è risolto solo quando fare clic sulla citazione apre il passaggio minimo sufficiente, non semplicemente il documento corretto in un punto qualsiasi vicino alla risposta.
Prodotti consigliati
Hub Tecnologico e AI
Altro da leggere
Quali funzionalità consentono di creare un confine di fiducia per l’IA domestica attorno ai file sensibili?
Un confine di fiducia per l’IA domestica combina la crittografia dei dati inattivi, autorizzazioni con il principio del privilegio minimo, sandboxing in fase di...
Cosa fa sì che i risultati di ricerca privati favoriscano i file modificati frequentemente?
I file modificati frequentemente ottengono vantaggi nel ranking quando ogni aggiornamento aggiunge segnali di freschezza, segmenti, versioni o interazioni senza normalizzarli in base alla...
Cosa porta i modelli di rilevamento della presenza nelle smart home a confondere gli ospiti con i residenti?
Gli ospiti possono sembrare residenti quando il sistema osserva i modelli di attività domestica, ma non dispone di un segnale d’identità stabile per la...
