Porque é que um pipeline RAG cita o ficheiro certo, mas a passagem errada?

Um pipeline RAG pode citar o ficheiro certo, mas a passagem errada, quando a descoberta do documento é bem-sucedida, mas a recuperação dos fragmentos ou o mapeamento das citações falha.

Os ficheiros grandes contêm frequentemente muitas secções que partilham terminologia, cabeçalhos repetidos, exemplos semelhantes ou várias versões do mesmo facto. Um sistema de recuperação ao nível do ficheiro pode identificar corretamente o manual, relatório ou nota doméstica relevante, enquanto a etapa ao nível da passagem seleciona um fragmento vizinho. O modelo de resposta pode então inferir o detalhe em falta a partir do seu próprio conhecimento ou de outro fragmento, mas associar os metadados do ficheiro selecionado. Uma citação fiável exige correção independente nas etapas do documento, página, fragmento, intervalo de texto e geração.

A Recuperação de Documentos e a Recuperação de Passagens São Problemas de Recuperação Diferentes

Um ficheiro pode obter uma classificação elevada porque o título, os metadados ou o embedding global correspondem à pergunta. Isso não prova que o parágrafo que contém a resposta esteja presente no conjunto de fragmentos recuperados.

Um guia prático sobre falhas de RAG separa as camadas das falhas de recuperação e recomenda a inspeção dos fragmentos exatos, em vez de analisar apenas a resposta final.

O pipeline deve medir separadamente a recuperação de documentos, páginas e fragmentos. Um nome de ficheiro correto pode ocultar a perda do intervalo de texto que contém a resposta.

Os Limites dos Fragmentos Podem Separar a Evidência do Seu Contexto

Uma divisão de tamanho fixo pode colocar um cabeçalho num fragmento, a afirmação noutro e a exceção ou o rótulo da tabela num terceiro.

O guia da Edtek descreve como limites de fragmentos incorretos produzem passagens que mencionam a consulta, mas não contêm a resposta completa.

O sistema de recuperação pode ainda selecionar o ficheiro correto porque muitos fragmentos partilham o mesmo tema. O gerador recebe uma passagem incompleta e cita a fonte ao nível do ficheiro como se esta comprovasse a afirmação.

A divisão estrutural em fragmentos, a recuperação pai-filho e a expansão para fragmentos vizinhos só ajudam quando os offsets de origem continuam rastreáveis.

Os Metadados das Citações Podem Ser Associados ao Nível Incorreto

Alguns pipelines copiam um URL ou nome de ficheiro de um documento para todos os fragmentos, sem armazenar a página, a secção, a caixa delimitadora ou os offsets de caracteres.

O guia de citações da Tensorlake mostra como as âncoras espaciais podem acompanhar o processamento prévio do documento, a recuperação e a geração da resposta.

Um apontador apenas para o ficheiro comprova a origem do item no corpus, não quais os bytes que sustentam a frase. As citações ao nível da passagem precisam de uma identidade estável do fragmento e de metadados de localização.

O OCR, a reformatação de PDFs e os documentos editados podem invalidar os offsets, a menos que a citação também registe o instantâneo indexado ou o hash do conteúdo.

Featured

ZimaCube 2 NAS Pessoal Cloud para Casa

ZimaCube2

$799.00 - $2,499.00

Buy Now

As Passagens Semelhantes Podem Fazer o Gerador Misturar IDs

O contexto pode conter vários fragmentos do mesmo ficheiro com linguagem semelhante. O modelo pode utilizar o conteúdo de uma passagem e emitir o rótulo de citação de outro fragmento próximo.

Um artigo sobre RAG crítico para citações alerta para o facto de os erros em passagens próximas continuarem a ser possíveis mesmo quando o documento citado é uma fonte autorizada.

Atribua aos fragmentos IDs claros e não semelhantes entre si e mantenha a citação junto do texto de suporte. Pedir ao modelo que memorize um mapa de citações separado após a síntese aumenta o risco de incompatibilidade.

A verificação determinística da correspondência entre a citação e o fragmento pode detetar quando a passagem citada não contém o texto afirmado ou citado.

A Reclassificação Deve Avaliar o Suporte da Passagem, Não Apenas a Semelhança Temática

Um sistema de recuperação de primeira etapa pode trazer muitos fragmentos do ficheiro correto. Um sistema de reclassificação deve distinguir a secção que responde diretamente à consulta das secções que apenas partilham o tema.

O guia de divisão em fragmentos da Databricks salienta que as unidades de recuperação coerentes são necessárias para que as etapas posteriores de recuperação possam classificar as passagens com precisão.

Faça a reclassificação com a consulta completa, preserve o cabeçalho e o contexto-pai da passagem e penalize os fragmentos que não contenham o campo, a data, a entidade ou o tipo de evidência solicitado.

O fluxo de pesquisa de documentos da ZimaSpace trata estes aspetos como etapas separadas, em vez de os reduzir a uma única pontuação genérica de “qualidade RAG”.

Verifique a Passagem Exata Antes de Apresentar a Citação

Após a geração, associe cada frase factual ou citação ao fragmento que contém o respetivo suporte. Rejeite as citações que apontem apenas para o ficheiro correto.

A Infolitz recomenda associar as citações a fragmentos que contêm a fonte, em vez de as reconstruir ao nível do ficheiro completo.

Avalie a precisão da passagem, a completude da evidência, a contenção da citação, a validade dos offsets da citação e se o intervalo citado suporta a afirmação exata gerada.

O sistema só está corrigido quando clicar na citação abre a passagem suficiente mais pequena — e não apenas o documento correto algures perto da resposta.