Que fatores determinam a precisão das citações RAG numa base de conhecimento doméstica?

A precisão das citações em RAG depende de recuperar o segmento de origem correto e de o associar exatamente à afirmação que este fundamenta, não apenas de listar documentos relevantes.

Uma base de conhecimento doméstica pode responder com base numa apólice de seguro, num manual de eletrodomésticos ou numa fatura digitalizada e, ainda assim, citar a página errada. O documento correto pode estar presente, mas a frase de suporte pode ter sido dividida, classificada abaixo de outro segmento ou associada à afirmação gerada errada. A qualidade das citações reflete, por isso, em conjunto, a ingestão, a recuperação, a geração, o alinhamento e o controlo de versões.

A Qualidade da Origem e dos Segmentos Define o Limite da Evidência

Erros de OCR, tabelas em falta, cópias desatualizadas e títulos perdidos corrompem a evidência antes de a recuperação começar. Os limites dos segmentos devem preservar a afirmação, a ressalva e o contexto identificativo necessários para fundamentar uma afirmação; um fragmento que contenha apenas um número pode corresponder sem provar o que esse número mede.

Investigação que compara estratégias avançadas de segmentação conclui que as opções de segmentação dos documentos alteram o desempenho da recuperação, porque os segmentos fixos podem dividir conceitos ou misturar conteúdos não relacionados. A precisão das citações não pode exceder a qualidade do segmento disponível para citação.

Os metadados devem conservar a versão do documento, a página, a secção e as coordenadas, para que a citação conduza a evidência inspecionável. A deduplicação deve impedir que cópias desatualizadas e atuais concorram entre si, sem apagar a versão histórica utilizada por uma resposta anterior.

A Recuperação e a Geração Devem Preservar o Alinhamento ao Nível da Afirmação

Um sistema de recuperação pode devolver uma página relevante do ponto de vista temático que não sustenta a frase final. A reclassificação deve dar prioridade ao suporte direto, enquanto a geração deve manter visíveis os limites das afirmações e os identificadores das fontes, para que cada segmento factual corresponda à evidência efetivamente presente no contexto.

A investigação sobre fidelidade das citações distingue a correção da citação da sua fidelidade e relata que citações aparentemente comprovativas podem ser associadas depois de o modelo ter recorrido a outras informações. É por isso que a simples concordância superficial pode sobrestimar a confiança.

A cobertura e a correção das citações são aspetos distintos. Uma resposta pode citar corretamente duas afirmações e deixar três sem suporte, ou citar todas as frases com referência a um único documento abrangente que não sustenta nenhuma delas com precisão. Ambas as dimensões precisam de ser medidas de forma independente. Esta distinção continua visível durante os testes domésticos posteriores.

O Pós-Processamento Pode Corrigir Ligações, mas Não Pode Recuperar Evidência em Falta

Um verificador pode comparar cada afirmação gerada com passagens candidatas, transferir uma citação para uma fonte melhor ou remover uma afirmação sem suporte. Isto deteta erros de alinhamento após a geração, mas não consegue recuperar evidência que a ingestão ou a recuperação nunca forneceram.

O sistema de correção de citações verifica as citações geradas comparando-as com os artigos recuperados e relata uma melhoria da precisão das citações com um custo adicional reduzido. Os seus resultados demonstram o valor de uma etapa dedicada de alinhamento após a redação da resposta. O resultado intermédio deve permanecer inspecionável antes de a automatização prosseguir.

O limite da falha é uma afirmação confiante sem uma fonte que a sustente no conjunto recuperado. O verificador deve abster-se, efetuar uma nova recuperação ou eliminar a afirmação, em vez de atribuir a citação com o aspeto mais semelhante e fazer parecer que a resposta está fundamentada.

-15% OFF

ZimaBoard 2 - Mini Servidor Doméstico para a Sua Grande Ideia

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Avalie o Suporte e a Cobertura das Citações Separadamente

Crie cinquenta perguntas com segmentos de resposta verificados, abrangendo PDFs limpos, digitalizações com OCR, tabelas, versões duplicadas e casos sem resposta. Divida cada resposta gerada em afirmações atómicas e, em seguida, avalie se cada citação sustenta a respetiva afirmação e se todas as afirmações factuais têm uma citação.

Utilize o modelo de recall, precisão e cobertura descrito no modelo de avaliação de RAG, mas acrescente a implicação da citação, a correção da versão e uma página ou região resolúvel. Compare os resultados por tipo de documento, em vez de comunicar apenas uma pontuação agregada. Esse limite deve ser medido separadamente em condições de funcionamento realistas.

Aprove apenas quando as citações conduzirem a segmentos atuais e inspecionáveis e as afirmações sem suporte desencadearem uma abstenção ou outra tentativa de recuperação. Quando uma fonte é relevante, mas não sustenta a frase, conte-a como uma citação incorreta, e não como um sucesso parcial.