O que é o alinhamento do excerto da citação e porque é importante para as evidências de RAG?
O alinhamento dos trechos de citação liga cada afirmação verificável da resposta às palavras específicas da fonte que a sustentam, em vez de se limitar a indicar um documento relevante.
Uma resposta RAG doméstica pode citar o manual correto de um aparelho, mas apontar para uma página que menciona o modelo sem sustentar a tensão indicada ou a exceção. O alinhamento divide a resposta em afirmações atómicas, identifica o menor trecho de fonte suficiente e preserva as coordenadas da página ou do esquema. Isto torna as evidências inspecionáveis e revela suporte parcial que a relevância ao nível do documento ocultaria.
O alinhamento liga uma afirmação atómica a uma passagem suficiente
Um trecho de afirmação deve conter uma única asserção que possa ser verificada. O trecho de evidência deve incluir a declaração, o qualificador, a unidade, o sujeito e a condição necessários para implicar essa asserção sem depender de texto não relacionado noutro ponto do segmento.
A extração de citações é descrita como mapeamento de afirmações para fontes, em vez de associar uma ligação de fonte a uma resposta inteira. O mapeamento permite a uma interface destacar exatamente que palavras sustentam cada afirmação gerada. Esta distinção continua visível durante os testes domésticos posteriores.
O menor trecho nem sempre corresponde a uma frase. As tabelas podem exigir uma linha e o cabeçalho, os pronomes podem exigir uma frase anterior e o esquema OCR pode exigir uma região delimitada da página, em vez de um simples deslocamento de texto.
Relevância, correção e cobertura medem coisas diferentes
Um documento recuperado pode ser relevante do ponto de vista temático, mas neutro em relação à afirmação final. A correção da citação questiona se a passagem associada sustenta a afirmação, enquanto a cobertura questiona se todas as afirmações factuais têm evidências adequadas. O resultado intermédio deve continuar inspecionável antes de a automatização prosseguir.
A investigação sobre atribuição de fontes revela uma diferença entre ligações funcionais e relevantes e a precisão factual das citações. Isto demonstra por que motivo a validade do URL e a relevância temática não podem substituir a avaliação do suporte ao nível da afirmação. Essa fronteira deve ser medida separadamente em condições operacionais realistas.
A fidelidade é ainda mais rigorosa: uma passagem pode sustentar uma afirmação mesmo que o modelo a tenha gerado de memória e associado a fonte posteriormente. O alinhamento permite verificar o suporte, mas não prova a utilização causal da evidência.
A segmentação e a geração podem quebrar a relação entre a afirmação e o trecho
Um segmento pode separar uma condição do respetivo número, eliminar os cabeçalhos de uma tabela ou misturar várias versões. O gerador também pode combinar duas passagens numa única afirmação, tornar uma formulação cautelosa mais forte ou associar uma única citação a várias frases.
Um estudo sobre a fidelidade das citações distingue a aparente correção da citação da utilização fiel das evidências recuperadas. A sua análise reforça que as afirmações da resposta e os trechos de fonte precisam de associações explícitas e detalhadas. A consequência prática surge quando várias fontes competem por um contexto limitado.
A fronteira da falha é uma afirmação cuja evidência necessária está ausente, é contraditória ou está distribuída para além do método de alinhamento suportado. O sistema deve fazer uma nova recuperação, dividir ou enfraquecer a afirmação, ou abster-se, em vez de apontar para o texto tematicamente mais próximo.
Audite as afirmações e os trechos como objetos separados
Recolha amostras de respostas provenientes de prosa, digitalizações OCR, tabelas e versões de documentos em conflito. Divida-as em afirmações atómicas, registe a versão da fonte e as coordenadas da página, destaque o menor trecho suficiente e classifique o suporte, a contradição ou a neutralidade. Esta dependência deve permanecer explícita na interface final.
Compare os resultados com a precisão das citações. Calcule a precisão das citações, a cobertura das afirmações, a correção da versão, a resolubilidade e a concordância humana; analise separadamente números, negações e condições. O resultado deve, por isso, ser verificado com base na evidência original.
Aceite apenas quando cada citação apresentada abrir um trecho inspecionável que implique a afirmação associada. Um documento relevante sem palavras suficientes conta como falha de citação, não como sucesso parcial. Esta distinção continua visível durante os testes domésticos posteriores.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Um LLM local pode retomar a geração depois de o seu processo reiniciar?
Uma explicação da retoma da geração de LLM baseada primeiro no mecanismo, das suas concessões em termos de recursos partilhados, de três perguntas frequentes...
Pode um servidor doméstico executar embeddings e transcodificação de vídeo na mesma GPU integrada?
Uma explicação baseada primeiro no mecanismo dos embeddings partilhados da iGPU e da transcodificação, das suas cedências em termos de recursos partilhados, três perguntas...
Como é que o tempo de vida do token de acesso afeta a segurança e o atrito no agregado familiar?
Uma explicação baseada primeiro no mecanismo da duração dos tokens de acesso, os compromissos relativos aos recursos partilhados, três perguntas frequentes sobre a propagação...
