O que é um conjunto de dados de avaliação RAG e quando é relevante para a pesquisa privada?

Um conjunto de dados de avaliação RAG é um conjunto repetível de consultas e evidências esperadas, ou comportamentos de resposta esperados, utilizado para medir de forma consistente as alterações na pesquisa privada.

Sem um conjunto de avaliação fixo, uma base de conhecimento doméstica pode parecer melhor depois de se testar um novo tamanho de fragmento, modelo de embeddings, reranker ou regra de metadados, simplesmente porque foram experimentadas perguntas diferentes. Um conjunto de dados útil fixa consultas domésticas representativas, identifica as evidências que devem ser recuperadas, regista o comportamento de resposta aceitável e inclui casos em que o sistema deve admitir que o corpus não contém a resposta.

Um conjunto de dados de avaliação fixa as perguntas e as evidências esperadas

A unidade básica é um caso de teste que pode ser executado novamente depois de alterações no pipeline RAG. Pode conter uma pergunta, uma resposta de referência, passagens de origem relevantes, a identidade do documento, restrições de metadados e notas sobre o aspeto que deve ter uma recusa correta.

Um teste RAG estável pode associar perguntas e respostas esperadas antes de medir repetidamente a aplicação.

Na pesquisa privada, as etiquetas de evidências são frequentemente mais valiosas do que o texto da resposta por si só, porque revelam se o ficheiro e a versão corretos entraram no contexto, mesmo quando o modelo de linguagem produziu, por acaso, uma frase final plausível.

Um caso de teste deve preservar a identidade da origem com o mesmo nível de granularidade utilizado pelo sistema na recuperação. Se as etiquetas de avaliação identificarem apenas um PDF completo, enquanto o índice devolve fragmentos, uma falha pode ficar escondida numa correspondência aparentemente correta ao nível do documento.

A pesquisa privada precisa de modos de falha provenientes do corpus doméstico real

Os benchmarks públicos raramente contêm os nomes de ficheiros duplicados, digitalizações com OCR, manuais revistos, vocabulário específico da família, números de série exatos, regras de pastas privadas e versões desatualizadas que moldam uma base de conhecimento doméstica.

Corpora diferentes podem exigir uma avaliação RAG específica do domínio, em vez de se assumir que um único benchmark geral de perguntas e respostas representa todos os ambientes de recuperação.

Crie casos a partir dos registos de pesquisa reais e de ficheiros reconhecidamente difíceis, adicionando depois variações sintéticas apenas quando estas testarem um limite claramente definido. Identificadores exatos, paráfrases, síntese de vários documentos, conflitos entre versões antigas e atuais e consultas cuja resposta não está presente não devem ser representados por um único tipo genérico de pergunta.

A recuperação e a geração precisam de etiquetas separadas

Uma resposta final correta pode ocultar uma recuperação fraca se o modelo já conhecia o facto através do pré-treino, enquanto uma resposta incorreta pode ocorrer mesmo quando a passagem perfeita foi recuperada. Por isso, o conjunto de dados deve permitir métricas por etapa, em vez de uma única pontuação de tudo ou nada.

Amostras de avaliação estruturadas permitem que as métricas avaliem a qualidade da recuperação e da resposta a partir de entradas de teste consistentes.

Para cada consulta, identifique quais as evidências que têm de estar presentes, quais as versões proibidas e que propriedades da resposta são importantes. Compare depois, separadamente, a recuperação, a qualidade da ordenação, a precisão do contexto, a fidelidade, a correção da resposta, a identidade da citação e o comportamento de recusa.

Esta separação torna as regressões acionáveis. Uma pontuação de resposta mais baixa pode ser encaminhada para o particionamento ou a recuperação quando as evidências desaparecem dos primeiros k resultados, ou para a geração quando as evidências permanecem intactas, mas a resposta as utiliza incorretamente.

-15% OFF

ZimaBoard 2 - Mini Servidor Doméstico para a Sua Grande Ideia

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Os casos negativos e de fronteira impedem o sistema de manipular o conjunto de dados

Um conjunto de dados que contenha apenas perguntas fáceis e respondíveis recompensa os sistemas que respondem sempre com confiança. A pesquisa privada também precisa de consultas cuja resposta esteja ausente, seja ambígua, esteja restringida por permissões, tenha sido substituída ou dependa de mais do que uma fonte.

Os casos fora da base de conhecimento são necessários para medir um comportamento conservador, em vez de medir apenas a recuperação de respostas conhecidas.

Os testes de permissões são igualmente importantes para um índice doméstico. Um resultado semanticamente perfeito, mas não autorizado, deve ser classificado como uma falha do sistema, e não como uma recuperação excelente.

Inclua exemplos de quase duplicados e conflitos entre versões para impedir que o sistema melhore as métricas médias simplesmente devolvendo mais candidatos. As evidências esperadas devem identificar a fonte autorizada, e não apenas o tema.

O versionamento do conjunto de dados transforma os testes pontuais em controlo de regressões

O corpus e as perguntas mudam ao longo do tempo. Novos dispositivos, pastas com novos nomes, políticas atualizadas e alterações no vocabulário dos utilizadores podem tornar um conjunto de avaliação antigo pouco representativo, pelo que os próprios dados de teste precisam de um ciclo de vida controlado.

O versionamento do conjunto de dados permite comparar os resultados do pipeline com um estado conhecido dos exemplos de avaliação.

O fluxo de trabalho da base de conhecimento privada é a camada de aplicação; o conjunto de dados de avaliação é o que torna mensuráveis as alterações a esse fluxo de trabalho, em vez de meramente anedóticas.

Atualize o conjunto de dados quando o corpus ou o comportamento dos utilizadores mudar, mas mantenha versões históricas para que um novo conjunto de avaliação não elimine as provas de que uma alteração na recuperação fez regredir um fluxo de trabalho crítico mais antigo.