Porque é que o custo da avaliação de RAG se torna mais importante à medida que a biblioteca de documentos cresce, com o mesmo volume de consultas?
A avaliação de RAG torna-se mais importante à medida que uma biblioteca cresce, porque a ambiguidade da recuperação e a superfície de regressão aumentam, mesmo quando os utilizadores fazem o mesmo número de perguntas.
Uma família pode continuar a fazer 100 pesquisas por semana depois de o seu arquivo crescer de 10 000 para um milhão de fragmentos. No entanto, cada consulta tem agora mais duplicados próximos, versões desatualizadas, idiomas e limites de permissões que podem competir pela classificação. Um pequeno conjunto de testes fixo cobre uma fração cada vez menor das possíveis falhas de recuperação em cada nova camada de conteúdo adicionada.
Mais candidatos criam mais formas de recuperar erros plausíveis
A pesquisa aproximada não atribui uma pontuação exata a cada passagem. À medida que o corpus se expande, mais fragmentos podem ficar próximos de uma consulta, incluindo evidências redundantes e desatualizadas. A precisão pode diminuir mesmo que o número de consultas e o top-k permaneçam fixos.
Um estudo controlado sobre estratégias de recuperação compara a recuperação densa, híbrida, reordenada e expandida em condições de geração fixas, mostrando que as alterações de estratégia produzem compromissos mensuráveis entre precisão e cobertura.
Por isso, a avaliação deve analisar a relevância, a classificação, a versão e as permissões, e não apenas se existe uma resposta. Mais documentos também aumentam a probabilidade de uma resposta fluente citar um duplicado plausível, mas não autorizado.
A cobertura e a rotulagem crescem com a diversidade do corpus
Um conjunto de testes representa tipos de documentos, idiomas, datas, entidades e intenções das consultas. Quando a biblioteca ganha novas famílias de conteúdo, as perguntas antigas deixam de representar toda a superfície de risco. Aumentar a cobertura exige avaliações de relevância e evidências esperadas, mesmo com tráfego de produção inalterado.
A investigação sobre cobertura da informação defende que a precisão e a cobertura clássicas podem não detetar se os resultados abrangem necessidades de informação distintas. A diversidade do corpus pode aumentar mais depressa do que o volume de consultas.
Cada índice, segmentador, modelo de embeddings, política de filtragem e variante de reordenador multiplica as comparações. Os avaliadores automatizados reduzem o trabalho, mas acrescentam custos de inferência e o seu próprio trabalho de calibração. O custo da avaliação é o preço de saber se o crescimento do corpus alterou o comportamento.
Quando o tamanho da biblioteca não é o principal fator de custo
O tamanho do índice pode ter pouco efeito quando as consultas têm como alvo identificadores únicos e filtros determinísticos restringem primeiro os candidatos. Um corpus maior de duplicados homogéneos pode aumentar o armazenamento sem acrescentar diversidade significativa às consultas.
Um enquadramento para a verificabilidade das afirmações decompõe as consultas e as respostas em unidades de cobertura e verificabilidade, mostrando que o esforço de avaliação depende tanto da estrutura das afirmações como do tamanho do corpus.
O mecanismo também falha se o custo da avaliação for dominado pela geração dispendiosa ou pela revisão humana de cada resposta. Nesse caso, o crescimento da biblioteca é secundário. Mais testes não são automaticamente melhores; perguntas redundantes podem aumentar os custos sem ampliar a cobertura do risco.
Associe o investimento na avaliação ao novo risco do corpus
Mantenha um conjunto central de regressão e, em seguida, adicione perguntas estratificadas apenas quando a biblioteca ganhar um novo idioma, tipo de documento, classe de permissões, período temporal ou entidade de elevado valor. Rotule as evidências necessárias e os negativos difíceis conhecidos. Execute métricas apenas de recuperação antes das métricas de geração mais dispendiosas.
Ligue as atualizações dos testes a eventos de atualização do índice para que os ficheiros recentemente indexados ou não detetados acionem uma avaliação direcionada, em vez de uma repetição completa e não estruturada. Preserve um conjunto de validação fixo para comparação de tendências.
Acompanhe o custo por estrato abrangido e por defeito encontrado, e não o custo por consulta de produção. Faça amostragem dos estratos rotineiros e de baixo risco e teste integralmente o conteúdo sensível às permissões ou alterado com frequência. Se as pontuações divergirem apenas num novo estrato, corrija-o e volte a executar essa parte antes de expandir todo o conjunto.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
Como medir a qualidade da recuperação RAG local e interpretar a cobertura da recuperação, da precisão e das citações
Crie um conjunto de teste RAG local, calcule as principais métricas de recuperação, interprete os seus compromissos e audite se as afirmações das respostas...
Porque é que a computação das funcionalidades de casa inteligente se torna mais importante à medida que aumenta o número de sensores à mesma taxa de amostragem?
Monitorize o processamento por sensor e entre sensores à medida que o número de dispositivos aumenta, identifique os custos não lineares da fusão e...
Porque é que a sobrecarga das ferramentas do agente se torna mais importante à medida que aumentam os passos do fluxo de trabalho, mantendo-se o mesmo tamanho do modelo?
Analise como as esperas em série, o crescimento do contexto, as tentativas e a fiabilidade se acumulam ao longo dos passos do agente e,...
