Como é que a Relevância Marginal Máxima reduz a redundância das evidências RAG?
A relevância marginal máxima reduz a redundância das evidências RAG, selecionando passagens com base tanto na relevância para a consulta como na novidade relativamente às evidências já escolhidas.
Um sistema RAG doméstico privado pode obter vários fragmentos do mesmo parágrafo de um manual, de uma digitalização sobreposta, de uma nota duplicada ou de uma secção adjacente, porque todos são muito semelhantes à consulta. A simples semelhança dos resultados principais trata esses quase duplicados como resultados individualmente fortes. O MMR acrescenta uma segunda relação: cada resultado seguinte tem de continuar a responder à consulta, mas também é comparado com as passagens que já obtiveram um lugar no conjunto de evidências.
O MMR começa depois de um recuperador criar um conjunto de candidatos
Normalmente, o MMR não pesquisa toda a coleção vetorial de raiz. Primeiro, um recuperador lexical, vetorial ou híbrido rápido produz um conjunto maior de candidatos, cujos elementos são suficientemente plausíveis para serem considerados.
O objetivo de relevância marginal máxima equilibra a relevância para a consulta com a redundância relativamente aos elementos já selecionados, fazendo com que a ordenação dependa do conjunto de resultados em evolução, e não das pontuações isoladas dos candidatos.
Se o conjunto inicial nunca contiver a passagem correta, o MMR não a pode inventar. A profundidade dos candidatos continua, por isso, a ser um limite de cobertura: um conjunto mais amplo oferece mais alternativas à etapa de diversidade, enquanto um conjunto excessivamente abrangente acrescenta material fraco que terá de ser rejeitado posteriormente.
Cada seleção equilibra a adequação à consulta com a semelhança em relação às evidências escolhidas
A primeira passagem selecionada é normalmente determinada sobretudo pela relevância, porque ainda não foi selecionado nada. Depois disso, cada candidato restante é avaliado com base em duas pressões: o grau de correspondência com a consulta e o grau de semelhança com as evidências já escolhidas.
Num processo de seleção iterativo, cada passagem aceite altera a penalização de redundância aplicada aos candidatos restantes, pelo que a escolha seguinte depende tanto da adequação à consulta como do que já está no contexto.
Isto transforma a tarefa de ordenação, que passa de uma pontuação independente para a construção de um conjunto. Uma passagem pode ter uma excelente pontuação para a consulta e, ainda assim, descer na ordenação quando repete o mesmo facto que o primeiro resultado.
Num arquivo doméstico, isto pode significar escolher um parágrafo que define a política de cópias de segurança, outro que enumera a exceção de retenção e um terceiro do procedimento de restauro, em vez de devolver três cópias sobrepostas do parágrafo da política.
O peso da diversidade controla a intensidade com que os quase duplicados descem na ordenação
O MMR precisa de um parâmetro de compromisso, porque a relevância e a novidade podem entrar em conflito. Uma configuração próxima do extremo dominado pela relevância comporta-se mais como uma ordenação normal dos principais resultados, enquanto uma configuração orientada para a diversidade aceita mais facilmente trocar alguma semelhança direta por evidências diferentes.
Um compromisso ajustável entre relevância e diversidade determina a facilidade com que o seletor abdica de alguma semelhança direta em troca de evidências que contribuam com informação diferente.
A configuração adequada depende da pergunta. Uma consulta que peça um número de série exato beneficia do predomínio da relevância, enquanto uma pergunta sobre o motivo pelo qual uma cópia de segurança de um servidor doméstico falhou pode precisar de evidências independentes provenientes dos registos, da configuração, do estado do armazenamento e do histórico do agendador.
Demasiada diversidade pode despromover uma segunda passagem que realmente reforce ou qualifique a primeira, pelo que o objetivo não é obter a máxima diferença. É obter diferença suficiente para utilizar o contexto limitado com informação adicional.
O MMR funciona melhor quando os fragmentos duplicados continuam a apresentar sinais de semelhança relevantes
A divisão em fragmentos sobrepostos, os ficheiros copiados, os cabeçalhos repetidos e os documentos versionados podem criar candidatos quase semanticamente idênticos. Estas são condições favoráveis ao MMR, porque a redundância surge diretamente na semelhança entre candidatos.
A diversificação baseada em MMR pode reordenar um conjunto de candidatos existente sem exigir que todos os quase duplicados sejam removidos fisicamente do índice vetorial antecipadamente.
No entanto, duas passagens podem repetir o mesmo facto utilizando vocabulário ou formatos diferentes. Uma linha de tabela e uma frase em prosa podem ser redundantes para uma pessoa, embora a sua semelhança vetorial seja apenas moderada. É por isso que o MMR complementa, em vez de substituir, a eliminação de duplicados com conhecimento da fonte. Os IDs dos documentos, os metadados de versão, o agrupamento por documento-pai e o acompanhamento de sobreposições podem remover duplicados estruturais antes de aplicar a diversidade semântica.
Uma evidência mais diversificada proporciona ao gerador um orçamento de contexto melhor
Os modelos locais de resposta têm um contexto e uma capacidade de atenção limitados. Preencher seis posições de recuperação com passagens quase idênticas desperdiça tokens sem aumentar o número de factos independentemente úteis que o modelo pode analisar.
Como as unidades de evidência RAG são determinadas durante a ingestão, o MMR só pode diversificar entre os fragmentos que o analisador e o divisor de texto disponibilizaram para recuperação.
Um conjunto mais variado pode revelar uma exceção, um segundo documento, uma revisão mais recente ou uma tabela de apoio que a ordenação normal por semelhança ocultou abaixo de fragmentos repetidos.
O gerador continua a precisar de proveniência e disciplina nas citações. A diversidade torna o conjunto de evidências menos repetitivo, mas não prova que todas as passagens selecionadas estejam corretas, atualizadas ou sejam autorizadas.
O MMR não consegue reparar evidências em falta, desatualizadas ou mal analisadas
O MMR opera sobre a representação que recebe. Se o OCR transformar uma tabela numa estrutura plana, a divisão em fragmentos separar uma ressalva, um filtro de metadados excluir o ficheiro atual ou o modelo de incorporações não representar corretamente a consulta, a etapa de diversidade não terá evidências fiáveis para promover.
Usar a pesquisa por relevância marginal máxima altera os candidatos disponíveis que entram no conjunto final, mas não corrige falhas de extração nem cria evidências em falta.
Avalie-a com métricas de recuperação que incluam a taxa de duplicados e a cobertura das evidências, e não apenas a relevância do primeiro resultado. Um conjunto de testes útil deve conter fragmentos sobrepostos, versões repetidas e perguntas cuja resposta exija mais do que uma passagem independente.
O MMR é bem-sucedido quando o contexto final preserva as evidências relevantes mais fortes, substituindo simultaneamente as posições redundantes por passagens que acrescentem apoio genuinamente novo.
Produtos recomendados
Centro de Tecnologia e IA
Mais para Ler
As câmaras domésticas conseguem sincronizar eventos sem serviços de hora na nuvem?
Uma explicação baseada primeiro no mecanismo do tempo da câmara sem cloud, as suas contrapartidas na partilha de recursos, três perguntas frequentes sobre a...
Um serviço de IA local consegue detetar camadas de modelos corrompidas antes da inferência?
Uma explicação baseada primeiro no mecanismo da deteção de corrupção na camada do modelo, dos seus compromissos em termos de recursos partilhados, de três...
É possível restaurar um sistema RAG sem regenerar todos os embeddings?
Uma explicação, centrada no mecanismo, do restauro de RAG sem re-embedding, das suas contrapartidas em recursos partilhados, de três perguntas frequentes sobre a expansão...
