¿Cómo reduce la relevancia marginal máxima la evidencia redundante en RAG?
La relevancia marginal máxima reduce la evidencia redundante de RAG al seleccionar pasajes según su relevancia para la consulta y su novedad con respecto a la evidencia ya elegida.
Un sistema RAG privado para el hogar puede recuperar varios fragmentos del mismo párrafo de un manual, de un escaneo superpuesto, de una nota duplicada o de una sección contigua porque todos son muy similares a la consulta. La similitud pura de los primeros resultados trata esos casi duplicados como resultados individualmente sólidos. MMR añade una segunda relación: cada siguiente resultado debe seguir respondiendo a la consulta, pero también se compara con los pasajes que ya han obtenido un lugar en el conjunto de evidencia.
MMR comienza después de que un recuperador crea un conjunto de candidatos
Normalmente, MMR no busca desde cero en toda la colección de vectores. Primero, un recuperador léxico, vectorial o híbrido rápido produce un conjunto de candidatos más amplio, cuyos elementos son lo bastante plausibles como para tenerlos en cuenta.
El objetivo de relevancia marginal máxima equilibra la relevancia para la consulta con la redundancia respecto a los elementos ya seleccionados, lo que hace que la clasificación dependa del conjunto de resultados en evolución y no de las puntuaciones aisladas de los candidatos.
Si el conjunto inicial nunca contiene el pasaje correcto, MMR no puede inventarlo. Por tanto, la profundidad de candidatos sigue siendo un límite de recuperación: un conjunto más amplio ofrece más alternativas al paso de diversificación, mientras que uno excesivamente amplio añade material débil que después debe rechazarse.
Cada selección equilibra la adecuación a la consulta con la similitud respecto a la evidencia elegida
El primer pasaje seleccionado suele estar determinado principalmente por la relevancia, porque todavía no se ha seleccionado nada. Después, cada candidato restante se evalúa según dos factores: cuánto coincide con la consulta y cuánto se parece a la evidencia ya elegida.
En un proceso de selección iterativa, cada pasaje aceptado modifica la penalización por redundancia aplicada a los candidatos restantes, por lo que la siguiente elección depende tanto de su adecuación a la consulta como de lo que ya está en el contexto.
Esto transforma la tarea de clasificación, basada en puntuaciones independientes, en una construcción de conjuntos. Un pasaje puede tener una puntuación excelente para la consulta y aun así bajar de posición cuando repite el mismo hecho que el primer resultado.
En un archivo doméstico, esto puede significar elegir un párrafo que indique la política de copias de seguridad, otro que enumere la excepción de retención y un tercero del procedimiento de restauración, en lugar de devolver tres copias superpuestas del párrafo sobre la política.
El peso de la diversidad controla con qué intensidad se relegan los casi duplicados
MMR necesita un parámetro de compensación porque la relevancia y la novedad pueden entrar en conflicto. Un ajuste cercano al extremo dominado por la relevancia se comporta más como una clasificación normal de los primeros resultados, mientras que un ajuste orientado a la diversidad está más dispuesto a sacrificar parte de la similitud directa para obtener evidencia diferente.
Un equilibrio ajustable entre relevancia y diversidad determina hasta qué punto el selector renuncia a cierta similitud directa a cambio de evidencia que aporte información distinta.
El ajuste adecuado depende de la pregunta. Una consulta que pida un número de serie exacto se beneficia de dar prioridad a la relevancia, mientras que una pregunta sobre por qué falló una copia de seguridad en un servidor doméstico puede necesitar evidencia independiente de los registros, la configuración, el estado del almacenamiento y el historial del programador.
Un exceso de diversidad puede relegar un segundo pasaje que realmente refuerza o matiza el primero, así que el objetivo no es lograr la máxima diferencia. Es obtener suficiente diferencia para dedicar el escaso contexto a información adicional.
MMR funciona mejor cuando los fragmentos duplicados aún contienen señales de similitud significativas
La división en fragmentos superpuestos, los archivos copiados, los encabezados repetidos y los documentos versionados pueden crear candidatos casi idénticos semánticamente. Estas son condiciones favorables para MMR porque la redundancia aparece directamente en la similitud entre candidatos.
La diversificación basada en MMR puede reclasificar un conjunto de candidatos existente sin exigir que todos los casi duplicados se eliminen físicamente del índice vectorial de antemano.
Sin embargo, dos pasajes pueden repetir el mismo hecho con un vocabulario o formato diferente. Una fila de tabla y una oración en prosa pueden resultar redundantes para una persona, aunque su similitud vectorial sea solo moderada. Por eso, MMR complementa, pero no sustituye, la deduplicación basada en la fuente. Los identificadores de documento, los metadatos de versión, la agrupación por documento principal y el seguimiento de solapamientos pueden eliminar los duplicados estructurales antes de aplicar la diversidad semántica.
Una evidencia más diversa proporciona al generador un mejor presupuesto de contexto
Los modelos locales de respuesta tienen un contexto y una atención limitados. Llenar seis espacios de recuperación con pasajes casi idénticos desperdicia tokens sin aumentar el número de hechos útiles e independientes que el modelo puede examinar.
Como las unidades de evidencia de RAG se determinan durante la ingestión, MMR solo puede diversificar entre los fragmentos que el analizador y el divisor hayan puesto realmente a disposición de la recuperación.
Un conjunto más variado puede revelar una excepción, un segundo documento, una revisión más reciente o una tabla de apoyo que la clasificación normal por similitud había ocultado bajo fragmentos repetidos.
El generador sigue necesitando procedencia y disciplina en las citas. La diversidad hace que el conjunto de evidencia sea menos repetitivo, pero no demuestra que cada pasaje seleccionado sea correcto, actual o una autoridad fiable.
MMR no puede reparar evidencia ausente, desactualizada o mal analizada
MMR opera sobre la representación que recibe. Si el OCR aplanó una tabla, la división en fragmentos separó una precisión importante, un filtro de metadatos excluyó el archivo actual o el modelo de embeddings no representó correctamente la consulta, el paso de diversificación no dispone de evidencia fiable que pueda promover.
Usar la búsqueda por relevancia marginal máxima cambia qué candidatos disponibles entran en el conjunto final, pero no repara los fallos de extracción ni crea evidencia ausente.
Evalúala con métricas de recuperación que incluyan la tasa de duplicados y la cobertura de evidencia, no solo la relevancia del primer resultado. Un conjunto de pruebas útil debe contener fragmentos superpuestos, versiones repetidas y preguntas cuya respuesta requiera más de un pasaje independiente.
MMR tiene éxito cuando el contexto final conserva la evidencia relevante más sólida y sustituye los espacios redundantes por pasajes que aportan un respaldo realmente nuevo.
Productos recomendados
Centro de Tecnología e IA
Más para leer
¿Pueden las cámaras domésticas sincronizar eventos sin servicios de hora en la nube?
Una explicación centrada en el mecanismo del tiempo de la cámara sin nube, sus compensaciones por recursos compartidos, tres preguntas frecuentes sobre la propagación...
¿Puede un servicio de IA local detectar capas de modelo dañadas antes de la inferencia?
Una explicación basada primero en los mecanismos de la detección de capas de modelo dañadas, sus compensaciones en recursos compartidos, tres preguntas frecuentes sobre...
¿Se puede restaurar un sistema RAG sin regenerar cada embedding?
Una explicación centrada primero en el mecanismo de la restauración de RAG sin volver a generar embeddings, sus compromisos en el uso compartido de...
