¿Qué es la alineación de los fragmentos de citas y por qué es importante para la evidencia de RAG?
La alineación de los fragmentos de citas vincula cada afirmación verificable de una respuesta con las palabras específicas de la fuente que la respaldan, en lugar de limitarse a mencionar un documento relevante.
Una respuesta RAG doméstica puede citar el manual correcto de un electrodoméstico y, aun así, señalar una página que menciona el modelo sin respaldar el voltaje o la excepción indicados. La alineación divide la respuesta en afirmaciones atómicas, identifica el fragmento mínimo suficiente de la fuente y conserva las coordenadas de la página o del diseño. Esto hace que la evidencia pueda inspeccionarse y revela el respaldo parcial que la relevancia a nivel de documento ocultaría.
La alineación vincula una afirmación atómica con un pasaje suficiente
Un fragmento de afirmación debe contener una sola aseveración que pueda comprobarse. Su fragmento de evidencia debe incluir la afirmación, el calificador, la unidad, el sujeto y la condición necesarios para demostrar esa aseveración sin depender de texto no relacionado en otra parte del fragmento.
La extracción de citas se describe como mapeo de afirmaciones a fuentes, en lugar de adjuntar un enlace de fuente a toda una respuesta. El mapeo permite que una interfaz resalte exactamente qué palabras respaldan cada afirmación generada. Esta distinción sigue siendo visible durante las pruebas domésticas posteriores.
El fragmento más pequeño no siempre es una sola oración. Las tablas pueden requerir una fila junto con su encabezado, los pronombres pueden requerir una oración anterior y el diseño del OCR puede requerir una región delimitada de la página en lugar de un desplazamiento de texto simple.
La relevancia, la corrección y la cobertura miden cosas diferentes
Un documento recuperado puede ser relevante por tema y, aun así, no respaldar ni refutar la afirmación final. La corrección de la cita pregunta si el pasaje adjunto respalda la afirmación, mientras que la cobertura pregunta si cada afirmación factual cuenta con evidencia adecuada. El resultado intermedio debe seguir siendo inspeccionable antes de continuar con la automatización.
La investigación sobre la atribución de fuentes informa de una brecha entre los enlaces funcionales y relevantes y la precisión de las citas fácticas. Esto demuestra por qué la validez de la URL y la relevancia temática no pueden sustituir a la evaluación del respaldo a nivel de afirmación. Ese límite debe medirse por separado en condiciones operativas realistas.
La fidelidad es aún más estricta: un pasaje puede respaldar una afirmación aunque el modelo la haya generado de memoria y haya adjuntado la fuente después. La alineación permite comprobar el respaldo, pero no demuestra el uso causal de la evidencia.
La división en fragmentos y la generación pueden romper la relación entre fragmentos
Un fragmento puede separar una condición de su número, aplanar los encabezados de una tabla o mezclar varias versiones. El generador también puede combinar dos pasajes en una sola afirmación, intensificar un lenguaje cauteloso o adjuntar una cita después de varias oraciones.
Un estudio sobre la fidelidad de las citas distingue entre la aparente corrección de una cita y el uso fiel de la evidencia recuperada. Su análisis refuerza que las afirmaciones de la respuesta y los fragmentos de la fuente necesitan asociaciones explícitas y detalladas. La consecuencia práctica aparece cuando varias fuentes compiten por un contexto limitado.
El límite del fallo se alcanza cuando la evidencia necesaria para una afirmación está ausente, es contradictoria o se distribuye más allá de lo que permite el método de alineación utilizado. El sistema debe volver a recuperar información, dividir o debilitar la afirmación, o abstenerse, en lugar de señalar el texto temáticamente más cercano.
Audita las afirmaciones y los fragmentos como objetos separados
Toma muestras de respuestas procedentes de prosa, escaneos OCR, tablas y versiones contradictorias de documentos. Divídelas en afirmaciones atómicas, registra la versión de la fuente y las coordenadas de la página, resalta el fragmento mínimo suficiente y etiqueta el respaldo, la contradicción o la neutralidad. Esta dependencia debe seguir siendo explícita en la interfaz final.
Compara los resultados con la precisión de las citas. Calcula la precisión de las citas, la cobertura de las afirmaciones, la corrección de la versión, la resolubilidad y el acuerdo humano; revisa por separado los números, las negaciones y las condiciones. Por lo tanto, el resultado debe comprobarse frente a la evidencia original.
Aprueba solo cuando cada cita mostrada abra un fragmento inspeccionable que implique su afirmación vinculada. Un documento relevante sin palabras suficientes cuenta como un fallo de citación, no como un éxito parcial. Esta distinción sigue siendo visible durante las pruebas domésticas posteriores.
Productos recomendados
Centro de Tecnología e IA
Más para leer
¿Puede un LLM local reanudar la generación después de que se reinicie su proceso?
Una explicación de la reanudación de la generación de LLM desde el mecanismo, sus concesiones en recursos compartidos, tres preguntas frecuentes sobre la ramificación...
¿Puede un servidor doméstico ejecutar embeddings y transcodificación de vídeo en la misma GPU integrada?
Una explicación centrada en el mecanismo de las representaciones vectoriales compartidas de la iGPU y la transcodificación, sus ventajas y desventajas en cuanto a...
¿Cómo afecta la duración de los tokens de acceso a la seguridad y las molestias en el hogar?
Una explicación centrada en el mecanismo sobre la duración de los tokens de acceso, sus ventajas y desventajas respecto a los recursos compartidos, tres...
