최대 주변부 관련성이 중복된 RAG 근거를 어떻게 줄일까요?

최대 한계 관련성(Maximal Marginal Relevance, MMR)은 쿼리와의 관련성뿐 아니라 이미 선택된 근거와 비교한 새로움을 기준으로 문단을 선택하여 RAG 근거의 중복을 줄입니다.

개인용 홈 RAG 시스템은 동일한 매뉴얼 문단, 겹치는 스캔본, 중복된 메모 또는 인접 섹션에서 여러 청크를 검색할 수 있습니다. 이들 모두 쿼리와 매우 유사하기 때문입니다. 순수한 상위 k개 유사도 검색은 이러한 거의 중복된 항목을 각각 강력한 결과로 취급합니다. MMR은 두 번째 관계를 추가합니다. 다음 결과는 여전히 쿼리에 답해야 하지만, 이미 근거 집합에 포함된 문단과도 비교됩니다.

MMR은 검색기가 후보 풀을 만든 후 시작됩니다

MMR은 일반적으로 전체 벡터 컬렉션을 처음부터 검색하지 않습니다. 먼저 빠른 어휘 검색, 벡터 검색 또는 하이브리드 검색기가 충분히 검토할 가치가 있는 후보들로 구성된 더 큰 후보 집합을 생성합니다.

최대 한계 관련성 목표는 쿼리와의 관련성과 이미 선택된 항목과의 중복성을 균형 있게 조정합니다. 따라서 순위는 개별 후보 점수가 아니라 변화하는 결과 집합에 따라 결정됩니다.

초기 후보 풀에 올바른 문단이 없다면 MMR이 이를 만들어낼 수는 없습니다. 따라서 후보 깊이는 여전히 재현율의 한계로 작용합니다. 더 넓은 후보 풀은 다양화 단계에 더 많은 대안을 제공하지만, 지나치게 넓은 후보 풀은 나중에 제거해야 할 품질 낮은 자료를 추가합니다.

각 선택은 쿼리 적합성과 선택된 근거와의 유사성 사이에서 균형을 잡습니다

아직 아무것도 선택되지 않은 첫 번째 문단은 일반적으로 관련성의 영향을 가장 크게 받습니다. 그 이후에는 남은 각 후보가 두 가지 기준으로 평가됩니다. 쿼리와 얼마나 잘 일치하는지, 그리고 이미 선택된 근거와 얼마나 유사한지입니다.

반복적인 선택 과정에서는 채택된 각 문단이 남은 후보에 적용되는 중복성 페널티를 바꿉니다. 따라서 다음 선택은 쿼리 적합성과 이미 컨텍스트에 포함된 내용 모두에 따라 달라집니다.

이 방식은 순위 작업을 독립적인 점수 산정에서 집합 구성으로 바꿉니다. 어떤 문단이 쿼리 점수는 매우 높더라도 첫 번째 결과와 동일한 사실을 반복한다면 순위가 내려갈 수 있습니다.

홈 아카이브에서는 백업 정책을 설명하는 문단 하나, 보존 기간의 예외를 나열하는 문단 하나, 복원 절차에서 가져온 문단 하나를 선택하게 될 수 있습니다. 정책 문단이 겹치는 사본 세 개를 반환하는 대신, 서로 다른 근거를 제공하는 방식입니다.

다양성 가중치는 거의 중복된 항목을 얼마나 적극적으로 낮출지 조절합니다

관련성과 새로움은 서로 충돌할 수 있으므로 MMR에는 절충 매개변수가 필요합니다. 관련성 중심에 가까운 설정은 일반적인 상위 k개 순위와 비슷하게 작동하는 반면, 다양성 중심 설정은 서로 다른 근거를 얻기 위해 직접적인 유사성을 일부 포기할 수 있습니다.

조정 가능한 관련성-다양성 절충은 선택기가 서로 다른 정보를 제공하는 근거를 얻기 위해 직접적인 유사성을 얼마나 쉽게 포기할지 결정합니다.

적절한 설정은 질문에 따라 달라집니다. 정확한 일련번호 하나를 묻는 쿼리는 관련성 우선 설정이 유리하지만, 홈 서버 백업이 실패한 이유를 묻는 질문에는 로그, 구성, 저장소 상태, 스케줄러 기록에서 얻은 독립적인 근거가 필요할 수 있습니다.

다양성을 지나치게 높이면 첫 번째 문단을 실제로 보강하거나 한정하는 두 번째 문단까지 낮아질 수 있습니다. 목표는 최대한 다른 내용을 고르는 것이 아닙니다. 제한된 컨텍스트를 추가 정보에 할애할 수 있을 만큼 충분히 다른 내용을 고르는 것입니다.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

중복 청크가 여전히 의미 있는 유사도 신호를 지닐 때 MMR이 가장 효과적입니다

겹치는 청크 분할, 복사된 파일, 반복되는 헤더, 버전이 다른 문서는 의미적으로 거의 동일한 후보를 만들 수 있습니다. 이러한 상황에서는 후보 간 유사도에 중복성이 직접 나타나므로 MMR이 효과적으로 작동합니다.

MMR 기반 다양화는 각 중복 후보를 사전에 벡터 인덱스에서 물리적으로 삭제하지 않고도 기존 후보 집합의 순위를 다시 정할 수 있습니다.

그러나 서로 다른 어휘나 형식으로 동일한 사실을 반복하는 두 문단도 있을 수 있습니다. 표의 한 행과 서술형 문장은 사람에게는 중복으로 보이지만 벡터 유사도는 중간 정도에 그칠 수 있습니다. 따라서 MMR은 소스 인식 중복 제거를 대체하지 않고 보완합니다. 문서 ID, 버전 메타데이터, 상위 문서 그룹, 겹침 추적을 활용하면 의미적 다양화를 적용하기 전에 구조적 중복을 제거할 수 있습니다.

더 다양한 근거는 생성 모델에 더 나은 컨텍스트 예산을 제공합니다

로컬 답변 모델은 컨텍스트와 주의 집중 능력에 한계가 있습니다. 검색 슬롯 여섯 개를 거의 동일한 문단으로 채우면 모델이 검토할 수 있는 독립적으로 유용한 사실의 수는 늘어나지 않은 채 토큰만 낭비됩니다.

RAG 근거 단위는 수집 과정에서 결정되므로, MMR은 파서와 청커가 검색에 제공한 청크 사이에서만 다양화를 수행할 수 있습니다.

더 다양한 집합은 일반적인 유사도 순위에서 반복된 청크 아래로 밀려난 예외 사항, 두 번째 문서, 최신 개정본 또는 보조 표를 드러낼 수 있습니다.

생성 모델에는 여전히 출처와 인용에 대한 엄격한 관리가 필요합니다. 다양화는 근거 집합의 반복성을 줄이지만, 선택된 모든 문단이 정확하거나 최신이거나 권위 있다는 것을 증명하지는 않습니다.

MMR은 누락되었거나 오래되었거나 잘못 파싱된 근거를 복구할 수 없습니다

MMR은 입력받은 표현을 기반으로 작동합니다. OCR이 표를 평탄화했거나, 청크 분할 과정에서 한정 조건이 분리되었거나, 메타데이터 필터가 최신 파일을 제외했거나, 임베딩 모델이 쿼리를 제대로 표현하지 못했다면 다양화 단계에서 신뢰할 만한 근거를 우선할 수 없습니다.

최대 한계 관련성 검색을 사용하면 이용 가능한 후보 중 최종 집합에 포함되는 항목은 달라지지만, 추출 실패를 복구하거나 누락된 근거를 만들어내지는 못합니다.

평가할 때는 상위 1개 관련성뿐 아니라 중복률과 근거 범위를 포함하는 검색 지표를 사용하세요. 유용한 테스트 세트에는 겹치는 청크, 반복된 버전, 둘 이상의 독립적인 문단이 있어야 답할 수 있는 질문이 포함되어야 합니다.

MMR은 최종 컨텍스트가 가장 관련성 높은 근거를 유지하면서도 중복된 슬롯을 진정으로 새로운 뒷받침을 제공하는 문단으로 대체할 때 성공적입니다.