RAG 평가 데이터셋이란 무엇이며, 프라이빗 검색에서 언제 중요한가요?

RAG 평가 데이터셋은 프라이빗 검색 변경 사항을 일관되게 측정하는 데 사용하는, 반복 가능한 쿼리와 예상 증거 또는 답변 동작의 집합입니다.

고정된 평가 세트가 없으면 새로운 청크 크기, 임베딩 모델, 재순위화 모델 또는 메타데이터 규칙을 적용한 뒤 단지 다른 질문을 시도했기 때문에 홈 지식 베이스가 더 좋아진 것처럼 느껴질 수 있습니다. 유용한 데이터셋은 대표적인 가정용 쿼리를 고정하고, 검색되어야 하는 증거에 라벨을 지정하며, 허용 가능한 답변 동작을 기록하고, 코퍼스에 답이 없을 때 시스템이 이를 인정해야 하는 사례를 포함합니다.

평가 데이터셋은 질문과 예상 증거를 고정합니다

기본 단위는 RAG 파이프라인이 변경된 후 다시 실행할 수 있는 테스트 케이스입니다. 여기에는 질문, 참조 답변, 관련 소스 구절, 문서 식별자, 메타데이터 제약 조건, 그리고 올바른 거부 응답이 어떤 형태여야 하는지에 대한 메모가 포함될 수 있습니다.

애플리케이션을 반복적으로 측정하기 전에 안정적인 RAG 테스트에서 질문과 예상 답변을 짝지을 수 있습니다.

프라이빗 검색에서는 답변 텍스트만 사용하는 것보다 증거 라벨이 더 유용한 경우가 많습니다. 언어 모델이 그럴듯한 최종 문장을 우연히 생성했더라도 올바른 파일과 버전이 컨텍스트에 포함되었는지 확인할 수 있기 때문입니다.

테스트 케이스는 시스템이 검색하는 것과 동일한 세분화 수준으로 소스 식별자를 유지해야 합니다. 평가 라벨이 전체 PDF만 가리키고 인덱스가 청크를 반환한다면, 겉보기에는 올바른 문서 수준의 일치 결과 안에 실패가 숨겨질 수 있습니다.

프라이빗 검색에는 실제 가정용 코퍼스의 실패 유형이 필요합니다

공개 벤치마크에는 홈 지식 베이스를 형성하는 중복 파일명, OCR 스캔, 개정된 매뉴얼, 가족별 용어, 정확한 일련번호, 비공개 폴더 규칙, 오래된 버전이 포함되는 경우가 드뭅니다.

코퍼스에 따라 모든 검색 환경을 하나의 일반적인 QA 벤치마크로 대표한다고 가정하기보다 도메인별 RAG 평가가 필요할 수 있습니다.

실제 검색 로그와 잘 알려진 어려운 파일에서 사례를 만들고, 명확하게 정의된 경계를 테스트하는 경우에만 합성 변형을 추가하세요. 정확한 식별자, 바꿔 표현한 질문, 여러 문서의 종합, 오래된 버전과 최신 버전의 충돌, 답변이 존재하지 않는 쿼리는 하나의 일반적인 질문 유형으로 나타내서는 안 됩니다.

검색과 생성을 별도의 라벨로 평가해야 합니다

모델이 사전 학습 과정에서 사실을 알고 있었다면 올바른 최종 답변이 취약한 검색을 가릴 수 있고, 반대로 완벽한 구절이 검색되었더라도 잘못된 답변이 생성될 수 있습니다. 따라서 데이터셋은 하나의 전부 아니면 전무인 점수보다 단계별 지표를 지원해야 합니다.

구조화된 평가 샘플을 사용하면 일관된 테스트 입력을 바탕으로 검색 품질과 응답 품질을 측정할 수 있습니다.

각 쿼리마다 반드시 포함되어야 하는 증거, 금지되는 버전, 중요한 답변 특성에 라벨을 지정하세요. 그런 다음 재현율, 순위 품질, 컨텍스트 정밀도, 충실도, 답변 정확성, 인용된 문서 식별자, 거부 응답 동작을 별도로 비교하세요.

이렇게 분리하면 회귀 문제를 해결하기 쉬워집니다. 상위 k개 결과에서 증거가 사라져 답변 점수가 낮아졌다면 청킹 또는 검색 문제로 분류할 수 있고, 증거가 그대로 남아 있는데 답변이 이를 잘못 사용했다면 생성 문제로 분류할 수 있습니다.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

부정 사례와 경계 사례는 시스템이 데이터셋을 편법으로 공략하지 못하게 합니다

쉽고 답변 가능한 질문만 포함된 데이터셋은 항상 자신 있게 답하는 시스템에 유리합니다. 프라이빗 검색에는 답이 없거나, 모호하거나, 권한이 제한되어 있거나, 이미 대체되었거나, 둘 이상의 소스에 의존하는 쿼리도 필요합니다.

색인된 지식 베이스 밖의 질문에 대한 지식 베이스 외부 사례는 알려진 답변에 대한 재현율뿐 아니라 보수적인 동작을 측정하는 데 필요합니다.

가정용 인덱스에서는 권한 테스트도 똑같이 중요합니다. 의미적으로는 완벽하지만 권한이 없는 결과는 뛰어난 검색 결과가 아니라 시스템 실패로 평가해야 합니다.

유사 중복 사례와 버전 충돌 사례를 포함하여, 시스템이 더 많은 후보를 반환하는 것만으로 평균 지표를 높이지 못하게 하세요. 예상 증거는 단순히 주제만이 아니라 권위 있는 소스를 식별해야 합니다.

데이터셋 버전 관리는 일회성 테스트를 회귀 관리로 전환합니다

코퍼스와 질문은 모두 시간이 지나면서 변경됩니다. 새로운 기기, 이름이 변경된 폴더, 업데이트된 정책, 달라진 사용자 용어로 인해 기존 평가 세트가 대표성을 잃을 수 있으므로 테스트 데이터 자체에도 통제된 수명 주기가 필요합니다.

데이터셋 버전 관리를 사용하면 평가 예시의 알려진 상태를 기준으로 파이프라인 결과를 비교할 수 있습니다.

프라이빗 지식 베이스 워크플로는 애플리케이션 계층이고, 평가 데이터셋은 해당 워크플로의 변경 사항을 단순한 체감이 아니라 측정 가능한 결과로 만들어 줍니다.

코퍼스나 사용자 행동이 변경되면 데이터셋을 새로 고치되, 과거 버전은 유지하세요. 그래야 새로운 평가 세트가 이전의 중요한 워크플로에서 검색 변경으로 발생한 회귀의 증거를 지워 버리지 않습니다.