비공개 검색 점수 보정: 원시 유사도가 활용 가능한 신뢰도 신호로 변환되는 과정

검색 점수 보정은 점수를 정의된 프라이빗 검색 작업에서 관찰된 관련성에 연결하여 원시 유사도 점수를 실제로 활용 가능한 신뢰도 신호로 변환합니다.

코사인 점수 0.82는 한 임베딩 모델에서는 매우 우수할 수 있지만, 다른 모델에서는 보통 수준일 수 있습니다. 그 의미는 청크 분할 방식, 문서 언어, 질의 난이도, 코퍼스 밀도에 따라서도 달라집니다. 보정은 레이블이 지정된 예시를 사용해 특정 점수 범위의 결과가 실제로 얼마나 자주 관련성이 있는지 추정하므로, 임계값과 보류 규칙이 직관이 아닌 근거를 반영하도록 합니다.

유사도는 후보의 순서를 정하지만 확률을 나타내지는 않습니다

코사인 유사도, 내적, 거리는 기하학적 순위 신호입니다. 특정 모델과 정규화 방식에 따라 질의 벡터와 문서 벡터를 비교합니다. 값이 0과 1 사이에 있더라도 관련성이 있을 확률이 그에 상응하는 백분율이라는 뜻은 아닙니다.

Pinecone의 인덱스 개요에서는 시맨틱 검색이 질의 벡터와 가장 가까운 레코드를 반환한다고 설명합니다. 이 메커니즘은 상대적인 이웃 관계를 정하지만, 원시 점수의 척도는 메트릭, 인코더, 코퍼스, 질의에 따라 달라집니다. 이러한 구분은 실제 가정용 운영 환경에서도 여전히 중요합니다.

따라서 다른 배포 환경에서 가져온 임계값은 가정용 환경에서 좋은 매칭을 거부하거나 그럴듯한 방해 결과를 받아들일 수 있습니다. 첫 단계는 의도한 작업에서 관련성을 정의하는 것입니다. 예를 들어 청크가 단순히 주제를 공유하는 것이 아니라 답변을 직접 뒷받침하는지를 기준으로 삼을 수 있습니다.

레이블이 지정된 질의는 점수 범위를 경험적 결과에 연결합니다

현실적인 질의로 검증용 데이터 세트를 만들고 후보 청크를 답변 뒷받침, 관련 있음, 무관함으로 판정합니다. 그런 다음 로지스틱 회귀, 등oton 회귀 또는 구간별 신뢰도 매핑과 같은 보정기를 사용해 원시 점수와 보조 특성을 관찰된 관련성 빈도에 연결할 수 있습니다.

검색 보정에 관한 연구는 검색 불확실성이 점수와 함께 제공되어야 한다고 주장하며, 보정을 고려한 순위 지정과 컷오프 예측을 보여 줍니다. 이는 순위 점수를 직접 해석하는 대신 검증 데이터를 사용해 의사 결정 신호를 학습해야 한다는 점을 뒷받침합니다.

보정은 조건부입니다. 언어, 문서 유형 또는 질의 분류에 따라 점수 분포가 다르다면 별도의 매핑이 필요할 수 있습니다. 결과는 보류, 더 폭넓은 검색 요청, 재순위 지정 실행에 활용할 수 있지만, 순위 품질은 여전히 별도로 측정해야 합니다.

코퍼스와 모델 변경은 보정 드리프트를 유발합니다

서로 거의 중복되는 문서를 많이 추가하거나, 청크 크기를 변경하거나, 임베딩 모델을 업그레이드하거나, 하이브리드 검색을 활성화하면 후보와 점수 분포가 바뀝니다. 상위 k개 재현율이 안정적으로 보여도 이전에 신뢰할 수 있었던 임계값이 과도한 확신을 보이게 될 수 있습니다. 이후 진단과 검토를 위해 중간 상태를 계속 확인할 수 있어야 합니다.

Scikit-learn 문서의 신뢰도 보정에서는 확률의 신뢰도와 원시 예측 성능을 구분하고, 신뢰도 다이어그램과 보정 방법을 소개합니다. 검색 점수를 관련성 확률로 모델링한 후에도 동일한 평가 논리를 적용할 수 있습니다.

실패 경계는 보정된 신뢰도를 학습에 사용한 데이터와 의사 결정 정의의 범위를 벗어나 사용하는 경우입니다. 보정은 누락된 근거, 편향된 레이블, 잘못된 엔터티 매칭을 해결할 수 없으며, 비교 가능한 조건에서 관찰된 정확성만 추정합니다.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

검색 신뢰도 다이어그램 구축

판정된 후보 청크가 포함된 대표적인 가정용 질의를 최소 50개 수집하고, 별도의 테스트 분할을 유지합니다. 예측 신뢰도를 구간으로 나누고 각 구간을 관찰된 관련성 비율과 비교한 다음, 재현율, 정밀도, 순위 품질, 커버리지와 함께 보정 오류를 기록합니다.

RAG 검색 평가의 평가 프레임워크를 사용해 검색 품질과 답변 인용 커버리지를 분리합니다. 직접적인 질문, 약어, 다국어 질의, OCR 텍스트, 답변이 없는 경우를 테스트해야 합니다. 이러한 경우에는 점수 분포가 서로 다를 수 있기 때문입니다. 자동화를 활성화하기 전에 이러한 의존성을 별도로 측정해야 합니다.

거짓 수용과 거짓 거부의 비용을 측정한 후에만 보류 또는 재순위 지정 임계값을 설정합니다. 인코더, 청크 분할, 결합 방식 또는 코퍼스 구성이 변경될 때마다 다시 학습하거나 재검증해야 합니다. 그렇지 않으면 해당 값을 신뢰도가 아닌 유사도로 표시해야 합니다.