벡터 양자화로 홈 검색 인덱스를 어떻게 축소할 수 있나요?

벡터 양자화는 고정밀 임베딩 값을 원본 벡터를 근사하는 압축 코드로 대체하여 홈 검색 인덱스의 크기를 줄입니다.

개인 검색 서버는 메모, OCR 텍스트, 매뉴얼, 사진 메타데이터, 트랜스크립트, 애플리케이션 레코드에서 수십만 개 또는 수백만 개의 청크를 인덱싱할 수 있습니다. 모든 임베딩을 고정밀 부동 소수점 값으로 저장하면 벡터 작업 집합이 원본 텍스트 자체보다 커질 수 있습니다. 양자화는 검색에 사용하는 표현을 변경하여 각 벡터가 더 적은 바이트를 차지하도록 하며, 메모리와 스토리지 부담을 줄이는 대신 제어된 근사를 허용합니다.

고정밀 임베딩은 모든 차원에 여러 바이트를 사용합니다

임베딩은 수치 좌표의 배열입니다. 1,024차원 벡터를 32비트 부동 소수점으로 저장하면 그래프 연결, ID, 페이로드, 메모리 할당기 오버헤드 또는 복제본을 고려하기 전 원시 값만 4,096바이트가 필요합니다.

압축된 벡터 표현은 인덱스의 벡터 부분에 필요한 바이트를 줄여, 메모리가 제한된 홈 서버에서도 더 큰 검색 가능 작업 집합을 메모리에 상주할 수 있도록 합니다.

이 원시 크기를 청크 100만 개에 적용하면 압축되지 않은 벡터 값만으로도 수 기가바이트에 육박합니다. 여러 컬렉션, 복제본, 상주 검색 인덱스가 있으면 홈 서버에서 차지하는 공간은 더욱 커집니다. 양자화는 이러한 수치 표현을 대상으로 합니다. 원본 PDF, 페이로드 메타데이터, 역색인 또는 해당 벡터 주변의 모든 그래프 엣지를 자동으로 압축하는 것은 아닙니다.

양자화는 세밀한 좌표를 더 작은 표현 집합에 매핑합니다

기본적인 개념은 가능한 부동 소수점 값의 수를 더 적은 표현 상태로 대체하는 것입니다. 정확한 매핑은 시스템이 스칼라, 바이너리, 곱, 회전 또는 다른 양자화 계열을 사용하는지에 따라 달라집니다.

서로 다른 벡터 양자화 모드는 표현 크기를 서로 다른 방식으로 줄이므로 스칼라, 바이너리, 곱 방식이 하나의 보편적인 정확도 또는 성능 절충안을 공유하는 것은 아닙니다.

스칼라 방식은 각 좌표의 정밀도를 낮출 수 있습니다. 바이너리 방식은 훨씬 거친 방향 정보를 인코딩합니다. 별도로 다루는 곱 양자화는 벡터를 부분공간으로 나누고 코드북 식별자를 저장합니다.

공통적인 결과는 동일합니다. 검색 엔진은 모든 후보 비교 과정에서 원래의 고정밀 배열을 유지하는 대신, 핫 작업 집합에 압축된 근사값을 저장할 수 있습니다.

더 작은 벡터는 상주 메모리와 거리 계산 데이터 이동을 모두 줄입니다

검색은 후보 벡터를 반복해서 불러오고 쿼리와 비교합니다. 이러한 표현이 더 작아지면 더 많은 후보를 CPU 캐시 또는 가속기 메모리에 저장할 수 있고, 메모리 계층을 통해 이동해야 하는 데이터도 줄어듭니다.

압축된 근사 벡터는 광범위한 후보 검색 중 스토리지 사용량과 메모리 트래픽을 줄이지만, 해당 벡터의 거리는 원래 고정밀 임베딩에 인코딩된 관계를 근사합니다.

홈 서버에서 이점은 흔히 눈에 띄는 압축률보다 활성 인덱스를 메모리에 상주시키는 데 있습니다. 메모리 부족을 피하면 반복적인 디스크 페이지 폴트를 방지하고 로컬 LLM, 데이터베이스 및 기타 컨테이너와의 리소스 경쟁을 줄일 수 있습니다.

지연 시간이 개선되는지는 검색 엔진, CPU 명령어, 인덱스 구조, 추가 디코딩 또는 재점수화 단계에 따라 달라집니다.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

근사 벡터는 이웃 순서를 바꿀 수 있습니다

양자화는 일반적으로 손실이 있습니다. 서로 다른 여러 고정밀 벡터가 서로 가깝거나 동일한 압축 표현으로 매핑될 수 있으므로 근사 거리가 원래의 모든 순위를 정확히 보존하지는 않습니다.

손실 압축 영역 검색은 더 작거나 빠른 유사도 검색 작업 집합을 위해 정확한 수치 표현을 포기하므로, 압축 후 재현율을 측정해야 합니다.

고정밀 환경에서 간신히 더 가까웠던 관련 청크가 압축 후 다른 청크와 순서가 바뀔 수 있습니다. 그 영향은 데이터 분포, 임베딩 모델, 양자화기, 코드 크기 및 쿼리의 난이도에 따라 달라집니다. 따라서 재현율 테스트가 필수입니다. 광범위한 의미 검색 쿼리에서 안전해 보이는 압축 설정도 매우 유사한 제품 매뉴얼이나 버전별로 밀접하게 배치된 문단에서는 다르게 작동할 수 있습니다.

오버샘플링과 재점수화로 압축된 1차 검색의 정확도를 회복할 수 있습니다

일반적인 설계에서는 압축된 인덱스에서 최종 top-k보다 많은 후보를 검색한 다음, 원본 벡터를 사용해 해당 후보 집합의 정확한 또는 더 높은 정밀도의 거리를 다시 계산합니다.

오버샘플링과 재점수화를 사용하면 압축된 표현으로 광범위하게 검색한 뒤, 최종 순위를 정하기 전에 더 작은 후보 집합에 대해 더 높은 정밀도의 거리를 다시 계산할 수 있습니다.

이 하이브리드 방식은 광범위한 후보 검색에서 비용이 큰 전체 벡터를 제외하면서도, 증거가 RAG에 전달되기 전에 경계선상의 결과를 수정할 수 있도록 합니다.

그 대신 원본 벡터를 유지하면 추가 디스크 또는 메모리가 필요하고, 재점수화는 쿼리마다 더 많은 작업을 요구합니다. 홈 서버에서는 압축된 바이트만 계산하지 말고 전체 리소스 사용량을 측정해야 합니다.

양자화는 벡터 크기를 해결할 뿐, 모든 검색 인덱스 병목을 해결하지는 않습니다

HNSW 인덱스는 그래프 연결 정보도 저장하며, 메타데이터 필터, 텍스트 인덱스, 문서 페이로드, 캐시 및 쿼리 버퍼도 각각 리소스를 사용합니다.

의미 검색 인프라에는 임베딩, 인덱싱, 필터링 및 검색 단계가 포함되므로 벡터를 줄이는 것은 전체 홈 검색 파이프라인의 한 리소스 계층에만 영향을 줍니다.

HNSW 인덱스에는 벡터와 연결 그래프가 모두 포함되므로, 벡터 압축만으로 전체 인덱스 공간이 원시 임베딩 바이트와 동일한 비율로 줄어들지는 않습니다.