벡터 인덱스 세그먼트 병합이란 무엇이며, 언제 쿼리 성능을 변화시키나요?

세그먼트 병합은 변경할 수 없는 인덱스 조각을 더 적은 수의 큰 구조로 통합하여, 정상 상태의 쿼리 성능을 향상시키는 경우가 많지만 상당한 백그라운드 컴퓨팅 리소스와 스토리지 대역폭을 사용합니다.

홈 검색 서버에서 증분 수집을 수행하면 각 문서마다 전체 인덱스를 다시 작성하는 대신 새로운 벡터 또는 어휘 세그먼트가 생성됩니다. 쿼리는 이러한 조각 전체로 분산된 후 결과를 결합하며, 삭제된 항목은 삭제 표시로 남아 있을 수 있습니다. 병합은 선택한 세그먼트를 다시 작성하고 더 이상 유효하지 않은 레코드를 제거한 뒤 대체 세대를 생성하므로, 작업 중에는 성능이 저하되었다가 완료 후 향상될 수 있습니다.

세그먼트를 사용하면 인덱스의 새 데이터를 기존 위치에서 변경하지 않고 게시할 수 있습니다

세그먼트는 플러시 또는 배치 빌드로 생성되는 독립적인 변경 불가 검색 구조입니다. 라이브 인덱스는 여러 세그먼트를 참조하므로, 작성자가 메타데이터 변경을 통해 새 데이터를 게시하는 동안에도 리더는 안정적인 파일을 계속 쿼리할 수 있습니다.

Solr 참고 문서에서는 Lucene 인덱스가 한 번만 쓰는 세그먼트를 사용하며, 지속적인 조각화를 방지하기 위해 이를 주기적으로 결합한다고 설명합니다. 변경 불가 특성은 동시 읽기를 단순화하지만, 업데이트 비용을 이후의 병합 작업으로 이전합니다. 이러한 차이는 이후의 가정 환경 테스트에서도 확인할 수 있습니다.

벡터 엔진마다 그래프, 포스팅, 양자화 세부 사항은 다르지만 수명 주기는 여전히 비슷합니다. 즉, 검색 가능한 작은 단위를 만들고, 대체된 레코드에 표시를 남기며, 정책에 따라 통합합니다. 자동화를 적용하기 전에 중간 결과를 확인할 수 있어야 합니다.

병합은 데이터를 다시 작성하고 쿼리 분산 방식을 변경합니다

병합은 원본 세그먼트를 읽고, 활성 레코드를 새로운 대형 세그먼트로 복사하며, 검색 구조를 다시 구축하고, 새 매니페스트를 커밋한 다음, 참조되지 않는 파일을 나중에 제거합니다. 전환 후 쿼리는 더 적은 조각을 검색하고 회수된 삭제 표시를 건너뜁니다.

Lucene 엔지니어링 시각화 자료는 동시 세그먼트 병합이 동시에 발생하며 병합 입력이 커질수록 더 오래 걸린다는 점을 보여줍니다. 포그라운드 쿼리를 계속 사용할 수 있는 경우에도 이 작업은 I/O, CPU, 임시 용량, 페이지 캐시를 사용합니다. 이러한 경계는 현실적인 운영 조건에서 별도로 측정해야 합니다.

세그먼트 수가 줄어들면 세그먼트별 오버헤드가 감소할 수 있지만, 더 큰 구조는 캐시 지역성과 그래프 특성이 달라질 수 있습니다. 따라서 세그먼트 수만으로 벡터 재현율이나 지연 시간을 보정하여 예측할 수는 없습니다. 여러 소스가 제한된 컨텍스트를 놓고 경쟁할 때 이러한 실질적인 영향이 나타납니다.

포그라운드 경합과 병합 후 구조는 서로 반대 방향으로 작용합니다

병합 중에는 순차 읽기와 쓰기가 검색, 모델 로딩, 수집 작업과 경쟁합니다. 새 파일은 자주 사용되는 인덱스 페이지를 밀어낼 수 있고, 임시 중복으로 인해 필요한 여유 공간과 SSD 쓰기 증폭이 증가합니다. 이 종속성은 최종 인터페이스에서 명시적으로 유지해야 합니다.

병합-쿼리 경합에 관한 연구는 인덱스 유지 관리와 쿼리 사이에서 발생하는 CPU, 디스크 대역폭, 페이지 캐시 경쟁을 확인합니다. 또한 병합된 인덱스가 이후 더 적은 분산 검색을 필요로 하더라도 p99 지연 시간이 급증할 수 있는 이유를 설명합니다. 따라서 결과는 원래의 근거와 대조하여 확인해야 합니다.

장애가 발생하기 쉬운 경계는 활발히 변경 중이거나 공간이 제한된 인덱스에서 강제 병합을 공격적으로 수행하는 경우입니다. 이 작업은 즉시 새로운 소형 세그먼트를 만들거나, 임시 스토리지를 소진하거나, 쿼리 성능의 소폭 향상을 위해 수 시간 동안 서비스 성능을 저하시킬 수 있습니다.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

동일한 병합을 전, 중, 후에 측정하세요

세그먼트 수와 크기, 활성 및 삭제된 벡터 수, 임시 바이트 수, 병합 처리량, SSD 쓰기량, CPU, 페이지 캐시 미스, 수집 속도, 재현율, p50 및 p99 쿼리 지연 시간을 기록하세요. 이러한 차이는 이후의 가정 환경 테스트에서도 확인할 수 있습니다.

세그먼트 병합에 따른 순위 변화와 비교하세요. 병합 전, 유지 관리 작업이 가장 활발한 동안, 전환 직후, 캐시가 예열된 후에 동일한 쿼리 세트를 재생하세요. 자동화를 적용하기 전에 중간 결과를 확인할 수 있어야 합니다.

전체 타임라인을 바탕으로만 병합 정책을 조정하세요. 병합 후 쿼리 성능은 향상되지만 유지 관리 작업이 지연 시간 목표를 위반한다면, 모든 조각을 하나의 세그먼트로 강제 병합하기보다 백그라운드 작업을 제한하거나 예약하세요. 이러한 경계는 현실적인 운영 조건에서 별도로 측정해야 합니다.