대규모 임베딩 수집 중 SSD 쓰기 증폭이 발생하는 원인은 무엇인가요?

에바 왕

IceWhale author

에바 왕 는 기술 작가 그리고 이자 ZimaSpace의 상주 장인입니다. 평생을 기술에 열정을 가진 사람으로서 홈랩과 오픈소스 소프트웨어에 열정을 가지고 있으며,복잡한 기술 개념을 쉽게 이해할 수 있는 실습 가이드로 번역하는 데 전문성을 가지고 있습니다.에바는 셀프 호스팅이 어렵지 않고 재미있어야 한다고 믿습니다. 그녀의 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 신비를 풀도록돕고 있습니다. 첫 NAS 구축부터 Docker 컨테이너 마스터링까지.

What Causes SSD Write Amplification During Large Embedding Ingests? - Zima Store Online

대규모 임베딩 수집은 각 논리 벡터가 드라이브 내부에서 기록되고, 색인되고, 압축되고, 복사되고, 다시 재작성될 수 있기 때문에 SSD 쓰기를 증폭시킵니다.

홈 서버는 수십 기가바이트의 벡터만 수집할 수 있지만 SMART 카운터에는 훨씬 더 많은 NAND 쓰기가 표시될 수 있습니다. 파이프라인은 원본 스테이징 데이터, 임베딩, WAL(Write-Ahead Log), 메타데이터, 그래프 엣지, 변경 불가능한 세그먼트, 압축 결과물, 스냅샷을 기록할 수 있습니다. 파일 시스템의 기록 중 복사와 SSD 가비지 컬렉션은 벡터 데이터베이스가 직접 보고하지 않는 하위 계층의 재작성도 추가합니다.

내구성과 색인 구축은 논리적 쓰기를 증폭시킵니다

내구성이 보장되는 수집 과정에서는 벡터를 WAL에 추가하고, 메타데이터를 업데이트하고, 메모리 내 플러시 결과를 디스크에 기록하고, 그래프 또는 양자화 구조를 구축할 수 있습니다. 소규모 커밋은 하나의 대량 트랜잭션보다 헤더, 저널, fsync 경계를 더 자주 반복합니다.

물리적 쓰기와 논리적 쓰기의 정의는 요청된 논리적 바이트 대비 기록된 물리적 바이트의 비율로 증폭을 나타냅니다. 최종 색인 크기와 원본 문서만 비교하지 말고 각 경계에서 해당 비율을 측정하세요. 이러한 구분은 이후 가정 환경 테스트에서도 계속 확인할 수 있습니다.

호스트 쓰기가 이미 임베딩 페이로드를 크게 초과한다면 증폭은 애플리케이션 또는 데이터베이스에서 시작됩니다. 호스트 쓰기는 적은데 NAND 쓰기가 많다면 스토리지 스택의 더 아래쪽을 살펴봐야 합니다. 자동화가 이어지기 전에 중간 결과를 계속 확인할 수 있어야 합니다.

변경 불가능한 세그먼트와 압축은 기존 데이터를 재작성합니다

쓰기 최적화 저장소는 새로 정렬된 세그먼트를 플러시한 다음, 읽기 증폭과 삭제 표시를 줄이기 위해 이를 병합합니다. 대규모 수집은 겹치는 압축 작업을 유발해 새 배치와 함께 기존 벡터 및 메타데이터를 재작성할 수 있습니다. 이 경계는 실제 운영 조건에서 별도로 측정해야 합니다.

압축 쓰기 비용에 대한 분석은 압축이 추가로 바이트를 재작성하는 대신 읽어야 할 파일 수를 줄이는 방식을 설명합니다. 임베딩 생성이 끝난 뒤에도 백그라운드 쓰기 트래픽이 계속되는 것이 증상입니다. 여러 소스가 제한된 컨텍스트를 놓고 경쟁할 때 이러한 실질적인 영향이 나타납니다.

자주 발생하는 소규모 플러시는 더 큰 정렬 배치보다 많은 병합 작업을 만들지만, 플러시를 지연하면 메모리 사용량과 복구 위험이 증가합니다. 올바른 기준은 압축 작업 수 자체가 아니라 내구성이 보장된 벡터 하나당 재작성된 바이트입니다.

기록 중 복사와 플래시 가비지 컬렉션은 숨겨진 계층을 추가합니다

파일 시스템 스냅샷 또는 기록 중 복사는 색인이 변경되는 동안 기존 블록을 보존할 수 있습니다. SSD 내부에서는 페이지를 제자리에서 덮어쓸 수 없으므로 회수하기 전에 부분적으로 오래된 삭제 블록에서 유효한 데이터를 복사해야 할 수 있습니다. 이 종속성은 최종 인터페이스에 명시적으로 남겨야 합니다.

플래시 수준의 쓰기 증폭에 대한 심층 분석은 데이터베이스 수준의 재작성과 플래시 페이지 및 삭제 블록의 동작을 구분합니다. 여유 공간이 적고 오버프로비저닝이 부족하면 지속적인 임의 쓰기 중 장치 수준의 증폭이 심해집니다. 따라서 결과는 원래 근거와 대조해 확인해야 합니다.

실패가 발생하는 경계는 예상되는 순차적 색인 구축과 유해한 NAND 증폭을 혼동하는 데 있습니다. 호스트 쓰기 카운터, 파일 시스템 할당량, 장치 NAND 쓰기는 동일한 기간을 기준으로 비교하고 SMART 단위를 올바르게 해석해야 합니다.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

네 가지 스토리지 경계에서 증폭을 계산하세요

임베딩 페이로드 바이트, WAL 및 데이터베이스 바이트, 임시 쓰기 및 세그먼트 쓰기, 압축 읽기 및 쓰기 바이트, 파일 시스템 할당 블록, 스냅샷 변경분, 호스트 SSD 쓰기, NAND 쓰기, 여유 공간, TRIM, 트랜잭션 크기, 플러시 횟수, 수집 소요 시간을 기록하세요.

임베딩 수집 경합과의 관련성을 확인한 다음, 한 번에 하나의 변수만 바꾸면서 대량 커밋, 더 큰 플러시, 일시 중지한 스냅샷, 더 많은 여유 공간을 적용해 반복하세요. 문서, 임베딩, 색인 매개변수, 내구성 설정은 동일하게 유지하세요. 이러한 구분은 이후 가정 환경 테스트에서도 계속 확인할 수 있습니다.

측정된 배수가 가장 큰 계층을 최적화하세요. 저널링이 지배적이면 커밋을 일괄 처리하고, 재작성이 지배적이면 압축을 조정하고, 기록 중 복사가 지배적이면 스냅샷을 관리하고, 장치 가비지 컬렉션이 지배적이면 여유 용량을 확보하세요. 자동화가 이어지기 전에 중간 결과를 계속 확인할 수 있어야 합니다.