100만 개의 홈 문서 청크에는 얼마나 많은 벡터 저장 공간이 필요할까요?
문서 청크 100만 개에는 그래프 인덱스, 메타데이터, 텍스트, 복제본, 작업 공간을 제외하고 일반적인 float32 벡터만으로 약 1.5~6.1GB가 필요합니다.
계산은 문서 수가 아니라 차원 수에서 시작합니다. 768차원 float32 벡터 100만 개에는 4바이트 값이 7억 6,800만 개 포함되므로, 약 3.07GB(십진 단위)에 해당합니다. 실제 배포 가능한 저장소는 벡터를 식별하고, 효율적으로 검색하고, 메타데이터를 필터링하고, 청크 텍스트를 보존하며, 서버에서 검색과 유지 관리 작업을 수행하는 동안 인덱스 유지 관리까지 처리해야 하므로 더 커집니다.
원시 벡터 바이트가 재현 가능한 최저 기준을 제공합니다
청크 수에 임베딩 차원과 좌표당 바이트 수를 곱하면 됩니다. float32 벡터 100만 개의 경우 384차원은 1.536GB, 768차원은 3.072GB, 1,536차원은 6.144GB를 사용합니다. 이진 기가바이트로 표시하면 수치가 약 7% 더 작아 보입니다.
확장성 개요에서도 데이터베이스 구조를 제외하기 전 차원 수에 값의 너비를 곱하는 동일한 원시 벡터 저장소 관계를 설명합니다.
float16을 사용하면 벡터 구성 요소의 크기를 절반으로 줄일 수 있으며, int8이나 제품 양자화를 사용하면 더 줄일 수 있습니다. 압축은 재현율에 영향을 줄 수 있고 데이터베이스 지원이 필요합니다. 원본 문서와 생성된 청크 텍스트는 이 수치에 포함되지 않습니다.
인덱스와 메타데이터는 좌표 데이터만큼 큰 공간을 차지할 수 있습니다
플랫 검색은 인덱스 구조를 비교적 적게 추가하지만 많은 벡터를 스캔합니다. HNSW는 검색 작업을 줄이기 위해 이웃 링크와 여러 그래프 계층을 저장합니다. 벡터별 ID, 삭제된 레코드의 삭제 표시, 필터, 정렬, 데이터베이스 페이지도 추가 오버헤드를 발생시킵니다.
HNSW 연결성에 대한 소개에서는 그래프 연결성이 추가 메모리와 저장 공간을 사용하면서 근사 검색을 빠르게 하는 이유를 설명합니다. 설정된 이웃 수에 따라 해당 비용이 직접 달라집니다.
메타데이터의 편차는 더욱 큽니다. 간결한 문서 ID와 언어 코드는 수십 바이트를 추가할 수 있지만, 반복되는 경로, 권한, 전체 청크 텍스트는 수백 또는 수천 바이트를 추가할 수 있습니다. 총량을 비교하기 전에 텍스트를 한 번만 저장할지, 벡터 데이터베이스 내부에 저장할지를 일관되게 정해야 합니다.
단일 저장 공간 추정치가 통하지 않는 경우
768차원 float32 청크 100만 개의 경우, 상당한 텍스트와 복제본을 제외하면 벡터와 근사 인덱스에 보통 5~12GB를 계획합니다. 이는 예산 산정 범위일 뿐, 특정 형식을 보장하는 수치는 아닙니다.
벡터 아키텍처 비교 자료에서는 일부 HNSW 구성에서 HNSW 저장소 오버헤드가 원시 좌표 데이터보다 상당히 클 수 있다고 추정합니다. 실제 배수는 엔진 기본값과 그래프 매개변수에 따라 결정됩니다.
청크당 임베딩이 여러 개이거나, 하이브리드 키워드 인덱스, 복제, 스냅샷, 데이터를 일시적으로 중복하는 재구성이 있으면 이 범위는 맞지 않습니다. 압축된 디스크 기반 저장소의 경우에는 반대로 과대 추정일 수도 있습니다. 차원, 데이터 형식, 인덱스, 메타데이터, 복사본 수를 명시하지 않으면 “청크 100만 개”라는 정보만으로는 부족합니다.
10% 인덱스 샘플로 외삽합니다
최종 임베딩 데이터 형식, 메타데이터 스키마, 인덱스 매개변수를 사용해 대표 청크 10만 개를 삽입합니다. 압축 완료 후 원시 벡터 열, 인덱스, 메타데이터, 텍스트, 쓰기 선행 로그, 스냅샷의 용량을 각각 측정합니다. 확장 가능한 구성 요소는 10배로 외삽하고, 재구성과 백업을 위한 여유 공간을 추가합니다.
압축과 파일 시스템 할당이 실제 용량에 영향을 주므로 테스트는 사용할 저장소 작업 공간 저장 계층에서 진행합니다. 비어 있는 데이터베이스 파일을 기준으로 외삽하지 마세요.
측정된 안정 상태의 총 용량에 임시 인덱스 복사본 하나와 20%의 여유 공간을 더해 최소 예산으로 잡습니다. 복제가 활성화되어 있다면 복제되는 구성 요소에만 배수를 적용합니다. 차원, 메타데이터, HNSW 이웃 설정이 변경될 때마다 샘플 측정을 반복합니다.
추천 제품
기술 및 AI 허브
더 읽어보기
로컬 RAG 검색 품질을 측정하고 재현율, 정밀도, 인용 범위를 해석하는 방법
로컬 RAG 테스트 세트를 구축하고, 핵심 검색 지표를 계산하며, 지표 간 트레이드오프를 해석하고, 답변의 주장이 인용된 근거로 뒷받침되는지 감사하세요.
동일한 샘플링 속도에서 센서 수가 증가할수록 스마트 홈 기능의 연산이 더 중요해지는 이유
장치 수가 늘어날 때 센서별 및 센서 간 연산을 추적하고, 비선형 융합 비용을 파악하며, 자동화가 지연되기 전에 특성 파이프라인을 벤치마킹하세요.
동일한 쿼리량에서 문서 라이브러리가 커질수록 RAG 평가 비용이 더 중요한 이유ાહી
사용자 쿼리가 늘지 않아도 코퍼스 규모가 커지면 RAG 평가 작업이 증가하는 이유와, 층화 테스트를 통해 비용을 위험도에 맞게 유지하는 방법을 이해하세요.
