OCR 해상도는 RAG 인덱스 크기에 어떤 영향을 미칠까요?

OCR 해상도는 DPI 자체가 아니라 인식 결과, 노이즈, 레이아웃 출력, 보존된 이미지에 영향을 주어 RAG 인덱스 크기에 간접적으로 영향을 줍니다.

가족 기록물을 600 DPI로 스캔하면 동일한 페이지 크기에서 300 DPI보다 픽셀이 네 배 많아지지만, 텍스트 전용 벡터 인덱스에는 이러한 픽셀이 저장되지 않습니다. 인덱스 크기는 OCR 후 생성되는 문자, 레이아웃 객체, 청크, 메타데이터, 임베딩에 따라 달라집니다. 해상도가 높으면 실제 텍스트를 더 많이 복원할 수 있지만, 이미지 품질이 매우 낮으면 답변 품질을 높이지 못하면서도 인덱스를 확장하는 노이즈 토큰이 생성될 수 있습니다.

텍스트가 인덱스에 들어가기 전에 픽셀 수가 증가합니다

선형 해상도를 두 배로 높이면 이미지 픽셀이 네 배가 되어 디코딩, 전처리, 임시 저장 공간, OCR 작업량이 증가합니다. 파이프라인이 벡터와 함께 페이지 이미지, 잘라낸 이미지 또는 썸네일을 보존한다면 이러한 자산이 저장 공간의 대부분을 차지할 수 있습니다. 텍스트 전용 인덱스는 추출 후 래스터 이미지를 대부분 폐기합니다.

Tesseract의 인식 품질 가이드에 따르면 일반적으로 약 300 DPI의 이미지가 인식에 유리하며, 낮은 해상도의 입력은 크기를 조정하면 개선될 수 있습니다. 이는 인식 품질에 관한 권장 사항이지, 임베딩 데이터베이스가 300 DPI 픽셀을 저장한다는 규칙이 아닙니다.

따라서 저장 경계를 명확히 해야 합니다. 원본 파일, OCR 파생 파일, 텍스트 청크, 벡터 페이로드, 썸네일은 서로 다른 계층입니다. 최종 문서 수가 동일하더라도 DPI 변경은 각 계층에 서로 다르게 영향을 줄 수 있습니다.

인식 결과에 따라 토큰과 청크 수가 달라집니다

더 선명한 스캔은 낮은 해상도에서 놓치는 각주, 작은 레이블, 표 셀, 구두점을 복원할 수 있습니다. 유효한 텍스트가 늘어나면 토큰 수가 증가하고 추가 청크와 벡터가 생성될 수 있습니다. 반대로 글리프가 깨지거나 의미 없는 문자가 반복되면 토크나이저가 손상된 문자열을 비효율적으로 분할하여 토큰 수가 늘어날 수 있습니다.

저해상도 OCR에 관한 연구는 초저해상도 문서에서의 인식을 평가하고, 300 DPI 텍스트를 기준으로 설계된 시스템이 다운샘플링 및 확대 후 다르게 작동하는 이유를 설명합니다. 이 결과는 해상도와 문자 크기가 단순한 시각적 파일 크기뿐 아니라 추출되는 콘텐츠에도 영향을 준다는 점을 보여줍니다.

레이아웃 인식 OCR은 좌표, 읽기 순서, 신뢰도, 표 구조를 추가할 수 있습니다. 이러한 페이로드는 일반 텍스트 자체보다 클 수 있으므로, 인용을 위해 공간 정보를 보존하는지에 따라 동일한 인식 단어도 서로 다른 인덱스 크기를 만들 수 있습니다.

글리프 세부 정보가 포화되면 높은 DPI의 효과가 멈춥니다

문자 획이 OCR 모델이 인식하기에 충분히 분명해지면 픽셀이 더 늘어나도 텍스트가 추가되지 않고 계산량과 파생 이미지 크기만 증가할 수 있습니다. 높은 DPI에서도 압축 아티팩트, 흐림, 기울어짐, 필기, 잘못된 언어 모델이 여전히 제한 요인으로 남을 수 있습니다.

OCRmyPDF의 OCR 이미지 최적화 문서는 인식 후 페이지 이미지를 다시 압축하거나 변환할 수 있는 최적화 단계를 설명합니다. 이는 OCR 후 PDF 크기가 수집 시 사용한 스캔 해상도만이 아니라 이미지 인코딩과 최적화 정책에 따라 달라진다는 점을 보여줍니다.

실패의 경계는 인덱스 증가가 더 나은 OCR을 입증한다고 가정하는 것입니다. 인덱스는 유용한 텍스트를 복원했기 때문에 커질 수도 있고, 겹치는 청크가 중복되었거나, 더 큰 이미지를 보존했거나, 노이즈를 생성했기 때문에 커질 수도 있습니다. 이러한 원인을 구분하려면 실제 정답을 기준으로 한 인식 및 검색 테스트가 필요합니다.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

OCR 해상도와 인덱스 저장 공간에 관한 FAQ

RAG에서 600 DPI가 항상 300 DPI보다 좋은가요?

아니요. 600 DPI는 작은 글씨나 세부적인 양식에 도움이 될 수 있지만, 일반적인 인쇄 텍스트가 이미 충분히 해상된 이후에는 처리량과 이미지 저장 공간만 늘리는 경우가 많습니다. 기본적으로 가장 높은 스캐너 설정을 선택하기보다 문자 정확도와 검색 성능을 테스트하세요.

스캔 DPI가 높아지면 임베딩도 더 커지나요?

특정 임베딩 모델에서 벡터 차원은 일반적으로 고정되어 있습니다. 높은 해상도의 OCR이 더 많은 청크, 메타데이터, 추가 영역 임베딩 또는 보존된 이미지 파생 파일을 생성할 때만 인덱스가 커집니다. 이 효과는 예상되는 홈 서버 작업 부하에서 측정 가능해야 합니다.

저해상도 OCR이 인덱스를 더 크게 만들 수도 있나요?

예. 깨진 문자 시퀀스는 여러 조각으로 토큰화되어 노이즈 청크를 만들 수 있습니다. 따라서 더 작은 원본 이미지가 깨끗한 스캔보다 더 많은 텍스트 토큰을 생성하면서도 검색 및 인용 품질은 떨어질 수 있습니다. 여러 파이프라인 단계가 동일한 저장 공간과 메모리 예산을 공유할 때 이러한 차이가 중요합니다.

파이프라인 계층별로 저장 공간을 측정하세요

일반 텍스트, 작은 글씨, 표, 필기, 품질이 저하된 스캔이 포함된 페이지를 선택하세요. OCR 모델, 언어, 청킹, 임베딩 차원, 보존 정책을 동일하게 유지하면서 여러 유효 해상도로 처리한 다음 문자 정확도, 토큰 수, 청크 수, 벡터 바이트, 메타데이터 바이트, 파생 파일, 임시 저장 공간 최대치, 검색 품질을 기록하세요.

표나 양식이 있는 경우 읽기 순서 점검의 검사를 활용하세요. 모든 바이트를 원본 이미지, OCR 출력, 청크, 벡터 또는 썸네일로 분류하여 디렉터리가 커진 것을 벡터 인덱스 증가로 잘못 보고하지 않도록 하세요.

각 문서 유형에서 인식 및 인용 목표를 충족하는 가장 낮은 해상도를 선택하세요. 이후 재처리에 필요한 경우에만 고해상도 원본을 저장하고, 더 많은 픽셀이 지식 기반을 개선한다고 결론 내리기 전에 노이즈가 많은 OCR 결과나 중복 파생 파일을 제거하세요.