Immich 머신러닝 인덱싱으로 비공개 사진을 검색 가능하게 만드는 방법

Immich는 준비된 이미지를 저장된 표현으로 변환하여 쿼리와 비교하고 접근 권한에 따라 필터링할 수 있도록 함으로써 사진을 검색 가능하게 만듭니다.

한 부모가 휴가 사진 속 빨간 자전거를 기억하지만 파일 이름이나 날짜는 기억하지 못해, 일상적인 언어로 홈 사진 서버를 검색한다고 가정해 보겠습니다. 유용한 결과를 얻으려면 이미지를 디스크에 보관하는 것만으로는 부족합니다. 시각적 표현, 데이터베이스 조회, 권한 범위가 함께 작동해야 하며, 선택한 모델에 따라 검색에서 인식할 수 있는 유사성도 달라집니다.

이미지 준비는 모델 학습이 아닙니다

일반적으로 라이브러리를 가져올 때는 기존 모델로 추론을 실행하며, 가족 컬렉션을 기반으로 새로운 범용 모델을 학습시키는 것이 아닙니다. 서버는 사용할 수 있는 이미지 입력을 준비하고 분석을 요청한 뒤, 반환된 정보를 에셋에 연결합니다. 이러한 차이를 이해하면 대규모 초기 가져오기에 연산 자원이 소요되더라도 가정용 학습 프로젝트가 필요하지 않은 이유를 알 수 있습니다.

로컬 시각 인덱싱을 사용하면 호스팅된 사진 애플리케이션이 사용자가 쿼리를 입력하기 전에 검색용 표현을 구축할 수 있습니다. 각 대상 이미지를 처리해야 하므로 초기 처리에는 시간이 걸립니다. 표현이 생성되면 이후 검색에서는 모든 사진에 대해 전체 이미지 분석 작업을 다시 실행하지 않고 기존 표현을 재사용할 수 있습니다.

따라서 준비 완료 시점은 업로드 이후에 있습니다. 읽을 수 있는 원본이 존재하더라도 시각적 표현이 아직 준비되지 않았을 수 있습니다. 초기 인덱싱을 별도의 단계로 간주하고, 성공적인 전송이나 빠르게 표시되는 캐시된 미리보기를 해당 에셋의 의미 분석이 완료되었다는 증거로 해석하지 마세요.

임베딩은 사진과 단어를 연결합니다

임베딩은 의미나 시각적 콘텐츠를 비교하는 데 사용되는 수치 표현입니다. 호환되는 이미지 인코더와 텍스트 인코더는 서로 다른 입력을 비교 가능한 표현으로 변환합니다. 검색 문구는 비밀리에 생성된 파일 이름과 단순히 대조되는 것이 아니며, 검색 결과가 성공했다고 해서 시스템이 모든 이미지에 정확한 설명을 작성했다는 의미도 아닙니다.

대조적 이미지-텍스트 학습은 학습 과정에서 관련성이 높은 사진과 설명을 서로 가깝게 정렬하고, 관련성이 낮은 쌍은 서로 떨어뜨립니다. 검색 시점에는 학습된 표현을 사용해 문구와 저장된 이미지 벡터를 비교합니다. 이것이 모든 관련 사진에 동일한 문자 그대로의 키워드를 먼저 부여하지 않고도 시각적 개념을 검색할 수 있는 원리입니다.

예를 들어 해변에 있는 자전거는 메타데이터에 두 단어 중 어느 것도 포함되어 있지 않더라도 설명적인 문구에 대해 높은 순위를 얻을 수 있습니다. 이는 관련성 판단이지, 이미지에 요청된 모든 세부 사항이 포함되어 있다는 증거는 아닙니다. 원본 파일이 변하지 않았더라도 표현 방식, 자르기, 작은 객체, 서로 경쟁하는 시각적 특징에 따라 순위가 달라질 수 있습니다.

데이터베이스가 결과를 검색 가능하게 만듭니다

벡터를 계산하는 것만으로 검색 경로가 완성되지는 않습니다. 애플리케이션은 벡터를 저장하고 에셋 정보와 함께 검색해야 합니다. 데이터베이스는 후보 결과의 식별자를 반환하며, 이후 애플리케이션이 해당 미디어를 제공할 수 있습니다. 연산 처리량과 데이터베이스 검색 지연 시간은 서로 관련되어 있지만 별도로 측정할 수 있는 경험의 구성 요소입니다.

검색 백엔드는 버전에 따라 달라집니다. Immich는 v3에서 pgvecto.rs 지원을 제거하고 후속 기술로 VectorChord를 권장하므로, pgvecto.rs를 언급하는 오래된 아키텍처 문서를 현재 배포 지침으로 사용해서는 안 됩니다. 변하지 않는 핵심 원칙은 특정 과거 확장 기능의 이름이 아니라, 저장된 벡터와 관계형 애플리케이션 상태를 결합하는 것입니다.

규모를 예로 들어 보겠습니다. 512개의 4바이트 값으로 구성된 벡터 100,000개는 원시 숫자만으로 약 205MB를 차지합니다. 이는 Immich 데이터베이스의 추정치가 아닙니다. 실제 차원, 자료형, 인덱스, 행, 쓰기 전 로그에 따라 총량은 달라집니다. 이 계산은 표현이 또 하나의 전체 해상도 이미지 저장과는 다르다는 점만 보여 줍니다.

-15% OFF

ZimaBoard 2 - 당신의 큰 아이디어를 위한 미니 홈 서버

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

사람, 메타데이터, 시각 검색은 서로 다른 경로입니다

시각 검색, 메타데이터 필터링, 이름을 지정한 사람 검색은 서로 다른 질문에 답합니다. 날짜 필터는 기록된 정보를 사용하고, 시각 검색은 장면 설명의 순위를 매기며, 얼굴 관련 기능은 얼굴을 감지하고 그룹화한 뒤 사용자가 이름을 지정할 수 있게 합니다. 이 세 가지가 모두 정확한 파일 이름 일치처럼 동작할 것이라고 기대하면 한 경로는 작동하지만 다른 경로는 실망스러운 이유를 이해하기 어려워집니다.

가족 사진 정리는 하나의 모델에 모든 사실을 복원하도록 요구하기보다 이러한 경로를 결합할 때 더 효과적입니다. 사람 이름, 대략적인 월, 시각적 설명은 컬렉션의 서로 다른 측면을 제한합니다. 유용성은 사용 가능한 메타데이터, 처리가 완료되었는지 여부, 현재 계정에 허용된 사진에 따라 달라집니다.

이러한 구분은 정확성에 관한 실수도 방지합니다. 시각적으로 유사한 얼굴을 인식했다고 해서 신원에 대한 독립적인 증거가 되는 것은 아닙니다. 특히 나이, 조명, 얼굴 가림으로 외모가 달라질 수 있는 경우에는 이름에 의존하기 전에 그룹을 검토하세요. 사진 라이브러리 탐색을 돕도록 설계된 유사도 순위만으로 정확한 행정적 판단이나 민감한 결정을 내리지 마세요.

개인정보 보호와 정확성에는 서로 다른 경계가 있습니다

로컬 모델을 사용하면 이미지 분석을 홈 서버 내부에 유지할 수 있지만, 신뢰 경계는 설정된 엔드포인트를 따릅니다. 분석을 다른 컴퓨터로 보내면 해당 컴퓨터가 제공된 입력을 처리합니다. 사설 네트워크의 원격 가속기와 정체를 알 수 없는 호스팅 엔드포인트는 둘 다 원격 머신러닝이라고 불리더라도 개인정보 보호 측면에서 서로 다른 의미를 가집니다.

모델의 한계는 배포 환경의 개인정보 보호와 별개의 문제입니다. 원래 CLIP 연구는 개수 세기와 세밀한 차이 구분 같은 작업의 약점을 설명하고, 결과가 제공된 범주나 프롬프트에 따라 달라진다고 경고합니다. 추론을 로컬에서 수행한다고 해서 이러한 한계가 사라지거나 유사도 점수가 가족 행사에 대한 사실적 설명으로 바뀌는 것은 아닙니다.

셀프 호스팅이 모든 엔드포인트, 백업, 계정, 공유 앨범을 자동으로 보호한다고 가정하면 비공개 검색이라는 주장은 성립하지 않습니다. 임의의 문구로 모든 항목을 빠짐없이 찾을 수 있다고 약속하면 정확한 검색이라는 주장도 성립하지 않습니다. 두 가지 경계를 모두 명시하세요. 누가 입력을 처리하는지, 그리고 선택한 컬렉션에서 해당 표현이 무엇을 합리적으로 구분할 수 있는지 말입니다.

알려진 사진으로 파이프라인을 점검하세요

분명한 객체, 모호한 장면, 작은 세부 사항, 알고 있는 여러 사람을 포함한 소규모 승인 참조 세트를 만드세요. 처리가 완료된 후 정확한 메타데이터 필터링을 시각 쿼리 및 이름을 지정한 사람 검색과 비교하세요. 나중에 변경 사항을 기억에 의존하지 않고 동일한 예시로 평가할 수 있도록 선택한 모델과 서버 버전을 기록하세요.

한 사용자의 직접적인 모델 변경 실험에서는 설정한 다른 모델을 사용했을 때 검색 품질이 크게 달라졌다고 보고했습니다. 이 관찰은 모든 대형 모델이 모든 쿼리를 개선한다고 가정하기보다 개인적인 예시를 통해 관련성을 점검해야 한다는 점을 뒷받침합니다. 하드웨어 비용, 언어 지원 범위, 재처리 요구 사항은 더 나은 결과를 얻었다는 한 가지 긍정적인 사례와 별개로 고려해야 합니다.

대표 에셋의 필수 처리가 완료되고, 권한이 있는 사용자가 예상한 예시를 검색할 수 있으며, 약점이 숨겨지지 않고 문서화되었다면 파이프라인을 승인하세요. 메타데이터로는 에셋을 찾을 수 있지만 시각적 표현으로는 찾지 못한다면 데이터가 손실되었다고 선언하기 전에 관련성을 점검하세요. 분석을 다른 곳으로 전송하도록 설정했다면 수신 호스트를 별도의 개인정보 보호 결정으로 확인하세요.