모델 업그레이드 후 AI 사진 라벨이 바뀌는 이유는 무엇인가요?

새 모델이 이전 모델과 이미지를 표현하고, 레이블을 비교하며, 신뢰도 기준을 적용하는 방식이 다르기 때문에 업그레이드 후 AI 사진 레이블이 변경됩니다.

셀프 호스팅 사진 라이브러리는 동일한 원본 파일을 유지하면서도 업데이트 후 스마트 검색어, 감지된 객체, 얼굴 그룹, 중복 제안 또는 장면 레이블이 변경될 수 있습니다. 이러한 레이블은 이미지에 영구적으로 기록된 사실이 아니라 데이터베이스에서 파생된 레코드입니다. 시각 인코더, 텍스트 인코더, 클래스 어휘, 임계값, 전처리 파이프라인 또는 클러스터링 규칙이 변경되면 시스템은 사진이 속할 위치를 다시 계산합니다.

사진 레이블은 영구 메타데이터가 아니라 모델의 판단입니다

카메라 타임스탬프와 파일명은 저장된 데이터에서 읽을 수 있지만, “해변”, “개”, “생일”, “차량”과 같은 레이블은 특정 모델 버전과 설정이 생성한 예측입니다.

Amazon Rekognition은 결과와 함께 레이블 감지 모델 버전을 반환합니다. 예측의 의미에 버전이 포함되기 때문입니다. 또한 서비스는 하나의 레이블 문자열을 변하지 않는 속성으로 취급하지 않고 별칭, 카테고리, 신뢰도 값도 제공합니다.

로컬 사진 시스템도 동일한 출처 정보를 보존해야 합니다. 모델 이름, 버전, 전처리 설정 및 작업 시간이 없으면 관리자는 변경된 레이블이 새 모델, 다른 임계값 또는 손상된 인덱스 때문인지 확인할 수 없습니다.

새 임베딩은 서로 다른 유사도 공간을 만듭니다

스마트 검색 시스템은 일반적으로 각 이미지를 벡터로 변환합니다. 텍스트 쿼리와 후보 개념도 같은 공간에 매핑되며, 어떤 항목이 가장 가까운지에 따라 레이블이나 검색 결과가 결정됩니다.

Qdrant는 임베딩 모델을 조금만 변경해도 벡터 공간의 구조가 달라질 수 있으므로 정확한 비교를 위해 데이터를 다시 임베딩하고 재인덱싱해야 한다고 설명합니다.

이전 벡터와 새 벡터의 점수는 서로 호환되지 않습니다. 한 공간에서 “정원”에 가까웠던 사진이 다른 공간에서는 “공원”이나 “뒷마당”에 더 가까워질 수 있습니다. 두 모델 모두 장면을 합리적으로 설명하더라도 마찬가지입니다.

후보 단어와 프롬프트가 최종 선택을 바꿉니다

제로샷 분류는 언어와 무관하게 하나의 보편적인 레이블을 스스로 발견하는 방식이 아닙니다. 제공된 후보 레이블이나 텍스트 프롬프트와 이미지를 비교하고, 그 대안들의 순위를 매깁니다.

Hugging Face의 제로샷 이미지 분류 워크플로는 이미지를 평가하기 전에 “This is a photo of …”와 같은 후보 레이블 프롬프트를 명시적으로 구성합니다.

업그레이드로 레이블이 추가되거나 이름이 변경되거나 번역될 수 있으며, 프롬프트 템플릿이 바뀔 수도 있습니다. “골든 리트리버”를 추가하면 더 포괄적인 “개”를 대체할 수 있고, 세부 클래스를 제거하면 동일한 이미지가 “동물”로 돌아갈 수 있습니다.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

레이블 계층 구조가 세분화 수준을 바꿉니다

사진 레이블은 흔히 상위-하위 관계를 이룹니다. 예를 들어 차량, 자동차, 스포츠카 또는 음식, 디저트, 케이크와 같은 구조입니다. 모델과 인터페이스에 따라 시스템은 가장 구체적인 클래스, 상위 클래스 또는 여러 수준을 표시할 수 있습니다.

CHiLS 연구는 계층적 레이블 집합이 하위 클래스를 생성한 다음 예측을 상위 카테고리로 다시 매핑하여 분류 결과를 바꿀 수 있음을 보여줍니다.

따라서 업그레이드된 온톨로지로 인해 정확도가 명확하게 떨어지지 않았는데도 레이블이 더 구체적이거나 더 일반적으로 보일 수 있습니다. 감사할 때는 이전 문자열이 그대로 존재하는지만 볼 것이 아니라 계층 구조와 매핑 규칙을 비교해야 합니다.

신뢰도 임계값이 표시되는 레이블을 결정합니다

모델은 일반적으로 점수가 포함된 여러 후보를 반환합니다. 애플리케이션은 저장할 후보 수와 레이블이 검색 또는 사진 상세 화면에 표시되기 전에 충족해야 하는 최소 신뢰도를 결정합니다.

임계값을 변경하면 경계선상의 레이블이 숨겨지거나 훨씬 더 많은 낮은 신뢰도 레이블이 표시될 수 있습니다. 이전 모델과 점수 보정이 다른 모델은 순위 품질이 더 좋더라도 다른 임계값이 필요할 수 있습니다.

평가 중에는 원시 점수 또는 상위 k개 점수를 저장한 다음, 모델 버전별로 표시 임계값을 선택하세요. 서로 관련 없는 모델에 동일한 숫자 임계값을 재사용하면 실제 문제가 점수 보정인데도 업그레이드가 불안정해 보일 수 있습니다.

객체 레이블이 바뀌지 않아도 얼굴 그룹은 달라질 수 있습니다

얼굴 인식은 일반적으로 감지된 얼굴의 임베딩을 생성하고, 가까운 점들을 사람별로 클러스터링합니다. 새 감지기는 얼굴을 자르는 방식 자체를 바꿀 수 있으며, 새 인식 모델은 얼굴 벡터 간 거리를 변경합니다.

DBSCAN은 이웃 반경과 최소 밀도에 따라 점을 그룹화합니다. 거리 및 밀도 매개변수에 따라 얼굴이 특정 사람에 포함되거나, 다른 그룹을 형성하거나, 이상치로 남을 수 있습니다.

모델 변경과 클러스터링 변경은 별도로 감사해야 합니다. 더 깔끔한 얼굴 크롭으로 기존에 합쳐졌던 한 사람의 그룹이 분리될 수 있고, 더 느슨한 거리 임계값으로 서로 닮은 친척들이 합쳐질 수도 있습니다.

부분 재처리는 두 세대의 레이블을 섞습니다

업그레이드된 모델로 새 사진만 처리하면 라이브러리에는 이전 의미 공간과 새로운 의미 공간이 동시에 존재하게 됩니다. 각 자산이 시스템에 추가된 시점에 따라 검색 결과와 레이블이 달라질 수 있습니다.

Immich는 스마트 검색 모델을 변경한 후 모든 자산을 재처리하도록 관리자에게 안내하며, 그렇지 않으면 이전 모델의 호환되지 않는 데이터로 인해 오류가 발생할 수 있다고 설명합니다.

버전이 지정된 재구축 또는 두 번째 인덱스를 사용하고, 완료 여부를 확인한 다음 검색을 원자적으로 전환하세요. 새 세대의 자산 수가 완전하고 검색 성능 테스트를 통과하기 전에는 이전 인덱스를 삭제하지 마세요.

예측에 버전을 지정하고 사용자의 수정을 보호하세요

모델이 생성한 레이블은 사용자가 만든 앨범, 수동 태그, 이름이 지정된 사람, 레이블 숨김 결정과 분리해 보관하세요. 자동 재구축이 사용자의 정리 작업을 몰래 덮어써서는 안 됩니다.

배포 전에 대표 사진으로 구성된 고정 세트를 평가하세요. 추가된 레이블, 제거된 레이블, 순위 변경, 오탐, 얼굴 그룹의 분리와 병합, 가정에서 중요한 검색 쿼리를 비교하세요.

이미지 해상도 변경이 멀티모달 AI 처리 부하를 바꾸는 이유를 설명하는 ZimaSpace의 글은 또 다른 변수를 제시합니다. 전처리 해상도와 크롭 정책이 업그레이드된 모델에 제공되는 시각적 증거를 바꿀 수 있다는 점입니다.

자주 묻는 질문

레이블이 바뀌었다는 것은 새 모델의 성능이 더 나쁘다는 뜻인가요?

아닙니다. 새 모델이 다른 어휘를 사용하거나 더 구체적인 상위-하위 클래스를 선택했을 수 있습니다. 정확도는 대표 사진과 실제로 수행하려는 검색 작업을 기준으로 평가해야 합니다.

이전 AI 레이블을 즉시 삭제해야 하나요?

아닙니다. 재처리와 비교가 완료될 때까지 이전 세대를 보관하세요. 버전이 지정된 레이블을 사용하면 롤백과 회귀 분석이 가능합니다.

수동 사진 태그가 모델 업그레이드 후에도 유지될 수 있나요?

예. 수동 태그를 생성된 예측과 별도로 저장하고, 재구축 작업이 모델이 관리하는 필드로 제한되어 있다면 유지할 수 있습니다.