워크스테이션 SSD를 가득 채우지 않고 로컬 LLM 모델을 저장하는 방법

에바 왕

IceWhale author

에바 왕 는 기술 작가 그리고 이자 ZimaSpace의 상주 장인입니다. 평생을 기술에 열정을 가진 사람으로서 홈랩과 오픈소스 소프트웨어에 열정을 가지고 있으며,복잡한 기술 개념을 쉽게 이해할 수 있는 실습 가이드로 번역하는 데 전문성을 가지고 있습니다.에바는 셀프 호스팅이 어렵지 않고 재미있어야 한다고 믿습니다. 그녀의 튜토리얼을 통해 커뮤니티가 하드웨어 설정의 신비를 풀도록돕고 있습니다. 첫 NAS 구축부터 Docker 컨테이너 마스터링까지.

How to Store Local LLM Models Without Filling the Workstation SSD - Zima Store Online

워크스테이션 NVMe에는 소규모 핫 세트를 유지하고, 더 큰 모델 라이브러리는 공유 스토리지에 배치하며, 모든 런타임에서 경로를 명시적으로 사용하도록 하세요.

이 구성은 모델 가중치를 주로 시작 시 읽고, 네트워크가 허용 가능한 로드 시간을 제공하며, 다시 다운로드할 수 있는 파일과 대체 불가능한 파인튜닝 결과를 별도로 보호할 때 효과적입니다. 모든 캐시가 조용히 부팅 SSD로 되돌아가거나, NAS가 없어졌을 때 추론 서비스가 새 로컬 디렉터리에 모델을 다시 다운로드하면 문제가 발생합니다.

작업 세트와 재구축 비용에 따라 모델 파일 분류하기

거대한 캐시 디렉터리 하나를 옮기기보다 인벤토리부터 시작하세요. 기본 가중치와 양자화 변형은 다시 다운로드할 수 있지만, 어댑터, 파인튜닝 모델, 프롬프트 템플릿, 매니페스트, 평가 결과, 로컬에서 변환한 파일은 고유할 수 있습니다. 각 항목을 핫, 웜, 콜드 또는 대체 불가능으로 표시한 다음, 해당 경로를 소유한 애플리케이션을 기록하세요.

핫 세트에는 매일 사용하는 모델이 포함되며, 정해진 워크스테이션 용량 안에 들어가야 합니다. 웜 모델은 NAS에 두고 프로젝트를 시작하기 전에 로컬로 복사할 수 있습니다. 콜드 실험은 공유 라이브러리에만 남겨도 됩니다. 상위 모델을 다시 다운로드할 수 있더라도 대체 불가능한 결과물에는 버전이 지정된 백업이 필요합니다.

이렇게 분류하면 쉽게 재생성할 수 있는 수백 GB를 백업하거나, 저렴하게 재생성할 수 없는 작은 어댑터 또는 매니페스트를 삭제하는 두 가지 흔한 실수를 방지할 수 있습니다. 또한 첫 번째 용량 기준도 마련됩니다. 앞으로 테스트할 수 있는 모든 모델의 크기가 아니라 핫 세트 크기에 새 모델 하나를 받을 여유 공간을 더한 값입니다.

로컬 NVMe, 공유 스토리지, 아카이브 역할 배정하기

실제 로컬 AI 클러스터에서 모델 파일을 NAS에 저장하고 10GbE를 통해 로드한 사례가 있으며, 네트워크와 스토리지 경로가 대용량 읽기에 맞게 설계되었다면 이 패턴이 실현 가능하다는 것을 보여줍니다. 해당 NAS 기반 모델 서빙 워크플로에서 얻을 수 있는 유용한 교훈은 역할 분리입니다. 공유 라이브러리는 소스 역할을 하고, 컴퓨팅과 메모리는 추론 노드에 유지됩니다.

스토리지 역할	권장 콘텐츠	장애 발생 시 동작	관리 방식
워크스테이션 NVMe 핫 계층	현재 모델, 토크나이저 파일, 활성 런타임 캐시	NAS를 사용할 수 없어도 추론이 계속됨	엄격한 크기 할당량 및 최근 미사용 항목 우선 정리
NAS 모델 라이브러리	승인된 가중치, 양자화 모델, 공유 리비전	새 로드는 일시 중지되지만, 메모리에 활성화된 모델은 계속 실행될 수 있음	읽기 위주 공유 및 체크섬
보호된 프로젝트 저장소	파인튜닝 모델, 어댑터, 매니페스트, 평가 결과	재구축 가능 여부가 백업에 좌우됨	스냅샷 및 독립 백업
스크래치 공간	부분 다운로드, 변환 파일, 임시 샤드	삭제해도 안전함	자동 만료가 적용되는 별도 경로

모든 런타임을 동일한 쓰기 가능한 네트워크 폴더에 연결하지 마세요. 변환 실패, 정리 작업 또는 버전 변경으로 인해 다른 도구가 사용하는 파일이 변경될 수 있습니다. 정식 라이브러리는 읽기 위주로 유지하고, 변경 사항은 스크래치 공간에서 준비한 뒤 검증하고, 완료된 아티팩트를 신중하게 반영하세요.

예측 가능한 모델 경로와 캐시 정책 구축하기

Linux에서는 /srv/models와 같은 정식 마운트를 선택하고, Windows에서는 안정적인 드라이브 문자를 사용하세요. Ollama, vLLM, LM Studio 또는 개발 컨테이너가 시작되기 전에 해당 경로를 사용할 수 있어야 합니다. 각 도구의 모델 및 캐시 설정을 명시적으로 지정하세요. 심볼릭 링크는 마운트 확인이 먼저 실행되고 재부팅마다 대상이 바뀌지 않을 때만 허용할 수 있습니다.

별도 NAS를 고려하는 커뮤니티 운영자들은 반복해서 모델 로드 시간을 경계 조건으로 지적합니다. 한 AI 워크스테이션 및 NAS 논의에서 참여자들은 대용량 가중치가 느린 링크를 통과하는 데 몇 분이 걸릴 수 있으므로 자주 사용하는 모델은 로컬 NVMe에 유지할 것을 권장했습니다.

전체 NAS를 미러링하기보다 로컬 핫 캐시에 허용 목록을 사용하세요. 로드 또는 복사가 성공한 뒤 파일 크기나 체크섬을 확인하고, current/model-name과 같은 원자적 별칭을 업데이트하세요. 실행 중이거나 고정된 모델은 정리하지 마세요. 업데이트 중 부팅 볼륨이 가득 차지 않도록 여유 공간을 최소 15% 또는 예상되는 최대 모델 다운로드 하나의 크기 중 더 큰 값으로 유지하세요.

Featured

ZimaCube 2 개인용 클라우드 홈 NAS

ZimaCube2

모든 다운로드가 아니라 매니페스트와 파인튜닝 결과 보호하기

라이브러리를 재구성하는 데 필요한 정보를 백업하세요. 소스 URL 또는 저장소 ID, 정확한 리비전, 파일 이름, 양자화 방식, 체크섬, 라이선스 메모, 런타임 구성, 프로덕션에서 사용한 경로가 여기에 포함됩니다. 이러한 매니페스트는 용량이 작고 검색하기 쉬우며, 이름이 모호한 파일로 가득 찬 디렉터리보다 복구 중에 더 유용합니다.

고유한 어댑터, 병합 모델, 캘리브레이션 데이터, 평가 결과는 일반적인 버전 관리 보존 정책에 따라 백업하세요. 공개 기본 가중치는 복구 시간이 추가 사본을 보관할 가치가 있는지 결정하세요. 인터넷 연결이 느리거나 모델이 사라질 가능성이 있다면 일부 가중치를 보호할 가치가 있지만, 모든 실험을 미러링하면 대개 백업 용량만 낭비하게 됩니다.

더 넓은 AI 파일 계층이 아직 정해지지 않았다면, AI 파일을 위한 개인 클라우드와 로컬 PC 스토리지를 비교한 ZimaSpace 자료가 다음 계획 단계입니다. 이 자료는 영구 소스 데이터와 인덱스를 추론을 수행하는 머신에서 분리합니다.

로드 시간, 오프라인 동작, 확장 시점 검증하기

모델 서비스를 중지한 상태에서 세 가지 경로를 테스트하세요. 핫 로컬 로드, 콜드 NAS 로드, NAS 장애 상황입니다. 첫 사용 가능한 응답까지 걸린 시간, 네트워크 최대 처리량, 전후 워크스테이션 여유 공간, 그리고 어떤 도구라도 부팅 디스크에 대체 디렉터리를 생성하는지 기록하세요. 마운트 순서를 가정하지 말고 실제로 테스트할 수 있도록 재부팅 후에도 반복하세요.

일상적으로 사용하는 모델이 예상 시간 안에 로컬에서 로드되고, 콜드 모델을 수동으로 경로를 수정하지 않고 준비할 수 있으며, 고유 아티팩트를 백업에서 복원할 수 있고, NAS가 없어졌을 때 조용히 다시 다운로드하지 않고 명확한 오류가 발생하면 구성이 통과한 것입니다. 측정된 콜드 로드 지연이 작업을 방해할 때만 더 빠른 네트워크나 더 큰 로컬 계층을 추가하세요. 정식 라이브러리가 정의된 여유 공간 하한에 가까워질 때 NAS 용량을 늘리세요.

모델 샤드 전체에서 반복적으로 탐색하는 워크로드, 예측 가능한 낮은 시작 지연이 필요한 워크로드, NAS가 오프라인이어도 작동해야 하는 워크로드에는 직접 네트워크 읽기를 사용하지 마세요. 이러한 경우 NAS는 라이브러리로 유지하고, 실행 전에 완전한 모델을 더 큰 전용 로컬 SSD에 복사하세요.