AI NAS 하드웨어 요구 사항: CPU, RAM, GPU, 저장 장치, 네트워크

빠른 답변

AI NAS 하드웨어 요구사항은 AI NAS라는 라벨만으로 결정되지 않습니다. 백그라운드 OCR 또는 사진 인덱싱을 수행하는 시스템은 로컬 LLM, 실시간 카메라 감지, 장기 컨텍스트 RAG 또는 다중 사용자 추론을 실행하는 시스템과 매우 다른 하드웨어 프로필이 필요합니다.

많은 저장 중심 AI 작업 부하에 대한 실용적인 시작 구성은 다음과 같습니다:

• 최신 멀티코어 CPU
• 16GB 시스템 RAM
• 보호된 원본 파일 및 대용량 용량용 HDD 저장소
• 애플리케이션, 데이터베이스, 썸네일, 인덱스 및 모델용 SSD 또는 NVMe 계층
• 파일 크기 및 사용자 수에 따라 1GbE 또는 2.5GbE 네트워킹
• 대상 소프트웨어가 지원할 경우 선택적 iGPU, NPU, TPU 또는 GPU 가속

더 까다로운 시스템은 32GB에서 64GB 이상의 RAM, 더 큰 NVMe 용량, 별도의 GPU 또는 대용량 통합 메모리, 강력한 냉각 및 AI 연산이 별도 서버에서 실행될 경우 10GbE 네트워킹이 필요할 수 있습니다.

모든 AI NAS에 대한 보편적인 최소 사양은 없습니다. 올바른 구성은 다음에 따라 달라집니다:

• AI 작업 종류
• 파일 라이브러리 크기
• 처리가 실시간인지 백그라운드인지 여부
• 모델 및 컨텍스트 크기
• 동시 사용자 수
• AI가 NAS에서 직접 실행되는지 아니면 다른 로컬 기기에서 실행되는지 여부
• 선택한 가속기를 소프트웨어가 사용할 수 있는지 여부

가장 중요한 규칙은 간단합니다: 작업 부하를 기준으로 시작한 후 CPU, 메모리, 가속, 저장소, 네트워크 및 냉각을 그 작업 부하에 맞게 조정하세요.

AI 서버 요구사항은 실제로 무엇에 달려 있나요?

AI NAS는 두 가지 작업을 동시에 수행합니다. 신뢰할 수 있는 저장 시스템으로 남아 있으면서 저장된 데이터를 처리해야 합니다.

전통적인 NAS는 주로 다음을 처리할 수 있습니다:

• 파일 공유
• 컴퓨터 및 휴대폰 백업
• 스냅샷 및 버전 기록
• 미디어 저장 및 스트리밍
• 사용자 권한
• 원격 접속

AI 인식 시스템은 다음을 추가할 수 있습니다:

• OCR 및 문서 파싱
• 사진 인식
• 객체 감지
• 음성 전사
• 임베딩 생성
• 벡터 및 하이브리드 검색
• 프라이빗 RAG
• 로컬 LLM 추론

이 두 역할의 차이는 AI NAS 하드웨어와 전통 NAS 요구사항 비교 에서 더 자세히 설명됩니다.

작업 부하 유형

다양한 AI 작업은 시스템의 서로 다른 부분에 부하를 줍니다.

백그라운드 vs 실시간 처리

백그라운드 작업은 하드웨어가 느려도 밤새거나 저장소 활동이 적은 시간에 실행할 수 있기 때문에 견딜 수 있습니다.

예시로는 다음이 포함됨:

• 새 사진 라이브러리 스캔
• 썸네일 생성
• 들어오는 스캔에 OCR 실행
• 임베딩 구축
• 문서 인덱스 업데이트

실시간 작업 부하는 더 낮은 지연 시간과 더 지속적인 성능을 요구합니다.

예시로는 다음이 포함됨:

• 보안 카메라 객체 감지
• 대화형 로컬 LLM 채팅
• 실시간 전사
• 여러 동시 RAG 사용자
• 실시간 멀티모달 추론

NAS는 적당한 하드웨어에서 백그라운드 인덱싱을 성공적으로 실행할 수 있지만, 대화형 LLM 추론에서는 좋지 않은 경험을 제공할 수 있습니다. 따라서 처리 긴급성은 작업 자체만큼 중요합니다.

모델 및 라이브러리 크기

하드웨어 수요는 두 가지 독립적인 차원에서 증가합니다:

1. AI 모델 크기
2. 인덱싱되는 데이터 라이브러리 크기

수백만 개의 이미지, 수십만 개의 문서 또는 수년간의 비디오를 처리해야 할 때 작은 모델도 무거운 작업 부하를 만들 수 있습니다.

문서 컬렉션이 작아도 큰 모델은 높은 메모리 압박을 유발할 수 있습니다.

두 가지 모두를 계획하세요:

• 모델 파일
• 컨텍스트 및 런타임 메모리
• 애플리케이션 데이터베이스
• 썸네일 및 미리보기
• OCR 출력
• 임베딩 및 벡터 인덱스
• 임시 처리 파일
• 원본 데이터 라이브러리의 성장

사용자 수 및 병렬 요청 수

간헐적으로 한 사람에게 서비스를 제공하는 시스템은 여러 동시 쿼리를 처리하는 공유 서비스와 요구 사항이 다릅니다.

공식 Ollama 메모리 및 동시성 문서는 동시 모델 로딩이 사용 가능한 시스템 RAM 또는 VRAM에 따라 달라진다고 설명합니다. 또한 병렬 요청이 효과적인 컨텍스트 할당을 증가시키며, 필요한 메모리는 병렬 요청 수와 컨텍스트 길이에 따라 확장된다고 명시합니다.

이는 로컬 모델 크기를 다운로드 크기만으로 판단하는 것이 불완전함을 의미합니다. 시스템은 또한 다음을 위한 메모리가 필요합니다:

• 런타임 오버헤드
• 컨텍스트 및 KV 캐시
• 병렬 요청
• 추가 로드된 모델
• NAS 서비스 및 컨테이너

NAS의 AI vs 별도의 컴퓨팅

NAS에서 AI를 직접 실행하면 데이터 이동이 줄어들고 저장소 인접 워크플로우가 단순해질 수 있습니다. AI 컴퓨팅을 분리하면 사용자가 GPU, 메모리, 냉각 및 모델 런타임을 독립적으로 업그레이드할 자유가 더 많아집니다.

작업 부하가 다음과 같을 때 NAS에서 직접 실행하세요:

• 저장된 파일과 밀접하게 연결됨
• 가볍거나 중간 정도
• 대부분 백그라운드 처리
• NAS 운영 체제 및 애플리케이션에서 지원됨
• 백업 및 파일 서비스에 지장을 줄 가능성이 적음

작업 부하가 다음과 같을 때 별도의 AI 서버를 고려하세요:

• GPU 집약적
• 실시간
• 다중 사용자
• 자주 업데이트되거나 실험적임
• NAS에 너무 뜨겁거나, 시끄럽거나, 전력 소모가 많음

실용적인 AI NAS 하드웨어 3단계

다음 등급은 보편적인 공급업체 최소 요구 사항이 아니라 계획 프로필입니다. 실제 요구 사항은 애플리케이션, 모델, 문맥 길이, 양자화, 데이터 양 및 사용자 동시성에 따라 다릅니다.

1단계: 스토리지 우선 AI 및 백그라운드 인덱싱

이 등급은 스토리지가 주요 책임이고 AI가 백그라운드 향상으로 실행될 때 적합합니다.

일반적인 작업 부하에는 다음이 포함됩니다:

• 스캔 문서용 OCR
• 기본 문서 분류
• 메타데이터 추출
• 가벼운 사진 태깅
• 작은 임베딩 작업
• 가끔 로컬 쿼리

전용 GPU는 필요하지 않을 수 있습니다. 사용자가 백그라운드 작업을 기다릴 의향이 있다면 CPU 처리도 허용됩니다.

중요 우선순위는 다음과 같습니다:

• 애플리케이션 및 데이터베이스용 충분한 RAM
• 활성 앱 데이터용 SSD 또는 NVMe 계층
• 소스 파일용 신뢰할 수 있는 HDD 용량
• 안정적인 스토리지 및 백업 동작

2단계: 통합 로컬 AI 및 개인 RAG

이 등급은 여러 AI 인식 애플리케이션을 동일 시스템에서 실행하는 사용자에게 적합합니다.

예시로는 다음이 포함됨:

• 사진 인식 및 의미 기반 미디어 검색
• 개인 문서 검색
• 로컬 RAG
• 벡터 데이터베이스
• 여러 Docker 애플리케이션
• 경량 로컬 LLM

이 수준에서는 32GB RAM이 데이터베이스, 인덱스, 애플리케이션 컨테이너, 캐싱, 파일 서비스 및 로컬 생성에 더 많은 공간을 제공합니다.

로컬 사진 AI와 문서 RAG 작업 부하 간의 하드웨어 차이는 시각적 인덱싱과 개인 문서 검색이 CPU, 메모리, 스토리지 및 가속 요구 사항을 다르게 만들기 때문에 중요합니다.

3단계: 무거운 추론 및 다중 사용자 AI

이 등급은 기존 저전력 NAS보다 전용 로컬 AI 서버에 더 가깝습니다.

일반적인 작업 부하에는 다음이 포함됩니다:

• 더 큰 로컬 언어 모델
• 장기 문맥 문서 분석
• 여러 동시 사용자
• 실시간 다중 카메라 감지
• 멀티모달 모델
• 이미지 생성
• 여러 모델을 동시에 로드

사용자는 다음을 계획해야 합니다:

• 더 많은 시스템 RAM
• 충분한 VRAM 또는 통합 메모리
• 강력한 냉각
• 더 높은 전력 소모
• 빠른 NVMe 스토리지
• AI 컴퓨팅과 핵심 NAS 서비스 간의 더 명확한 분리

중고 서버, 미니 PC, NAS의 로컬 AI 작업 비교는 스토리지 우선 인클로저가 여전히 적합한 컴퓨팅 플랫폼인지 판단하는 데 도움이 될 수 있습니다.

AI NAS에 필요한 메모리 양은?

AI NAS 작업 부하는 여러 메모리 풀을 사용하기 때문에 메모리가 사용자가 처음 마주치는 제한인 경우가 많습니다.

가장 유용한 계획 공식은 다음과 같습니다:

실제 메모리 요구량 = 모델 가중치 + 런타임 오버헤드 + 컨텍스트 캐시 + 병렬 요청 + 데이터베이스 및 인덱스 + NAS 및 컨테이너 여유 공간

시스템 RAM, VRAM 및 통합 메모리는 다릅니다

추론이 GPU에서 실행되더라도 시스템 RAM이 필요합니다. NAS 운영 체제, 파일 서비스, 데이터베이스, 컨테이너, 인덱스 및 백그라운드 애플리케이션은 계속해서 시스템 메모리를 사용합니다.

VRAM은 모델의 얼마나 많은 부분이 GPU에 남아 있을 수 있는지, 컨텍스트 및 병렬 요청을 위한 공간이 얼마나 있는지를 결정합니다.

통합 메모리는 시스템 RAM과 VRAM 간의 엄격한 구분을 줄일 수 있지만, 총 용량, 대역폭, 소프트웨어 지원 및 열 특성에 의해 여전히 제한됩니다.

모델 크기가 시작점에 불과한 이유

사용 가능한 메모리에 맞는 것처럼 보이는 모델 파일도 다음을 위해 추가 여유 공간이 필요할 수 있습니다:

• 런타임 라이브러리
• 임시 버퍼
• 컨텍스트 및 KV 캐시
• 프롬프트 처리
• 병렬 요청
• 다른 로드된 모델
• 운영 체제 및 애플리케이션

Ollama는 모델이 GPU에 완전히 로드되었는지, 시스템 메모리에 완전히 로드되었는지, 또는 CPU와 GPU 사이에 분할되어 있는지 보고할 수 있습니다. 문서에는 충분한 메모리가 있을 때만 여러 모델을 로드 상태로 유지할 수 있다는 내용도 설명되어 있습니다. Ollama 모델 로딩 및 메모리 동작 에서 관련 런타임 세부 정보를 확인할 수 있습니다.

컨텍스트 길이, KV 캐시 및 동시성

더 긴 컨텍스트 창은 런타임이 더 많은 어텐션 상태를 유지해야 하므로 메모리 요구량이 증가합니다.

병렬 사용자가 늘어나면 요구 사항도 다시 증가합니다. 여러 동시 요청을 처리하는 서버는 단일 사용자 시스템보다 훨씬 더 많은 컨텍스트 메모리를 할당할 수 있습니다.

로컬 LLM 하드웨어를 계획할 때 테스트:

• 필요한 실제 컨텍스트 길이
• 동시 사용자 수
• 로드된 모델 수
• GPU 추론에 전체 VRAM 상주가 필요한지 여부
• KV 캐시 양자화 지원 여부

16GB, 32GB 및 64GB 이상이 현실적으로 지원할 수 있는 것

이 범위는 보장되지 않습니다. 잘 최적화된 애플리케이션은 더 적게 사용할 수 있지만, 큰 라이브러리, 긴 컨텍스트, 여러 서비스 또는 다수 사용자는 더 많이 필요할 수 있습니다.

양자화 및 CPU–GPU 오프로딩

양자화는 가중치를 낮은 정밀도로 저장하여 모델 메모리 요구량을 줄입니다. 이로 인해 정확도가 떨어지거나 성능이 변할 수 있으며, 이는 모델과 양자화 형식에 따라 다릅니다.

llama.cpp CPU–GPU 하이브리드 추론은 CPU와 GPU 간 작업 분할로 총 VRAM 용량보다 큰 모델을 부분적으로 가속할 수 있습니다.

이것은 호환성을 확장하지만 전체 모델을 빠른 GPU 메모리에 로드하는 것과 동일하게 취급해서는 안 됩니다. 오프로딩은 데이터가 메모리와 버스 경계를 넘어 이동해야 하므로 속도를 저하시킬 수 있습니다.

AI NAS에 필요한 CPU는?

AI 추론 외 CPU 역할

CPU는 GPU, NPU, iGPU 또는 TPU가 추론 작업의 일부를 수행할 때도 전체 시스템을 조정합니다.

CPU가 처리할 수 있는 작업:

• NAS 파일 서비스
• 암호화
• 컨테이너 오케스트레이션
• 데이터베이스 작업
• 문서 파싱
• 이미지 전처리
• 미디어 디코딩
• 메타데이터 추출
• 네트워크 트래픽
• 가속기에 데이터 공급

강력한 가속기는 CPU가 데이터를 충분히 빠르게 준비, 디코딩 또는 전달하지 못하면 제대로 활용되지 않을 수 있습니다.

혼합 NAS 및 컨테이너 워크로드

AI NAS 시스템은 종종 여러 서비스를 동시에 실행합니다:

• SMB 또는 NFS 파일 공유
• 백업 작업
• 미디어 서버
• 사진 애플리케이션
• 문서 데이터베이스
• 벡터 검색
• 모델 실행 시간

다중 코어와 스레드는 이러한 혼합 워크로드에 더 많은 스케줄링 여유를 제공합니다. 그러나 코어 수만으로는 충분하지 않습니다. 아키텍처, 명령어 지원, 클럭 동작, 비디오 엔진, 전력 제한 및 소프트웨어 호환성도 중요합니다.

하드웨어를 선택하기 전에 운영 체제를 저장소와 애플리케이션의 의도된 조합에 맞게 조정하세요. NAS 및 Docker 애플리케이션용 홈 서버 OS 요구 사항에서는 저장소 우선, 애플리케이션 우선, 가상화 우선 시스템이 하드웨어를 다르게 우선시하는 이유를 설명합니다.

CPU 전용 AI가 실용적인 경우

CPU 전용 처리가 실용적일 수 있는 경우:

• 작업 부하가 백그라운드에서 실행됩니다.
• 파일 라이브러리가 적당합니다.
• 모델이 작거나 강하게 양자화되어 있습니다.
• 지연 시간이 중요하지 않습니다.
• 한 명의 사용자만 가끔 요청을 실행합니다.

사용자가 다음을 기대할 때 CPU 전용 설정은 덜 매력적입니다:

• 빠른 대화형 LLM 응답
• 여러 동시 사용자
• 실시간 비디오 분석
• 대형 멀티모달 모델
• 대량 임베딩 생성

AI NAS에 NPU, TPU, iGPU 또는 GPU가 필요합니까?

AI NAS는 자동으로 독립형 GPU가 필요하지 않습니다. 가속기가 대상 애플리케이션을 개선할 때만 필요합니다.

하드웨어 비디오 디코딩과 AI 감지는 다릅니다

카메라 작업 부하는 하나의 가속기 사양으로 전체 시스템을 설명할 수 없는 이유를 보여줍니다.

카메라 AI 파이프라인에는 다음이 포함될 수 있습니다:

1. 네트워크 스트림 수신
2. 비디오 디코딩
3. 모션 감지 실행
4. 프레임 준비
5. 객체 감지 실행
6. 녹화 및 이벤트 메타데이터 작성

비디오 디코딩은 iGPU 또는 미디어 엔진에서 실행될 수 있으며, 객체 감지는 다른 감지기에서 실행됩니다.

Frigate 감지기 및 하드웨어 지원 매트릭스는 여러 가속 경로를 문서화하고, 지원되는 감지기가 감지 지연 시간과 CPU 부하를 줄일 수 있음을 설명합니다.

소프트웨어 지원이 TOPS보다 중요한 이유

TOPS는 이론적인 계산 지표입니다. 사용자의 애플리케이션이 하드웨어를 사용할 수 있음을 증명하지 않습니다.

가속기를 구매하기 전에 확인하세요:

• 운영 체제 지원
• 드라이버 가용성
• 컨테이너 패스스루
• 런타임 호환성
• 지원되는 모델 형식
• 애플리케이션 수준 통합
• 실제 작업 부하에 대한 문서화된 성능

더 나은 하드웨어 선택은 종종 가장 큰 광고 수치가 아닌, 성숙한 애플리케이션 지원이 있는 가속기입니다.

AI NAS는 HDD와 NVMe 저장소를 어떻게 분할해야 할까요?

소스 데이터 및 용량용 HDD

HDD는 다음에 적합함:

• 사진 및 비디오 라이브러리
• 문서 아카이브
• 보안 카메라 녹화
• 백업
• 대용량 데이터셋
• 장기 소스 파일

테라바이트당 비용이 낮고 AI NAS가 전체 플래시 스토리지 풀 없이도 대용량 개인 아카이브를 보존할 수 있게 함

애플리케이션, 모델, 데이터베이스 및 인덱스용 NVMe

활성 AI 애플리케이션 데이터는 보통 낮은 지연 시간의 혜택을 받음

NVMe 스토리지는 다음에 유용함:

• 컨테이너 볼륨
• 애플리케이션 데이터베이스
• AI 모델
• 썸네일
• OCR 출력
• 임베딩 데이터베이스
• 벡터 인덱스
• 임시 처리 파일
• 캐시

모든 활성 서비스를 기계식 드라이브 배열에서 직접 실행하면 CPU와 GPU 자원이 있어도 시스템이 느리게 느껴질 수 있음

AI 애플리케이션으로 인한 스토리지 오버헤드

AI 인식 애플리케이션은 원본 파일 라이브러리보다 더 많은 데이터를 생성함

용량 계획:

• 미리보기 이미지
• 썸네일
• 얼굴 데이터
• OCR 텍스트
• 전사본
• 인덱스
• 임베딩
• 모델 파일
• 애플리케이션 로그

어떤 파생 데이터가 백업되어야 하고 어떤 데이터가 보호된 소스 파일에서 재생성될 수 있는지 결정함

네트워크 속도는 얼마나 빨라야 하나?

네트워크 속도는 NAS 내부에서 실행되는 모델을 직접 가속하지 않음. 소스 파일, 데이터셋, 모델 및 결과가 스토리지, 사용자 및 외부 컴퓨팅 간에 얼마나 빨리 이동하는지에 영향을 줌.

1GbE가 충분한 경우

1GbE가 충분할 수 있는 경우:

• AI 처리가 NAS에서 직접 실행됨
• 대부분 작업이 백그라운드에서 실행됨
• 한두 명의 사용자만 시스템에 접근함
• 대용량 소스 파일이 자주 이동하지 않음

2.5GbE가 유용한 업그레이드인 경우

2.5GbE는 다음에 더 많은 여유를 제공함:

• 대용량 사진 가져오기
• 더 빠른 로컬 백업
• 여러 활성 사용자
• 대용량 미디어 파일
• 모델 파일 이동

유용한 중간 계층이지만 모든 AI NAS의 보편적 최소 기준으로 간주해서는 안 됨

외부 AI 컴퓨팅에 10GbE가 중요한 경우

NAS가 다른 기계에 반복적으로 데이터를 공급할 때 10GbE가 더 중요해짐

예시로는 다음이 포함됨:

• 개인 RAG 문서를 읽는 GPU 서버
• NAS에 저장된 비디오를 처리하는 워크스테이션
• 여러 사용자가 대용량 미디어 파일 편집
• 다른 로컬 서버로의 고속 백업
• NVMe 기반 공유 데이터셋

AI 작업 부하에 따른 하드웨어 요구사항

OCR 및 문서 인덱싱

문서 워크플로우는 보통 배치 지향적입니다. 가장 중요한 요구 사항은 종종 다음과 같습니다:

• 능력 있는 CPU
• 여러 컨테이너와 데이터베이스를 위한 충분한 RAM
• 빠른 활성 스토리지
• 신뢰할 수 있는 원본 파일 저장

Paperless-ngx 문서 수집 및 OCR 워크플로우는 문서 처리가 수집, OCR, 메타데이터, 인덱싱, 원본 파일 보존을 포함함을 보여줍니다.

사진 인식

사진 AI는 초기 처리 부하가 크지만 실시간 응답이 필요하지 않을 수 있습니다. CPU와 RAM은 애플리케이션 서비스를 처리하며, 선택적 가속은 얼굴, 객체 또는 시각적 임베딩 작업을 향상시킬 수 있습니다.

Immich 스마트 검색 및 미디어 인덱싱 기능은 컨텍스트 검색, OCR 텍스트, 인식된 인물, 메타데이터, 위치, 날짜, 카메라 정보가 하나의 검색 시스템에 통합될 수 있음을 보여줍니다.

로컬 RAG 및 의미 검색

로컬 RAG는 하나의 모델이 아니라 파이프라인입니다. 하드웨어가 필요할 수 있는 작업:

• 문서 추출
• 청킹
• 임베딩 생성
• 벡터 저장
• 검색
• 재순위화
• 로컬 답변 생성

임베딩 및 인덱싱은 백그라운드에서 실행될 수 있으며, 답변 생성은 인터랙티브합니다. 따라서 사용자는 로컬에서 검색을 실행하고 필요할 때 무거운 생성 단계만 다른 기기로 옮길 수 있습니다.

보안 카메라 감지

카메라 AI는 다음을 결합하기 때문에 가장 까다로운 항상 켜져 있는 작업 중 하나입니다:

• 여러 개의 지속적인 네트워크 스트림
• 비디오 디코딩
• 동작 분석
• 객체 감지
• 이벤트 메타데이터
• 지속적인 스토리지 쓰기

카메라 수, 해상도, 프레임 속도, 서브스트림 구성, 모델 유형, 보존 기간이 일반적인 GPU 사양보다 더 중요할 수 있습니다.

로컬 LLM 및 다중 사용자 추론

인터랙티브 로컬 LLM 작업은 주로 다음에 의해 제한됩니다:

• 모델 메모리
• 컨텍스트 길이
• 메모리 대역폭
• 병렬 요청
• GPU 또는 통합 메모리 용량

한 명 사용자를 위한 작은 모델은 중간급 하드웨어에서 실행할 수 있습니다. 여러 사용자를 지원하는 더 큰 모델은 훨씬 강력한 컴퓨팅 노드가 필요할 수 있습니다.

AI는 NAS에서 실행해야 할까, 아니면 별도의 AI 서버에서 실행해야 할까?

NAS에서 스토리지 인접 백그라운드 작업 실행

저장된 데이터 근처에서 자연스럽게 수행되는 작업에는 다음이 포함됩니다:

• 백업 후 사진 인덱싱
• 새로 스캔된 파일에 대한 OCR
• 메타데이터 추출
• 문서 임베딩 업데이트
• 썸네일 생성
• 가벼운 분류

이러한 작업 부하는 직접 파일 액세스의 이점을 누리며 종종 워크스테이션급 하드웨어 없이 백그라운드에서 실행할 수 있습니다.

무겁고, 뜨겁거나, 자주 업데이트되는 작업 부하 분리

별도의 AI 서버가 더 적합한 경우:

• 더 큰 로컬 LLM
• 이미지 생성
• 여러 카메라 스트림
• 다중 사용자 추론
• 자주 변경되는 모델과 드라이버
• 상당한 열과 소음을 발생시키는 하드웨어

작업 부하 배치 결정은 NAS 작업 부하를 위한 GPU 및 외부 AI 서버 요구 사항에서 더 자세히 다룹니다.

AI 서비스 실패 시 스토리지 신뢰성 유지

분리된 설계는 실험적 모델 런타임이나 GPU 드라이버 업데이트가 기본 저장소에 영향을 미치는 것을 방지할 수 있습니다.

NAS는 다음을 계속 담당할 수 있습니다:

• 원본 파일
• 사용자 권한
• 스냅샷
• 백업
• 애플리케이션 데이터베이스 복사본

AI 서버는 다음을 계속 담당할 수 있습니다:

• 모델 추론
• GPU 드라이버
• 임베딩 작업
• 실험적 컨테이너
• 무거운 카메라 감지

하드웨어 사양이 알려주지 않는 것

가속기 지원은 소프트웨어에 따라 다릅니다

사양서만으로는 애플리케이션이 다음을 지원하는지 확인할 수 없습니다:

• 선택된 드라이버
• 운영 체제
• 컨테이너 런타임
• 모델 형식
• 가속기 API
• 정확한 하드웨어 세대

GPU, NPU 또는 TPU가 사용될 것이라고 가정하기 전에 애플리케이션의 현재 호환성 문서를 확인하세요.

TOPS는 전체 워크플로우를 측정하지 않습니다

TOPS는 다음을 설명하지 않습니다:

• 사용 가능한 메모리
• 메모리 대역폭
• 모델 호환성
• 데이터베이스 성능
• 비디오 디코딩
• 스토리지 지연 시간
• 네트워크 처리량
• 애플리케이션 품질

지원되는 소프트웨어가 있는 균형 잡힌 시스템이 필요한 작업 부하를 효율적으로 실행하지 못하는 더 높은 TOPS 장치보다 더 나을 수 있습니다.

강력한 AI 서버도 나쁜 NAS일 수 있음

게이밍 PC나 워크스테이션은 뛰어난 추론 성능을 제공할 수 있지만 여전히 부족할 수 있습니다:

• 효율적인 항상 켜져 있는 작동
• 편리한 드라이브 확장
• 스토리지 풀 관리
• 조용한 냉각
• 백업 통합
• 예측 가능한 파일 권한

반대로, 저전력 NAS는 저장소에는 탁월하지만 무거운 로컬 AI에는 적합하지 않을 수 있습니다.

시스템의 어느 부분이 실제 워크플로우를 제한하는지 확인하려면 컴퓨팅, 메모리, 저장소 및 네트워크 병목 현상 체크리스트를 사용하세요.

AI NAS 하드웨어 구매 체크리스트

1. 정확한 작업 부하를 정의하세요.

   시스템이 OCR, 사진 인덱싱, 카메라 감지, RAG, 챗봇, 이미지 생성 또는 다른 작업 중 무엇을 실행할지 지정하세요.

2. 처리가 백그라운드인지 실시간인지 결정하세요.

   백그라운드 작업은 느린 하드웨어를 견딜 수 있지만, 실시간 서비스는 더 지속적인 성능을 요구합니다.

3. 데이터 라이브러리 크기를 추정하십시오.

   원본 파일, 썸네일, OCR 출력, 데이터베이스, 인덱스, 모델 및 미래 성장을 포함하십시오.

4. 모델 메모리와 컨텍스트를 추정하십시오.

   런타임 오버헤드, KV 캐시, 병렬 사용자 및 기타 애플리케이션을 포함하십시오.

5. 가속기 소프트웨어 지원을 검증하십시오.

   드라이버, 컨테이너 패스스루, 런타임 지원 및 모델 형식을 확인하십시오.

6. 활성 NVMe 저장소와 HDD 용량을 분리하십시오.

   용량 계층에서 소스 데이터를 보호하고 활성 데이터베이스와 모델은 빠른 저장소에 배치하십시오.

7. 아키텍처에 맞는 네트워킹을 선택하십시오.

   1GbE는 로컬 처리에 충분할 수 있으며, AI 컴퓨트가 분리될 때 10GbE가 더 중요해집니다.

8. NAS 신뢰성을 보호하십시오.

   인덱싱과 추론이 백업, 녹화, 파일 접근 또는 저장소 건강을 방해하지 않는지 확인하십시오.

9. 전력, 냉각 및 소음을 계획하십시오.

   유휴 효율성과 지속적인 AI 부하를 모두 평가하십시오.

10. 외부 컴퓨트 노드가 업그레이드하기 더 쉬운지 결정하십시오.

    분리된 아키텍처가 더 실용적일 때 무거운 추론을 NAS에 강제로 넣지 마십시오.

결론

AI NAS 하드웨어 요구 사항은 하나의 최소 CPU, 하나의 RAM 수치 또는 하나의 GPU 권장으로 축소할 수 없습니다.

적절한 시스템은 작업 부하에 따라 다릅니다:

• OCR 및 가벼운 인덱싱은 16GB RAM과 빠른 애플리케이션 저장소를 갖춘 능력 있는 CPU에서 실행할 수 있습니다.
• 사진 인식, 문서 RAG, 여러 컨테이너는 더 많은 RAM과 NVMe 작업 계층의 혜택을 받습니다.
• 로컬 LLM, 다중 카메라 AI, 긴 컨텍스트, 다중 사용자 환경은 별도의 GPU, 더 많은 메모리, 강력한 냉각 및 별도의 컴퓨팅을 필요로 할 수 있습니다.

시스템 RAM, VRAM, 통합 메모리는 서로 다른 문제를 해결합니다. 모델 가중치는 메모리 요구의 일부일 뿐이며, 컨텍스트, 동시성, 데이터베이스, 인덱스 및 NAS 서비스도 용량을 필요로 합니다.

HDD는 보호된 소스 데이터에 유용하며, NVMe는 활성 애플리케이션, 모델, 캐시 및 인덱스에 더 적합합니다. 네트워크 속도는 NAS와 외부 AI 서버 간에 이동하는 데이터 양에 맞춰야 합니다.

최고의 AI NAS는 가장 큰 GPU나 가장 높은 TOPS 등급을 가진 시스템이 아닙니다. 저장소, 백업, 전력 효율성 또는 유지 관리성을 희생하지 않고 의도한 작업을 안정적으로 실행하는 시스템입니다.

자주 묻는 질문

AI NAS의 실용적인 시작 구성은 무엇인가요?

최신 멀티코어 CPU, 16GB RAM, 소스 파일용 HDD 저장소, 애플리케이션 및 인덱스용 SSD 또는 NVMe 계층, 그리고 1GbE 또는 2.5GbE 네트워킹은 가벼운 백그라운드 작업에 실용적인 시작점이 될 수 있습니다.

이것은 보편적인 최소 사양이 아닙니다. 더 무거운 애플리케이션은 더 많은 RAM, 가속, 저장 성능 또는 별도의 컴퓨팅을 필요로 할 수 있습니다.

전용 GPU 없이 NAS에서 AI를 실행할 수 있나요?

예. OCR, 문서 인덱싱, 메타데이터 추출, 소규모 임베딩, 그리고 배경 사진 처리는 CPU 하드웨어에서 실행할 수 있습니다.

GPU는 로컬 LLM, 멀티모달 모델, 이미지 생성, 대량 추론, 여러 동시 사용자에 더 유용해집니다.

AI NAS에 16GB RAM이 충분한가요?

16GB는 몇 개의 컨테이너, 가벼운 OCR, 메타데이터 추출, 백그라운드 인덱싱에 충분할 수 있습니다.

시스템이 대용량 사진 라이브러리, 문서 RAG, 벡터 데이터베이스, 가상화, 로컬 모델, 여러 동시 서비스도 실행할 경우 제한적일 수 있습니다.

언제 32GB RAM을 선택해야 하나요?

32GB는 여러 AI 인식 애플리케이션, 더 큰 인덱스, 개인 RAG, 사진 인식, 데이터베이스, 가벼운 로컬 생성 작업을 같은 시스템에서 실행할 때 더 적합한 목표입니다.

언제 64GB 이상 RAM이 필요할까요?

64GB 이상은 더 큰 인덱스, 가상화, 여러 사용자, 긴 컨텍스트 작업 흐름, CPU 또는 통합 메모리 추론, 여러 AI 서비스에 적합합니다.

로컬 LLM에 필요한 VRAM은 얼마인가요?

VRAM 요구량은 모델 아키텍처, 양자화, 컨텍스트 길이, KV 캐시, 런타임 오버헤드, 동시성에 따라 달라집니다.

파라미터 수나 모델 다운로드 크기만 의존하지 말고 대상 런타임을 사용해 총 메모리를 추정하세요.

로컬 LLM에 NPU만으로 충분한가요?

일반적으로 무거운 범용 로컬 LLM 작업에는 적합하지 않습니다. NPU는 효율적인 지원 추론, 비전, 분류, 백그라운드 작업에 더 적합한 경우가 많습니다.

소프트웨어 호환성이 NPU가 실질적인 가치를 제공하는지 결정합니다.

AI NAS 애플리케이션은 HDD에서 실행해야 하나요, 아니면 NVMe에서 실행해야 하나요?

원본 미디어, 문서, 녹음, 백업은 HDD 저장소에 남겨둘 수 있습니다. 모델, 컨테이너, 데이터베이스, 썸네일, 캐시, 임베딩, 인덱스는 보통 SSD 또는 NVMe 저장소에 두는 것이 좋습니다.

AI NAS에 10GbE가 필요한가요?

아니요. AI가 NAS에서 직접 실행되고 대용량 파일이 자주 이동하지 않는 경우 1GbE로도 충분할 수 있습니다.

10GbE는 외부 AI 서버, NVMe 기반 공유 데이터, 대용량 미디어 작업 흐름, 여러 활성 사용자에게 더 유용해집니다.

더 빠른 네트워킹이 로컬 LLM 추론을 더 빠르게 하나요?

모델과 데이터가 이미 같은 기기에 있을 때는 그렇지 않습니다. 네트워킹은 주로 NAS, 사용자, 워크스테이션, 외부 컴퓨팅 노드 간 데이터 이동에 영향을 미칩니다.

무거운 AI 추론은 NAS 외부에서 실행해야 하나요?

대부분 그렇습니다. 더 큰 모델, 이미지 생성, 다중 사용자 추론, 연속 카메라 AI는 별도의 서버에서 업그레이드 및 냉각이 더 쉬울 수 있습니다.

NAS는 신뢰할 수 있는 저장소, 권한, 스냅샷, 백업을 계속 담당할 수 있습니다.

가장 큰 AI NAS 하드웨어 실수는 무엇인가요?

가장 흔한 실수는 나머지 파이프라인을 확인하지 않고 인상적인 부품 하나만 구매하는 것입니다.

강력한 GPU가 RAM 부족, 느린 활성 저장소, 지원되지 않는 소프트웨어, 약한 냉각, 신뢰할 수 없는 저장소 설계를 보완할 수는 없습니다.

참고 문헌

• 자주 묻는 질문 - Ollama
• ggml-org/llama.cpp - C/C++에서의 LLM 추론
• 권장 하드웨어 - Frigate
• 기본 사용법 - Paperless-ngx
• 검색 중 - Immich