Wymagania sprzętowe AI NAS: procesor, pamięć RAM, karta graficzna, pamięć masowa i sieć

Szybka odpowiedź

Wymagania sprzętowe AI NAS zależą od obciążenia, a nie tylko od samej etykiety AI NAS. System wykonujący OCR w tle lub indeksowanie zdjęć potrzebuje zupełnie innego profilu sprzętowego niż ten uruchamiający lokalne LLM, detekcję w czasie rzeczywistym, RAG z długim kontekstem lub wnioskowanie wieloużytkownikowe.

Dla wielu obciążeń AI skoncentrowanych na pamięci masowej praktyczna konfiguracja startowa to:

• Nowoczesny wielordzeniowy procesor
• 16GB pamięci systemowej RAM
• Pamięć HDD dla chronionych plików źródłowych i dużej pojemności
• Warstwa SSD lub NVMe dla aplikacji, baz danych, miniatur, indeksów i modeli
• Sieć 1GbE lub 2.5GbE, w zależności od rozmiaru plików i liczby użytkowników
• Opcjonalne przyspieszenie iGPU, NPU, TPU lub GPU, jeśli docelowe oprogramowanie to obsługuje

Bardziej wymagające systemy mogą potrzebować 32GB do 64GB lub więcej RAM, większej pojemności NVMe, dedykowanego GPU lub pamięci zunifikowanej o dużej pojemności, mocniejszego chłodzenia oraz sieci 10GbE, gdy obliczenia AI odbywają się na osobnym serwerze.

Nie ma uniwersalnej minimalnej specyfikacji dla każdego AI NAS. Odpowiednia konfiguracja zależy od:

• Zadanie AI
• Rozmiar biblioteki plików
• Czy przetwarzanie odbywa się w czasie rzeczywistym, czy w tle
• Model i rozmiar kontekstu
• Liczba jednoczesnych użytkowników
• Czy AI działa bezpośrednio na NAS, czy na innym lokalnym urządzeniu
• Czy oprogramowanie może korzystać z wybranego akceleratora

Najważniejsza zasada jest prosta: zacznij od obciążenia, a następnie dobierz CPU, pamięć, przyspieszenie, pamięć masową, sieć i chłodzenie do tego obciążenia.

Od czego naprawdę zależą wymagania serwera AI?

AI NAS wykonuje jednocześnie dwie różne funkcje. Musi pozostać niezawodnym systemem przechowywania danych, a jednocześnie przetwarzać przechowywane na nim dane.

Tradycyjny NAS może głównie obsługiwać:

• Udostępnianie plików
• Kopie zapasowe komputerów i telefonów
• Migawki i historia wersji
• Przechowywanie i strumieniowanie mediów
• Uprawnienia użytkowników
• Zdalny dostęp

System świadomy AI może dodać:

• OCR i analiza dokumentów
• Rozpoznawanie zdjęć
• Wykrywanie obiektów
• Transkrypcja mowy
• Generowanie osadzeń
• Wyszukiwanie wektorowe i hybrydowe
• Prywatny RAG
• Lokalne wnioskowanie LLM

Różnica między tymi dwoma rolami jest wyjaśniona szerzej w Wymagania sprzętowe AI NAS w porównaniu z tradycyjnym NAS.

Typ obciążenia

Różne zadania AI obciążają różne części systemu.

Przetwarzanie w tle vs w czasie rzeczywistym

Obciążenia w tle mogą tolerować wolniejszy sprzęt, ponieważ mogą działać nocą lub podczas okresów niskiej aktywności pamięci masowej.

Przykłady obejmują:

• Skanowanie nowej biblioteki zdjęć
• Generowanie miniatur
• Uruchamianie OCR na nadchodzących skanach
• Tworzenie osadzeń
• Aktualizacja indeksów dokumentów

Obciążenia w czasie rzeczywistym wymagają niższych opóźnień i bardziej stałej wydajności.

Przykłady obejmują:

• Wykrywanie obiektów na kamerach bezpieczeństwa
• Interaktywny lokalny czat LLM
• Transkrypcja na żywo
• Kilku jednoczesnych użytkowników RAG
• Wnioskowanie multimodalne w czasie rzeczywistym

NAS może z powodzeniem wykonywać indeksowanie w tle na skromnym sprzęcie, ale zapewniać słabe doświadczenia przy interaktywnym wnioskowaniu LLM. Pilność przetwarzania jest więc równie ważna jak samo zadanie.

Rozmiar modelu i biblioteki

Zapotrzebowanie na sprzęt rośnie w dwóch niezależnych wymiarach:

1. Rozmiar modelu AI
2. Rozmiar indeksowanej biblioteki danych

Mały model może nadal generować duże obciążenie, gdy musi przetworzyć miliony obrazów, setki tysięcy dokumentów lub lata nagrań wideo.

Duży model może powodować duże obciążenie pamięci nawet przy małej kolekcji dokumentów.

Planuj oba:

• Pliki modeli
• Pamięć kontekstu i środowiska uruchomieniowego
• Bazy danych aplikacji
• Miniatury i podglądy
• Wyniki OCR
• Osadzenia i indeksy wektorowe
• Tymczasowe pliki przetwarzania
• Wzrost oryginalnej biblioteki danych

Liczba użytkowników i równoległych zapytań

System obsługujący jedną osobę sporadycznie ma inne wymagania niż usługa współdzielona obsługująca kilka jednoczesnych zapytań.

Oficjalna dokumentacja pamięci i współbieżności Ollama wyjaśnia, że równoczesne ładowanie modeli zależy od dostępnej pamięci RAM lub VRAM systemu. Zauważa również, że równoległe zapytania zwiększają efektywną alokację kontekstu, a wymagana pamięć rośnie wraz z liczbą równoległych zapytań i długością kontekstu.

Oznacza to, że określanie rozmiaru lokalnego modelu tylko na podstawie jego rozmiaru do pobrania jest niepełne. System potrzebuje także pamięci na:

• Nadwyżka środowiska uruchomieniowego
• Kontekst i pamięć podręczna KV
• Równoległe zapytania
• Dodatkowo załadowane modele
• Usługi NAS i kontenery

AI na NAS vs Oddzielne obliczenia

Uruchamianie AI bezpośrednio na NAS zmniejsza przesyłanie danych i może uprościć procesy związane z pamięcią masową. Oddzielenie obliczeń AI daje użytkownikom większą swobodę w aktualizacji GPU, pamięci, chłodzenia i środowisk uruchomieniowych modeli niezależnie.

Uruchamiaj obciążenie bezpośrednio na NAS, gdy jest:

• Blisko powiązane z przechowywanymi plikami
• Lekkie lub umiarkowane
• Głównie przetwarzanie w tle
• Obsługiwane przez system operacyjny NAS i aplikacje
• Mało prawdopodobne, by zakłócić kopie zapasowe i usługi plików

Rozważ osobny serwer AI, gdy obciążenie jest:

• Wymagający GPU
• Przetwarzanie w czasie rzeczywistym
• Wielu użytkowników
• Często aktualizowany lub eksperymentalny
• Zbyt gorący, hałaśliwy lub energochłonny dla NAS

Trzy praktyczne poziomy sprzętu AI NAS

Poniższe poziomy to profile planowania, a nie uniwersalne minimalne wymagania producentów. Rzeczywiste wymagania różnią się w zależności od aplikacji, modelu, długości kontekstu, kwantyzacji, wolumenu danych i współbieżności użytkowników.

Poziom 1: AI z priorytetem na magazynowanie i indeksowanie w tle

Ten poziom jest odpowiedni, gdy magazynowanie pozostaje głównym zadaniem, a AI działa jako ulepszenie w tle.

Typowe obciążenia obejmują:

• OCR dla zeskanowanych dokumentów
• Podstawowa klasyfikacja dokumentów
• Ekstrakcja metadanych
• Lekkie tagowanie zdjęć
• Małe zadania osadzania
• Okazjonalne lokalne zapytania

Dedykowana karta GPU może nie być konieczna. Przetwarzanie CPU jest akceptowalne, gdy użytkownicy są gotowi czekać na zadania w tle.

Ważne priorytety to:

• Wystarczająca pamięć RAM dla aplikacji i baz danych
• Warstwa SSD lub NVMe dla aktywnych danych aplikacji
• Niezawodna pojemność HDD na pliki źródłowe
• Stabilne zachowanie magazynu i kopii zapasowych

Poziom 2: Zintegrowane lokalne AI i prywatne RAG

Ten poziom odpowiada użytkownikom uruchamiającym kilka aplikacji AI na tym samym systemie.

Przykłady obejmują:

• Rozpoznawanie zdjęć i semantyczne wyszukiwanie mediów
• Prywatne wyszukiwanie dokumentów
• Lokalne RAG
• Bazy danych wektorowych
• Wiele aplikacji Docker
• Lekkie lokalne LLM

Na tym poziomie 32GB RAM zapewnia więcej miejsca na bazy danych, indeksy, kontenery aplikacji, pamięć podręczną, usługi plików i lokalną generację.

Różnice sprzętowe między lokalnym AI do zdjęć a obciążeniami dokumentów RAG są istotne, ponieważ indeksowanie wizualne i prywatne wyszukiwanie dokumentów stawiają różne wymagania dotyczące CPU, pamięci, magazynu i akceleracji.

Poziom 3: Intensywne wnioskowanie i wieloużytkownikowe AI

Ten poziom jest bliższy dedykowanemu lokalnemu serwerowi AI niż konwencjonalnemu niskomocowemu NAS.

Typowe obciążenia obejmują:

• Większe lokalne modele językowe
• Analiza dokumentów o długim kontekście
• Wielu jednoczesnych użytkowników
• Wykrywanie w czasie rzeczywistym z wielu kamer
• Modele multimodalne
• Generowanie obrazów
• Kilka modeli ładowanych jednocześnie

Użytkownicy powinni zaplanować:

• Więcej pamięci RAM systemu
• Wystarczająca pamięć VRAM lub zunifikowana pamięć
• Silne chłodzenie
• Wyższe zużycie energii
• Szybka pamięć NVMe
• Większe oddzielenie obliczeń AI od podstawowych usług NAS

Porównanie używanego serwera, mini PC i NAS do lokalnych obciążeń AI może pomóc określić, czy obudowa skoncentrowana na pamięci masowej pozostaje odpowiednią platformą obliczeniową.

Ile pamięci potrzebuje AI NAS?

Pamięć jest często pierwszym ograniczeniem, na które napotykają użytkownicy, ponieważ obciążenia AI NAS wykorzystują kilka różnych pul pamięci.

Najbardziej użyteczna formuła planowania to:

Praktyczne wymagania pamięciowe = wagi modelu + narzut środowiska uruchomieniowego + pamięć podręczna kontekstu + równoległe żądania + bazy danych i indeksy + margines NAS i kontenerów

Pamięć systemowa RAM, VRAM i pamięć zunifikowana to różne rzeczy

Pamięć RAM systemu jest wymagana nawet, gdy inferencja działa na GPU. System operacyjny NAS, usługi plików, bazy danych, kontenery, indeksy i aplikacje działające w tle nadal korzystają z pamięci systemowej.

VRAM decyduje, jak duża część modelu może pozostać na GPU oraz ile miejsca jest dostępne na kontekst i równoległe żądania.

Pamięć zunifikowana może zmniejszyć sztywny podział między pamięcią RAM systemu a VRAM, ale nadal jest ograniczona przez całkowitą pojemność, przepustowość, wsparcie oprogramowania i zachowanie termiczne.

Dlaczego rozmiar modelu to tylko punkt wyjścia

Plik modelu, który wydaje się mieścić w dostępnej pamięci, może nadal wymagać dodatkowego marginesu na:

• Biblioteki środowiska uruchomieniowego
• Bufory tymczasowe
• Kontekst i pamięć podręczna KV
• Przetwarzanie promptów
• Równoległe zapytania
• Inne załadowane modele
• System operacyjny i aplikacje

Ollama może raportować, czy model jest załadowany całkowicie na GPU, całkowicie w pamięci systemowej, czy podzielony między CPU i GPU. Dokumentacja wyjaśnia również, że wiele modeli może pozostać załadowanych tylko wtedy, gdy dostępna jest wystarczająca ilość pamięci. Zachowanie ładowania modeli i pamięci w Ollama zawiera odpowiednie szczegóły środowiska uruchomieniowego.

Długość kontekstu, pamięć podręczna KV i współbieżność

Dłuższe okna kontekstowe zwiększają wymagania pamięciowe, ponieważ środowisko uruchomieniowe musi przechowywać więcej stanu uwagi.

Równoczesni użytkownicy ponownie zwiększają wymagania. Serwer obsługujący kilka jednoczesnych żądań może przydzielić znacznie więcej pamięci kontekstowej niż system dla pojedynczego użytkownika.

Planując lokalny sprzęt LLM, przetestuj:

• Rzeczywista wymagana długość kontekstu
• Liczba jednoczesnych użytkowników
• Liczba modeli utrzymywanych w pamięci
• Czy inferencja na GPU wymaga pełnego załadowania do VRAM
• Czy obsługiwana jest kwantyzacja pamięci podręcznej KV

Co realistycznie mogą obsłużyć 16GB, 32GB i 64GB+

Te zakresy nie są gwarancjami. Dobrze zoptymalizowana aplikacja może używać mniej, podczas gdy duża biblioteka, długi kontekst, kilka usług lub wielu użytkowników może wymagać więcej.

Kwantyzacja i przeniesienie obciążenia CPU–GPU

Kwantyzacja zmniejsza wymagania pamięciowe modelu przez przechowywanie wag z niższą precyzją. Kosztem może być obniżona dokładność lub zmiany w wydajności, w zależności od modelu i formatu kwantyzacji.

llama.cpp hybrydowa inferencja CPU–GPU może częściowo przyspieszyć modele większe niż całkowita pojemność VRAM, dzieląc pracę między CPU i GPU.

To rozszerza kompatybilność, ale nie powinno być traktowane jako równoważne z załadowaniem całego modelu do szybkiej pamięci GPU. Przeniesienie obciążenia może obniżyć prędkość, ponieważ dane muszą przechodzić przez granice pamięci i magistrali.

Jaki CPU jest potrzebny w AI NAS?

Obowiązki CPU poza inferencją AI

CPU koordynuje cały system, nawet gdy GPU, NPU, iGPU lub TPU wykonuje część obciążenia inferencyjnego.

CPU może obsługiwać:

• Usługi plików NAS
• Szyfrowanie
• Orkiestracja kontenerów
• Operacje na bazach danych
• Analiza dokumentów
• Wstępne przetwarzanie obrazów
• Dekodowanie mediów
• Ekstrakcja metadanych
• Ruch sieciowy
• Dostarczanie danych do akceleratorów

Potężny akcelerator może być niedostatecznie wykorzystywany, gdy CPU nie jest w stanie wystarczająco szybko przygotować, zdekodować lub dostarczyć danych.

Mieszane obciążenia NAS i kontenerów

Systemy AI NAS często uruchamiają jednocześnie kilka usług:

• Udostępnianie plików SMB lub NFS
• Zadania kopii zapasowych
• Serwery multimedialne
• Aplikacje fotograficzne
• Bazy danych dokumentów
• Wyszukiwanie wektorowe
• Czasy działania modeli

Wiele rdzeni i wątków zapewnia większą elastyczność planowania dla tych mieszanych obciążeń. Jednak sama liczba rdzeni nie wystarczy. Ważna jest także architektura, wsparcie instrukcji, zachowanie zegara, silniki wideo, limity mocy oraz kompatybilność oprogramowania.

Przed wyborem sprzętu dopasuj system operacyjny do zamierzonego zestawu pamięci masowej i aplikacji. Wymagania systemu operacyjnego serwera domowego dla aplikacji NAS i Docker wyjaśniają, dlaczego systemy skoncentrowane na pamięci, aplikacjach lub wirtualizacji różnie priorytetyzują sprzęt.

Kiedy AI tylko na CPU jest praktyczne

Przetwarzanie tylko na CPU może być praktyczne, gdy:

• Obciążenie działa w tle.
• Biblioteka plików jest niewielka.
• Model jest mały lub mocno kwantyzowany.
• Opóźnienie nie jest krytyczne.
• Tylko jeden użytkownik wykonuje sporadyczne zapytania.

Konfiguracje tylko z CPU stają się mniej atrakcyjne, gdy użytkownicy oczekują:

• Szybkie interaktywne odpowiedzi LLM
• Kilku jednoczesnych użytkowników
• Analiza wideo w czasie rzeczywistym
• Duże modele multimodalne
• Generowanie dużej liczby osadzeń

Czy AI NAS potrzebuje NPU, TPU, iGPU czy GPU?

AI NAS nie potrzebuje automatycznie dedykowanego GPU. Potrzebuje akceleratora tylko wtedy, gdy poprawia on docelową aplikację.

Sprzętowe dekodowanie wideo i wykrywanie AI to różne rzeczy

Obciążenia kamery pokazują, dlaczego jedna specyfikacja akceleratora nie opisuje całego systemu.

Pipeline AI kamery może obejmować:

1. Odbieranie strumienia sieciowego
2. Dekodowanie wideo
3. Uruchamianie wykrywania ruchu
4. Przygotowywanie klatek
5. Uruchamianie wykrywania obiektów
6. Zapisywanie nagrań i metadanych zdarzeń

Dekodowanie wideo może działać na iGPU lub silniku multimedialnym, podczas gdy wykrywanie obiektów na innym detektorze.

Macierz wsparcia detektorów i sprzętu Frigate dokumentuje wiele ścieżek akceleracji i wyjaśnia, że obsługiwany detektor może zmniejszyć opóźnienie wykrywania i obciążenie CPU.

Dlaczego wsparcie oprogramowania jest ważniejsze niż TOPS

TOPS to teoretyczna miara mocy obliczeniowej. Nie dowodzi, że aplikacje użytkownika mogą korzystać ze sprzętu.

Przed zakupem akceleratora sprawdź:

• Wsparcie systemu operacyjnego
• Dostępność sterowników
• Przekazywanie kontenerów
• Kompatybilność w czasie działania
• Obsługiwane formaty modeli
• Integracja na poziomie aplikacji
• Udokumentowana wydajność dla rzeczywistego obciążenia

Lepszym wyborem sprzętowym jest często akcelerator z dojrzałym wsparciem aplikacji, a nie ten z największą reklamowaną liczbą.

Jak AI NAS powinien dzielić pamięć HDD i NVMe?

Dyski HDD do danych źródłowych i pojemności

Dyski HDD pozostają odpowiednie dla:

• Biblioteki zdjęć i wideo
• Archiwa dokumentów
• Nagrania z kamer bezpieczeństwa
• Kopie zapasowe
• Duże zestawy danych
• Długoterminowe pliki źródłowe

Zapewniają niższy koszt za terabajt i pozwalają AI NAS zachować duże prywatne archiwa bez konieczności posiadania całkowicie flashowej puli pamięci.

NVMe dla aplikacji, modeli, baz danych i indeksów

Aktywne dane aplikacji AI zwykle korzystają z niższych opóźnień.

Pamięć NVMe jest przydatna dla:

• Wolumeny kontenerów
• Bazy danych aplikacji
• Modele AI
• Miniatury
• Wyniki OCR
• Bazy danych osadzeń
• Indeksy wektorowe
• Tymczasowe pliki przetwarzania
• Pamięć podręczna

Uruchamianie wszystkich aktywnych usług bezpośrednio z mechanicznej macierzy dyskowej może sprawić, że system będzie działał wolno, nawet gdy zasoby CPU i GPU są dostępne.

Nadwyżka pamięci masowej z aplikacji AI

Aplikacje świadome AI tworzą więcej danych niż sama oryginalna biblioteka plików.

Planuj pojemność dla:

• Obrazy podglądu
• Miniatury
• Dane twarzy
• Tekst OCR
• Transkrypcje
• Indeksy
• Osadzenia
• Pliki modeli
• Dzienniki aplikacji

Określ, które dane pochodne muszą być kopiowane, a które można odtworzyć z chronionych plików źródłowych.

Jak szybka powinna być sieć?

Prędkość sieci nie przyspiesza bezpośrednio modelu działającego wewnątrz NAS. Wpływa na to, jak szybko pliki źródłowe, zestawy danych, modele i wyniki przemieszczają się między pamięcią, użytkownikami i zewnętrznymi obliczeniami.

Kiedy 1GbE wystarcza

1GbE może pozostać wystarczające, gdy:

• Przetwarzanie AI działa bezpośrednio na NAS.
• Większość zadań działa w tle.
• Tylko jeden lub dwóch użytkowników korzysta z systemu.
• Duże pliki źródłowe nie są często przenoszone.

Kiedy 2.5GbE jest przydatną aktualizacją

2.5GbE zapewnia więcej zapasu dla:

• Duże importy zdjęć
• Szybsze lokalne kopie zapasowe
• Kilku aktywnych użytkowników
• Duże pliki multimedialne
• Przenoszenie plików modeli

To przydatna warstwa pośrednia, ale nie powinna być traktowana jako uniwersalne minimum dla każdego AI NAS.

Kiedy 10GbE ma znaczenie dla zewnętrznego obliczania AI

10GbE staje się bardziej istotne, gdy NAS wielokrotnie dostarcza dane do innej maszyny.

Przykłady obejmują:

• Serwer GPU odczytujący prywatne dokumenty RAG
• Stacja robocza przetwarzająca wideo przechowywane na NAS
• Kilku użytkowników edytujących duże pliki multimedialne
• Szybkie kopie zapasowe na inny lokalny serwer
• Współdzielone zestawy danych oparte na NVMe

Wymagania sprzętowe według obciążenia AI

OCR i indeksowanie dokumentów

Przepływy pracy z dokumentami są zwykle zorientowane na partie. Najważniejsze wymagania to często:

• Wydajny procesor
• Wystarczająca ilość RAM dla kilku kontenerów i baz danych
• Szybka aktywna pamięć masowa
• Niezawodne przechowywanie plików źródłowych

Przepływ pracy Paperless-ngx do przyjmowania dokumentów i OCR ilustruje, jak przetwarzanie dokumentów obejmuje konsumpcję, OCR, metadane, indeksowanie i zachowanie oryginalnego pliku.

Rozpoznawanie zdjęć

AI do zdjęć wymaga intensywnego wstępnego przetwarzania, ale może nie wymagać odpowiedzi w czasie rzeczywistym. CPU i RAM obsługują usługi aplikacji, podczas gdy opcjonalne przyspieszenie może poprawić zadania związane z twarzami, obiektami lub osadzeniami wizualnymi.

Funkcje inteligentnego wyszukiwania i indeksowania mediów Immich pokazują, jak wyszukiwanie kontekstowe, OCR tekstu, rozpoznawanie osób, metadane, lokalizacja, data i informacje o kamerze mogą stać się częścią jednego systemu wyszukiwania.

Lokalny RAG i wyszukiwanie semantyczne

Lokalny RAG to potok, a nie jeden model. Sprzęt może być potrzebny do:

• Ekstrakcja dokumentów
• Dzielenie na fragmenty
• Generowanie osadzeń
• Przechowywanie wektorów
• Wyszukiwanie
• Ponowne rankowanie
• Lokalne generowanie odpowiedzi

Tworzenie osadzeń i indeksowanie może działać w tle, podczas gdy generowanie odpowiedzi jest interaktywne. Użytkownicy mogą więc lokalnie wykonywać wyszukiwanie i przenosić tylko cięższy etap generowania na inną maszynę, gdy jest to konieczne.

Wykrywanie kamer bezpieczeństwa

AI kamer jest jednym z najbardziej wymagających obciążeń działających non-stop, ponieważ łączy:

• Kilka ciągłych strumieni sieciowych
• Dekodowanie wideo
• Analiza ruchu
• Wykrywanie obiektów
• Metadane zdarzeń
• Ciągłe zapisy do pamięci masowej

Liczba kamer, rozdzielczość, liczba klatek na sekundę, konfiguracja podstrumienia, typ modelu i okres przechowywania mogą mieć większe znaczenie niż jedna ogólna specyfikacja GPU.

Lokalne LLM i wnioskowanie wieloużytkownikowe

Interaktywne lokalne obciążenia LLM są głównie ograniczone przez:

• Pamięć modelu
• Długość kontekstu
• Szerokość pasma pamięci
• Równoległe zapytania
• Pojemność GPU lub pamięci zunifikowanej

Mały model dla jednego użytkownika może działać na umiarkowanym sprzęcie. Większy model obsługujący kilku użytkowników może wymagać znacznie mocniejszego węzła obliczeniowego.

Czy AI powinno działać na NAS czy na osobnym serwerze AI?

Uruchamianie zadań w tle powiązanych z pamięcią masową na NAS

Zadania naturalnie należące blisko przechowywanych danych to:

• Indeksowanie zdjęć po kopii zapasowej
• OCR dla nowych zeskanowanych plików
• Ekstrakcja metadanych
• Aktualizacje osadzania dokumentów
• Generowanie miniatur
• Lekkie klasyfikacje

Te obciążenia korzystają z bezpośredniego dostępu do plików i często mogą działać w tle bez sprzętu klasy stacji roboczej.

Oddziel ciężkie, gorące lub często aktualizowane obciążenia

Oddzielny serwer AI jest bardziej atrakcyjny dla:

• Większe lokalne LLM
• Generowanie obrazów
• Kilka strumieni kamer
• Inferencja wieloużytkownikowa
• Często zmieniające się modele i sterowniki
• Sprzęt generujący dużo ciepła i hałasu

Decyzja o umiejscowieniu obciążenia jest omówiona szczegółowo w wymaganiach GPU i zewnętrznego serwera AI dla obciążeń NAS .

Utrzymuj niezawodność magazynu, gdy usługi AI zawodzą

Podział projektu może zapobiec wpływowi eksperymentalnego środowiska uruchomieniowego modelu lub aktualizacji sterownika GPU na główny magazyn.

NAS może nadal odpowiadać za:

• Oryginalne pliki
• Uprawnienia użytkowników
• Migawki
• Kopie zapasowe
• Kopie baz danych aplikacji

Serwer AI może nadal odpowiadać za:

• Inferencja modelu
• Sterowniki GPU
• Zadania osadzania
• Eksperymentalne kontenery
• Intensywne wykrywanie kamer

Czego nie mówią specyfikacje sprzętowe

Wsparcie akceleratora zależy od oprogramowania

Specyfikacja nie może potwierdzić, czy aplikacja obsługuje:

• Wybrany sterownik
• System operacyjny
• Środowisko uruchomieniowe kontenera
• Format modelu
• API akceleratora
• Dokładna generacja sprzętu

Sprawdź aktualną dokumentację kompatybilności aplikacji, zanim założysz, że zostanie użyty GPU, NPU lub TPU.

TOPS nie mierzy pełnego przepływu pracy

TOPS nie opisuje:

• Dostępna pamięć
• Szerokość pasma pamięci
• Kompatybilność modelu
• Wydajność bazy danych
• Dekodowanie wideo
• Opóźnienia magazynu
• Przepustowość sieci
• Jakość aplikacji

Zrównoważony system z obsługiwanym oprogramowaniem może przewyższać urządzenie o wyższej liczbie TOPS, które nie może efektywnie obsługiwać wymaganego obciążenia.

Potężny serwer AI może być nadal słabym NAS-em

Komputer do gier lub stacja robocza może zapewniać doskonałą wydajność inferencji, ale nadal brakować:

• Efektywna praca w trybie ciągłym
• Wygodne rozszerzanie dysków
• Zarządzanie pulą magazynową
• Ciche chłodzenie
• Integracja kopii zapasowych
• Przewidywalne uprawnienia do plików

Z kolei niskoprądowy NAS może być doskonały do przechowywania, ale nieodpowiedni do ciężkiego lokalnego AI.

Użyj listy kontrolnej wąskich gardeł obliczeń, pamięci, magazynu i sieci , aby zidentyfikować, która część systemu ogranicza rzeczywisty przepływ pracy.

Lista kontrolna zakupu sprzętu AI NAS

1. Zdefiniuj dokładne obciążenie.

   Określ, czy system będzie uruchamiał OCR, indeksowanie zdjęć, wykrywanie kamer, RAG, chatbota, generowanie obrazów czy inne zadanie.

2. Zdecyduj, czy przetwarzanie jest w tle, czy w czasie rzeczywistym.

   Zadania w tle mogą tolerować wolniejszy sprzęt. Usługi w czasie rzeczywistym wymagają bardziej stałej wydajności.

3. Oszacuj rozmiar biblioteki danych.

   Uwzględnij oryginalne pliki, miniatury, wyniki OCR, bazy danych, indeksy, modele i przyszły wzrost.

4. Oszacuj pamięć modeli i kontekst.

   Uwzględnij narzut środowiska uruchomieniowego, pamięć podręczną KV, równoległych użytkowników i inne aplikacje.

5. Zweryfikuj wsparcie oprogramowania dla akceleratora.

   Sprawdź sterowniki, przekazywanie kontenerów, wsparcie środowiska uruchomieniowego i formaty modeli.

6. Oddziel pojemność HDD od aktywnej pamięci NVMe.

   Chroń dane źródłowe na warstwie pojemności i umieść aktywne bazy danych oraz modele na szybkiej pamięci.

7. Wybierz sieć odpowiednią do architektury.

   1GbE może wystarczyć do lokalnego przetwarzania; 10GbE staje się bardziej istotne, gdy obliczenia AI są oddzielone.

8. Chroń niezawodność NAS.

   Potwierdź, że indeksowanie i wnioskowanie nie zakłócą kopii zapasowych, nagrań, dostępu do plików ani zdrowia pamięci masowej.

9. Zaplanuj zasilanie, chłodzenie i hałas.

   Oceń zarówno efektywność w stanie bezczynności, jak i przy stałym obciążeniu AI.

10. Zdecyduj, czy łatwiej jest aktualizować zewnętrzny węzeł obliczeniowy.

    Nie wymuszaj ciężkiego wnioskowania na NAS, gdy bardziej praktyczna jest architektura podzielona.

Podsumowanie

Wymagania sprzętowe AI NAS nie można sprowadzić do jednego minimum CPU, jednej wartości RAM czy jednej rekomendacji GPU.

Odpowiedni system zależy od obciążenia:

• OCR i lekkie indeksowanie mogą działać na wydajnym CPU z 16 GB RAM i szybką pamięcią aplikacji.
• Rozpoznawanie zdjęć, dokumentów RAG i kilka kontenerów korzysta z większej ilości RAM i warstwy roboczej NVMe.
• Lokalne LLM, AI z wieloma kamerami, długi kontekst i wielu użytkowników mogą wymagać dedykowanego GPU, większej pamięci, mocniejszego chłodzenia i oddzielnego obliczania.

Pamięć systemowa RAM, VRAM i pamięć zunifikowana rozwiązują różne problemy. Wagi modeli to tylko część zapotrzebowania na pamięć; kontekst, współbieżność, bazy danych, indeksy i usługi NAS również wymagają pojemności.

Dyski HDD pozostają przydatne do chronionych danych źródłowych, podczas gdy NVMe jest lepsze dla aktywnych aplikacji, modeli, pamięci podręcznych i indeksów. Prędkość sieci powinna odpowiadać ilości danych przesyłanych między NAS a zewnętrznym serwerem AI.

Najlepszy AI NAS to nie system z największym GPU lub najwyższą wartością TOPS. To system, który niezawodnie obsługuje zamierzone zadania bez kompromisów w zakresie pamięci masowej, kopii zapasowych, efektywności energetycznej czy łatwości utrzymania.

FAQ

Jaka jest praktyczna konfiguracja startowa dla AI NAS?

Nowoczesny wielordzeniowy procesor, 16 GB RAM, dysk HDD na pliki źródłowe, warstwa SSD lub NVMe na aplikacje i indeksy oraz sieć 1GbE lub 2,5GbE to praktyczny punkt startowy dla lekkich zadań w tle.

To nie jest uniwersalne minimum. Bardziej wymagające aplikacje mogą potrzebować więcej RAM, akceleracji, wydajności pamięci masowej lub oddzielnego obliczania.

Czy mogę uruchomić AI na NAS bez dedykowanego GPU?

Tak. OCR, indeksowanie dokumentów, ekstrakcja metadanych, małe osadzenia oraz przetwarzanie zdjęć w tle mogą działać na sprzęcie CPU.

Karta graficzna staje się bardziej przydatna dla lokalnych LLM, modeli multimodalnych, generowania obrazów, wnioskowania o dużej objętości i kilku jednoczesnych użytkowników.

Czy 16GB RAM wystarczy dla AI NAS?

16GB może wystarczyć dla kilku kontenerów, lekkiego OCR, ekstrakcji metadanych i indeksowania w tle.

Może być ograniczające, gdy system obsługuje też duże biblioteki zdjęć, dokumenty RAG, bazy wektorowe, wirtualizację, lokalne modele lub kilka jednoczesnych usług.

Kiedy wybrać 32GB RAM?

32GB to lepszy cel przy uruchamianiu kilku aplikacji AI, większych indeksów, prywatnego RAG, rozpoznawania zdjęć, baz danych i lekkiej lokalnej generacji na tym samym systemie.

Kiedy 64GB lub więcej RAM ma sens?

64GB lub więcej staje się istotne dla większych indeksów, wirtualizacji, kilku użytkowników, długich przepływów kontekstowych, wnioskowania CPU lub pamięci zunifikowanej oraz wielu usług AI.

Ile VRAM potrzebuje lokalny LLM?

Wymagania VRAM zależą od architektury modelu, kwantyzacji, długości kontekstu, pamięci podręcznej KV, narzutu środowiska uruchomieniowego i współbieżności.

Użyj docelowego środowiska uruchomieniowego do oszacowania całkowitej pamięci, zamiast polegać tylko na liczbie parametrów lub rozmiarze modelu do pobrania.

Czy NPU wystarczy dla lokalnych LLM?

Zwykle nie dla cięższych, ogólnego przeznaczenia lokalnych zadań LLM. NPU często lepiej nadają się do efektywnego, wspieranego wnioskowania, wizji, klasyfikacji lub zadań w tle.

Zgodność oprogramowania decyduje, czy NPU ma praktyczną wartość.

Czy aplikacje AI NAS powinny działać z HDD czy NVMe?

Oryginalne media, dokumenty, nagrania i kopie zapasowe mogą pozostać na dyskach HDD. Modele, kontenery, bazy danych, miniatury, pamięć podręczna, osadzenia i indeksy zwykle lepiej umieścić na dyskach SSD lub NVMe.

Czy AI NAS potrzebuje 10GbE?

Nie. 1GbE może wystarczyć, gdy AI działa bezpośrednio na NAS i duże pliki nie są często przesyłane.

10GbE staje się bardziej przydatne dla zewnętrznych serwerów AI, współdzielonych danych na NVMe, dużych przepływów multimedialnych i kilku aktywnych użytkowników.

Czy szybsza sieć przyspiesza lokalne wnioskowanie LLM?

Nie, gdy model i dane są już na tym samym urządzeniu. Sieć głównie wpływa na przesyłanie danych między NAS, użytkownikami, stacjami roboczymi i zewnętrznymi węzłami obliczeniowymi.

Czy ciężkie wnioskowanie AI powinno działać poza NAS?

Często tak. Większe modele, generowanie obrazów, wnioskowanie wieloużytkownikowe i ciągła AI kamer mogą być łatwiejsze do aktualizacji i chłodzenia na osobnym serwerze.

NAS może nadal odpowiadać za niezawodne przechowywanie, uprawnienia, migawki i kopie zapasowe.

Jaki jest największy błąd sprzętowy AI NAS?

Najczęstszym błędem jest zakup jednego imponującego komponentu bez sprawdzenia reszty łańcucha.

Silna karta graficzna nie zastąpi niewystarczającej pamięci RAM, wolnego aktywnego magazynu, nieobsługiwanego oprogramowania, słabego chłodzenia ani zawodnej konstrukcji magazynu.

Bibliografia

• FAQ - Ollama
• ggml-org/llama.cpp - Wnioskowanie LLM w C/C++
• Zalecany sprzęt - Frigate
• Podstawowe użycie - Paperless-ngx
• Wyszukiwanie - Immich