AI NAS Hardware-Anforderungen: CPU, RAM, GPU, Speicher und Netzwerk

Kurze Antwort

Die Hardwareanforderungen für AI NAS hängen von der Arbeitslast ab, nicht nur vom AI NAS-Label. Ein System, das Hintergrund-OCR oder Fotoindizierung durchführt, benötigt ein ganz anderes Hardwareprofil als eines, das lokale LLMs, Echtzeit-Kameraerkennung, Langzeit-Kontext-RAG oder Mehrbenutzer-Inferenz ausführt.

Für viele speicherorientierte KI-Arbeitslasten ist eine praktische Startkonfiguration:

• Eine moderne Multi-Core-CPU
• 16GB System-RAM
• HDD-Speicher für geschützte Quelldateien und große Kapazität
• Eine SSD- oder NVMe-Ebene für Anwendungen, Datenbanken, Miniaturansichten, Indizes und Modelle
• 1GbE- oder 2,5GbE-Netzwerk, abhängig von Dateigröße und Benutzeranzahl
• Optionale iGPU-, NPU-, TPU- oder GPU-Beschleunigung, wenn die Zielsoftware dies unterstützt

Anspruchsvollere Systeme benötigen möglicherweise 32GB bis 64GB oder mehr RAM, größere NVMe-Kapazität, eine dedizierte GPU oder großen einheitlichen Speicher, stärkere Kühlung und 10GbE-Netzwerk, wenn die KI-Berechnung auf einem separaten Server läuft.

Es gibt keine universelle Mindestanforderung für jedes AI NAS. Die richtige Konfiguration hängt ab von:

• Die KI-Aufgabe
• Die Größe der Dateibibliothek
• Ob die Verarbeitung in Echtzeit oder im Hintergrund erfolgt
• Das Modell und die Kontextgröße
• Die Anzahl der gleichzeitigen Benutzer
• Ob die KI direkt auf dem NAS oder auf einem anderen lokalen Gerät läuft
• Ob die Software den ausgewählten Beschleuniger nutzen kann

Die wichtigste Regel ist einfach: Beginnen Sie mit der Arbeitslast und dimensionieren Sie CPU, Speicher, Beschleunigung, Speicher, Netzwerk und Kühlung entsprechend dieser Arbeitslast.

Wovon hängen die Anforderungen an AI-Server tatsächlich ab?

Ein AI NAS erfüllt zwei verschiedene Aufgaben gleichzeitig. Es muss ein zuverlässiges Speichersystem bleiben und gleichzeitig die darauf gespeicherten Daten verarbeiten.

Ein traditionelles NAS kann hauptsächlich folgende Aufgaben übernehmen:

• Dateifreigabe
• Computer- und Telefon-Backups
• Snapshots und Versionsverlauf
• Medienlagerung und Streaming
• Benutzerberechtigungen
• Fernzugriff

Ein KI-bewusstes System kann hinzufügen:

• OCR und Dokumentenparsing
• Fotoerkennung
• Objekterkennung
• Spracherkennung
• Embedding-Generierung
• Vektor- und Hybridsuche
• Privates RAG
• Lokale LLM-Inferenz

Der Unterschied zwischen diesen beiden Rollen wird weiter erklärt in AI NAS-Hardware im Vergleich zu traditionellen NAS-Anforderungen .

Arbeitslasttyp

Verschiedene KI-Aufgaben belasten unterschiedliche Teile des Systems.

Hintergrund- vs. Echtzeitverarbeitung

Hintergrundarbeitslasten können langsamere Hardware tolerieren, da sie über Nacht oder während Zeiten geringer Speicheraktivität laufen können.

Beispiele sind:

• Durchsuchen einer neuen Fotobibliothek
• Erzeugen von Miniaturansichten
• Ausführen von OCR bei eingehenden Scans
• Erstellung von Einbettungen
• Aktualisierung von Dokumentenindizes

Echtzeit-Arbeitslasten erfordern geringere Latenz und nachhaltigere Leistung.

Beispiele sind:

• Objekterkennung bei Sicherheitskameras
• Interaktiver lokaler LLM-Chat
• Live-Transkription
• Mehrere gleichzeitige RAG-Benutzer
• Echtzeit-multimodale Inferenz

Ein NAS kann Hintergrundindexierung erfolgreich auf bescheidener Hardware ausführen, während es für interaktive LLM-Inferenz eine schlechte Erfahrung bietet. Die Dringlichkeit der Verarbeitung ist daher ebenso wichtig wie die Aufgabe selbst.

Modell- und Bibliotheksgröße

Der Hardwarebedarf wächst in zwei unabhängigen Dimensionen:

1. Die Größe des KI-Modells
2. Die Größe der zu indexierenden Datenbibliothek

Ein kleines Modell kann dennoch eine hohe Arbeitslast erzeugen, wenn es Millionen von Bildern, Hunderttausende von Dokumenten oder Jahre an Videos verarbeiten muss.

Ein großes Modell kann hohen Speicherbedarf erzeugen, selbst wenn die Dokumentensammlung klein ist.

Planen Sie für beides:

• Modell-Dateien
• Kontext- und Laufzeitspeicher
• Anwendungsdatenbanken
• Miniaturansichten und Vorschauen
• OCR-Ausgabe
• Einbettungen und Vektorindizes
• Temporäre Verarbeitungsdateien
• Wachstum der ursprünglichen Datenbibliothek

Anzahl der Benutzer und parallele Anfragen

Ein System, das eine Person gelegentlich bedient, hat andere Anforderungen als ein gemeinsamer Dienst, der mehrere gleichzeitige Anfragen verarbeitet.

Die offizielle Ollama-Speicher- und Nebenläufigkeitsdokumentation erklärt, dass das gleichzeitige Laden von Modellen vom verfügbaren System-RAM oder VRAM abhängt. Sie weist auch darauf hin, dass parallele Anfragen die effektive Kontextzuweisung erhöhen und dass der benötigte Speicher mit parallelen Anfragen und Kontextlänge skaliert.

Das bedeutet, dass die Größe eines lokalen Modells nicht nur anhand seiner Download-Größe bemessen werden kann. Das System benötigt auch Speicher für:

• Laufzeit-Overhead
• Kontext und KV-Cache
• Parallele Anfragen
• Zusätzlich geladene Modelle
• NAS-Dienste und Container

KI auf dem NAS vs. separate Berechnung

Das Ausführen von KI direkt auf dem NAS reduziert Datenbewegungen und kann speichernahe Workflows vereinfachen. Die Trennung der KI-Berechnung gibt den Nutzern mehr Freiheit, GPUs, Speicher, Kühlung und Modelllaufzeiten unabhängig voneinander aufzurüsten.

Führen Sie die Arbeitslast direkt auf dem NAS aus, wenn sie:

• Eng mit gespeicherten Dateien verbunden ist
• Leicht oder moderat
• Meistens Hintergrundverarbeitung ist
• Vom NAS-Betriebssystem und den Anwendungen unterstützt wird
• Wahrscheinlich keine Störung von Backup- und Dateidiensten verursacht

Erwägen Sie einen separaten KI-Server, wenn die Arbeitslast:

• GPU-intensiv
• Echtzeit
• Mehrbenutzerbetrieb
• Häufig aktualisiert oder experimentell
• Zu heiß, laut oder stromhungrig für das NAS

Drei praktische KI-NAS-Hardware-Stufen

Die folgenden Stufen sind Planungsprofile und keine universellen Mindestanforderungen von Anbietern. Tatsächliche Anforderungen variieren je nach Anwendung, Modell, Kontextlänge, Quantisierung, Datenvolumen und Benutzer-Gleichzeitigkeit.

Stufe 1: Speicherorientierte KI und Hintergrundindizierung

Diese Stufe ist geeignet, wenn Speicher die Hauptverantwortung bleibt und KI als Hintergrundverbesserung läuft.

Typische Arbeitslasten umfassen:

• OCR für gescannte Dokumente
• Grundlegende Dokumentenklassifikation
• Metadatenextraktion
• Leichtes Foto-Tagging
• Kleine Einbettungsaufgaben
• Gelegentliche lokale Abfragen

Eine dedizierte GPU ist möglicherweise nicht erforderlich. CPU-Verarbeitung kann akzeptabel sein, wenn Benutzer bereit sind, auf Hintergrundaufgaben zu warten.

Wichtige Prioritäten sind:

• Genügend RAM für Anwendungen und Datenbanken
• Eine SSD- oder NVMe-Stufe für aktive Anwendungsdaten
• Zuverlässige HDD-Kapazität für Quelldateien
• Stabiles Speicher- und Backup-Verhalten

Stufe 2: Integrierte lokale KI und private RAG

Diese Stufe eignet sich für Benutzer, die mehrere KI-bewusste Anwendungen auf demselben System ausführen.

Beispiele sind:

• Fotoerkennung und semantische Mediensuche
• Private Dokumentensuche
• Lokales RAG
• Vektordatenbanken
• Mehrere Docker-Anwendungen
• Leichte lokale LLMs

Auf dieser Ebene bieten 32 GB RAM mehr Spielraum für Datenbanken, Indizes, Anwendungscontainer, Caching, Dateidienste und lokale Generierung.

Die Hardware-Unterschiede zwischen lokaler Foto-KI und Dokumenten-RAG-Arbeitslasten sind wichtig, da visuelle Indizierung und private Dokumentenabrufe unterschiedliche Anforderungen an CPU, Speicher, Speicherplatz und Beschleunigung stellen.

Stufe 3: Intensive Inferenz und Multi-User-KI

Diese Stufe ist näher an einem dedizierten lokalen KI-Server als an einem herkömmlichen stromsparenden NAS.

Typische Arbeitslasten umfassen:

• Größere lokale Sprachmodelle
• Langzeit-Kontext-Dokumentenanalyse
• Mehrere gleichzeitige Benutzer
• Echtzeit-Erkennung mit mehreren Kameras
• Multimodale Modelle
• Bildgenerierung
• Mehrere Modelle, die gleichzeitig geladen sind

Benutzer sollten planen für:

• Mehr Systemspeicher (RAM)
• Ausreichend VRAM oder einheitlicher Speicher
• Starke Kühlung
• Höherer Stromverbrauch
• Schneller NVMe-Speicher
• Mehr Trennung zwischen KI-Berechnung und Kern-NAS-Diensten

Ein Vergleich von gebrauchtem Server, Mini-PC und NAS für lokale AI-Workloads kann helfen zu bestimmen, ob ein speicherorientiertes Gehäuse weiterhin die richtige Rechenplattform ist.

Wie viel Speicher benötigt ein AI-NAS?

Speicher ist oft die erste Grenze, auf die Nutzer stoßen, da AI-NAS-Workloads mehrere verschiedene Speicherpools beanspruchen.

Die nützlichste Planungsformel lautet:

Praktischer Speicherbedarf = Modellgewichte + Laufzeit-Overhead + Kontext-Cache + Parallele Anfragen + Datenbanken und Indizes + NAS- und Container-Spielraum

System-RAM, VRAM und Unified Memory sind unterschiedlich

Systems RAM wird auch bei GPU-Inferenz benötigt. Das NAS-Betriebssystem, Dateidienste, Datenbanken, Container, Indizes und Hintergrundanwendungen nutzen weiterhin Systemspeicher.

VRAM bestimmt, wie viel eines Modells auf der GPU verbleiben kann und wie viel Platz für Kontext und parallele Anfragen verfügbar ist.

Unified Memory kann die starre Trennung zwischen Systemspeicher und VRAM verringern, bleibt aber durch Gesamtkapazität, Bandbreite, Softwareunterstützung und thermisches Verhalten begrenzt.

Warum die Modellgröße nur der Ausgangspunkt ist

Eine Modelldatei, die scheinbar in den verfügbaren Speicher passt, benötigt möglicherweise zusätzlichen Spielraum für:

• Laufzeitbibliotheken
• Temporäre Puffer
• Kontext und KV-Cache
• Prompt-Verarbeitung
• Parallele Anfragen
• Andere geladene Modelle
• Das Betriebssystem und Anwendungen

Ollama kann melden, ob ein Modell vollständig auf der GPU, vollständig im Systemspeicher oder zwischen CPU und GPU aufgeteilt geladen ist. Die Dokumentation erklärt auch, dass mehrere Modelle nur geladen bleiben können, wenn ausreichend Speicher verfügbar ist. Ollama Modell-Lade- und Speicherverhalten liefert die relevanten Laufzeitdetails.

Kontextlänge, KV-Cache und Gleichzeitigkeit

Längere Kontextfenster erhöhen den Speicherbedarf, da die Laufzeit mehr Aufmerksamkeitszustand speichern muss.

Parallele Benutzer erhöhen den Bedarf erneut. Ein Server, der mehrere gleichzeitige Anfragen bearbeitet, kann deutlich mehr Kontextspeicher zuweisen als ein Ein-Benutzer-System.

Beim Planen lokaler LLM-Hardware testen:

• Die tatsächlich benötigte Kontextlänge
• Die Anzahl der gleichzeitigen Benutzer
• Die Anzahl der geladenen Modelle
• Ob GPU-Inferenz vollständigen VRAM-Besitz erfordert
• Ob KV-Cache-Quantisierung unterstützt wird

Was 16GB, 32GB und 64GB+ realistisch unterstützen können

Diese Bereiche sind keine Garantien. Eine gut optimierte Anwendung kann weniger benötigen, während eine große Bibliothek, langer Kontext, mehrere Dienste oder mehrere Benutzer mehr erfordern können.

Quantisierung und CPU-GPU-Auslagerung

Quantisierung reduziert den Speicherbedarf des Modells, indem Gewichte mit geringerer Präzision gespeichert werden. Der Kompromiss kann eine verringerte Genauigkeit oder Leistungsänderungen sein, abhängig vom Modell und dem Quantisierungsformat.

llama.cpp CPU-GPU-Hybridinferenz kann Modelle, die größer als die gesamte VRAM-Kapazität sind, teilweise beschleunigen, indem die Arbeit zwischen CPU und GPU aufgeteilt wird.

Dies erweitert die Kompatibilität, sollte aber nicht als gleichwertig mit dem Laden des kompletten Modells in den schnellen GPU-Speicher betrachtet werden. Das Auslagern kann die Geschwindigkeit verringern, da Daten über Speicher- und Busgrenzen hinweg bewegt werden müssen.

Welche CPU benötigt ein AI-NAS?

CPU-Verantwortlichkeiten über die KI-Inferenz hinaus

Die CPU koordiniert das gesamte System, auch wenn eine GPU, NPU, iGPU oder TPU einen Teil der Inferenzlast übernimmt.

Die CPU kann folgende Aufgaben übernehmen:

• NAS-Dateidienste
• Verschlüsselung
• Container-Orchestrierung
• Datenbankoperationen
• Dokumentanalyse
• Bildvorverarbeitung
• Mediendekodierung
• Metadatenextraktion
• Netzwerkverkehr
• Datenzufuhr zu Beschleunigern

Ein leistungsstarker Beschleuniger kann unterfordert bleiben, wenn die CPU Daten nicht schnell genug vorbereiten, dekodieren oder liefern kann.

Gemischte NAS- und Container-Arbeitslasten

AI-NAS-Systeme führen oft mehrere Dienste gleichzeitig aus:

• SMB- oder NFS-Dateifreigabe
• Backup-Aufgaben
• Medienserver
• Fotoanwendungen
• Dokumentdatenbanken
• Vektorsuche
• Modell-Laufzeiten

Mehrere Kerne und Threads bieten mehr Spielraum für die Planung dieser gemischten Arbeitslasten. Die Anzahl der Kerne allein reicht jedoch nicht aus. Auch Architektur, Befehlssatzunterstützung, Taktverhalten, Video-Engines, Leistungsgrenzen und Softwarekompatibilität sind wichtig.

Bevor Sie Hardware auswählen, stimmen Sie das Betriebssystem auf die beabsichtigte Mischung aus Speicher und Anwendungen ab. Die Anforderungen an das Home-Server-Betriebssystem für NAS- und Docker-Anwendungen erklären, warum speicherorientierte, anwendungsorientierte und virtualisierungsorientierte Systeme die Hardware unterschiedlich priorisieren.

Wann CPU-only AI praktisch ist

CPU-only-Verarbeitung kann praktisch sein, wenn:

• Die Arbeitslast läuft im Hintergrund.
• Die Dateibibliothek ist überschaubar.
• Das Modell ist klein oder stark quantisiert.
• Latenz ist nicht kritisch.
• Nur ein Nutzer führt gelegentliche Anfragen aus.

CPU-only-Setups werden weniger attraktiv, wenn Nutzer erwarten:

• Schnelle interaktive LLM-Antworten
• Mehrere gleichzeitige Nutzer
• Echtzeitanalyse von Videos
• Große multimodale Modelle
• Hochvolumige Einbettungserzeugung

Braucht ein AI NAS eine NPU, TPU, iGPU oder GPU?

Ein AI NAS benötigt nicht automatisch eine diskrete GPU. Es braucht einen Beschleuniger nur, wenn dieser die Zielanwendung verbessert.

Hardware-Videodekodierung und AI-Erkennung sind unterschiedlich

Kamera-Arbeitslasten zeigen, warum eine einzelne Beschleunigerspezifikation das gesamte System nicht beschreiben kann.

Eine Kamera-AI-Pipeline kann Folgendes umfassen:

1. Empfangen des Netzwerkstreams
2. Dekodieren des Videos
3. Ausführen der Bewegungserkennung
4. Vorbereiten von Frames
5. Ausführen der Objekterkennung
6. Aufzeichnung von Aufnahmen und Ereignismetadaten

Die Videodekodierung kann auf einer iGPU oder Medienengine laufen, während die Objekterkennung auf einem anderen Detektor erfolgt.

Die Frigate-Detektor- und Hardware-Support-Matrix dokumentiert mehrere Beschleunigungspfade und erklärt, dass ein unterstützter Detektor die Erkennungsverzögerung und CPU-Auslastung reduzieren kann.

Warum Softwareunterstützung wichtiger ist als TOPS

TOPS ist eine theoretische Rechenmetrik. Sie beweist nicht, dass die Anwendungen des Nutzers die Hardware nutzen können.

Vor dem Kauf eines Beschleunigers überprüfen:

• Betriebssystemunterstützung
• Treiberverfügbarkeit
• Container-Passthrough
• Laufzeitkompatibilität
• Unterstützte Modellformate
• Integration auf Anwendungsebene
• Dokumentierte Leistung für die tatsächliche Arbeitslast

Die bessere Hardwarewahl ist oft der Beschleuniger mit ausgereifter Anwendungsunterstützung, nicht der mit der größten beworbenen Zahl.

Wie sollte ein AI NAS HDD- und NVMe-Speicher aufteilen?

HDDs für Quelldaten und Kapazität

HDDs bleiben geeignet für:

• Foto- und Videobibliotheken
• Dokumentenarchive
• Sicherheitskameramitschnitte
• Backups
• Große Datensätze
• Langfristige Quelldateien

Sie bieten geringere Kosten pro Terabyte und ermöglichen es einem KI-NAS, große private Archive zu erhalten, ohne einen reinen Flash-Speicherpool zu benötigen.

NVMe für Apps, Modelle, Datenbanken und Indizes

Aktive KI-Anwendungsdaten profitieren meist von geringerer Latenz.

NVMe-Speicher ist nützlich für:

• Container-Volumes
• Anwendungsdatenbanken
• KI-Modelle
• Miniaturansichten
• OCR-Ausgabe
• Einbettungsdatenbanken
• Vektorindizes
• Temporäre Verarbeitungsdateien
• Cache

Das Ausführen aller aktiven Dienste direkt von einem mechanischen Laufwerksarray kann das System langsam wirken lassen, selbst wenn CPU- und GPU-Ressourcen verfügbar sind.

Speicher-Overhead durch KI-Anwendungen

KI-bewusste Anwendungen erzeugen mehr Daten als die ursprüngliche Dateibibliothek allein.

Planen Sie Kapazitäten für:

• Vorschaubilder
• Miniaturansichten
• Gesichtsdaten
• OCR-Text
• Transkripte
• Indizes
• Einbettungen
• Modell-Dateien
• Anwendungsprotokolle

Bestimmen Sie, welche abgeleiteten Daten gesichert werden müssen und welche aus geschützten Quelldateien neu generiert werden können.

Wie schnell sollte das Netzwerk sein?

Die Netzwerkgeschwindigkeit beschleunigt ein Modell, das im NAS läuft, nicht direkt. Sie beeinflusst, wie schnell Quelldateien, Datensätze, Modelle und Ergebnisse zwischen Speicher, Benutzern und externer Berechnung übertragen werden.

Wann 1GbE ausreicht

1GbE kann ausreichend bleiben, wenn:

• KI-Verarbeitung läuft direkt auf dem NAS.
• Die meisten Aufgaben laufen im Hintergrund.
• Nur ein oder zwei Benutzer greifen auf das System zu.
• Große Quelldateien werden nicht häufig verschoben.

Wann 2,5GbE ein nützliches Upgrade ist

2,5GbE bietet mehr Spielraum für:

• Große Fotoimporte
• Schnellere lokale Backups
• Mehrere aktive Benutzer
• Große Mediendateien
• Verschieben von Modell-Dateien

Es ist eine nützliche mittlere Ebene, sollte aber nicht als universelles Minimum für jedes KI-NAS betrachtet werden.

Wann 10GbE für externe KI-Berechnung wichtig ist

10GbE wird relevanter, wenn das NAS wiederholt Daten an eine andere Maschine liefert.

Beispiele sind:

• Ein GPU-Server liest private RAG-Dokumente
• Eine Workstation verarbeitet Videos, die auf dem NAS gespeichert sind
• Mehrere Benutzer bearbeiten große Mediendateien
• Hochgeschwindigkeits-Backups auf einen anderen lokalen Server
• NVMe-gestützte gemeinsame Datensätze

Hardwareanforderungen nach KI-Arbeitslast

OCR und Dokumentenindexierung

Dokumenten-Workflows sind meist batch-orientiert. Die wichtigsten Anforderungen sind oft:

• Eine leistungsfähige CPU
• Genügend RAM für mehrere Container und Datenbanken
• Schneller aktiver Speicher
• Zuverlässige Quell-Dateispeicherung

Der Paperless-ngx Dokumentenaufnahme- und OCR-Workflow veranschaulicht, wie die Dokumentenverarbeitung Verbrauch, OCR, Metadaten, Indexierung und die Aufbewahrung der Originaldatei umfasst.

Fotoerkennung

Foto-KI erzeugt eine hohe Anfangsverarbeitung, benötigt aber möglicherweise keine Echtzeitreaktionen. CPU und RAM übernehmen Anwendungsdienste, während optionale Beschleunigung Gesichts-, Objekt- oder visuelle Embedding-Aufgaben verbessern kann.

Die Immich Smart Search und Medienindexierungsfunktionen zeigen, wie kontextuelle Suche, OCR-Text, erkannte Personen, Metadaten, Standort, Datum und Kamerainformationen Teil eines Suchsystems werden können.

Lokales RAG und semantische Suche

Lokales RAG ist eine Pipeline, kein einzelnes Modell. Hardware kann benötigt werden für:

• Dokumentextraktion
• Chunking
• Embedding-Generierung
• Vektorspeicherung
• Abruf
• Neu-Ranking
• Lokale Antwortgenerierung

Embedding und Indexierung können im Hintergrund laufen, während die Antwortgenerierung interaktiv ist. Benutzer können daher die Suche lokal ausführen und nur die schwerere Generierungsphase bei Bedarf auf eine andere Maschine verlagern.

Sicherheitskamera-Erkennung

Kamera-KI ist eine der anspruchsvollsten Always-on-Workloads, da sie kombiniert:

• Mehrere kontinuierliche Netzwerkstreams
• Videodekodierung
• Bewegungsanalyse
• Objekterkennung
• Ereignismetadaten
• Kontinuierliche Speicherbeschreibungen

Kamerazahl, Auflösung, Bildrate, Substream-Konfiguration, Modelltyp und Aufbewahrungsdauer können wichtiger sein als eine generische GPU-Spezifikation.

Lokale LLMs und Mehrbenutzer-Inferenz

Interaktive lokale LLM-Workloads sind hauptsächlich begrenzt durch:

• Modellspeicher
• Kontextlänge
• Speicherbandbreite
• Parallele Anfragen
• GPU- oder Unified-Memory-Kapazität

Ein kleines Modell für einen Benutzer kann auf moderater Hardware laufen. Ein größeres Modell, das mehrere Benutzer bedient, kann einen deutlich stärkeren Rechenknoten erfordern.

Soll KI auf dem NAS oder auf einem separaten KI-Server laufen?

Führen Sie speichernahe Hintergrundaufgaben auf dem NAS aus

Aufgaben, die natürlich in der Nähe gespeicherter Daten liegen, umfassen:

• Fotoindexierung nach Backup
• OCR für neue gescannte Dateien
• Metadatenextraktion
• Dokument-Embedding-Updates
• Thumbnail-Erstellung
• Leichte Klassifizierung

Diese Arbeitslasten profitieren von direktem Dateizugriff und können oft im Hintergrund ohne Workstation-Hardware ausgeführt werden.

Schwere, heiße oder häufig aktualisierte Arbeitslasten trennen

Ein separater KI-Server ist attraktiver für:

• Größere lokale LLMs
• Bildgenerierung
• Mehrere Kamerastreams
• Mehrbenutzer-Inferenz
• Häufig wechselnde Modelle und Treiber
• Hardware, die erhebliche Wärme und Geräusche erzeugt

Die Entscheidung zur Arbeitslastplatzierung wird ausführlicher behandelt in GPU- und externe KI-Server-Anforderungen für NAS-Arbeitslasten .

Speicher zuverlässig halten, wenn KI-Dienste ausfallen

Ein geteiltes Design kann verhindern, dass ein experimentelles Modellruntime- oder GPU-Treiber-Update den Primärspeicher beeinträchtigt.

Das NAS kann weiterhin verantwortlich sein für:

• Originaldateien
• Benutzerberechtigungen
• Snapshots
• Backups
• Anwendungsdatenbankkopien

Der KI-Server kann weiterhin verantwortlich sein für:

• Modellinferenz
• GPU-Treiber
• Embedding-Aufgaben
• Experimentelle Container
• Schwere Kameraerkennung

Was Hardware-Spezifikationen nicht verraten

Accelerator-Unterstützung hängt von der Software ab

Ein Datenblatt kann nicht bestätigen, ob eine Anwendung unterstützt:

• Den ausgewählten Treiber
• Das Betriebssystem
• Die Container-Laufzeit
• Das Modellformat
• Die Accelerator-API
• Die genaue Hardwaregeneration

Überprüfen Sie die aktuelle Kompatibilitätsdokumentation der Anwendung, bevor Sie annehmen, dass eine GPU, NPU oder TPU verwendet wird.

TOPS misst nicht den kompletten Arbeitsablauf

TOPS beschreibt nicht:

• Verfügbarer Speicher
• Speicherbandbreite
• Modellkompatibilität
• Datenbankleistung
• Videodekodierung
• Speicherlatenz
• Netzwerkdurchsatz
• Anwendungsqualität

Ein ausgewogenes System mit unterstützter Software kann ein Gerät mit höherer TOPS-Leistung übertreffen, das die erforderliche Arbeitslast nicht effizient ausführen kann.

Ein leistungsstarker KI-Server kann trotzdem ein schlechtes NAS sein

Ein Gaming-PC oder eine Workstation kann zwar eine hervorragende Inferenzleistung bieten, aber dennoch fehlen:

• Effizienter Dauerbetrieb
• Bequeme Laufwerkserweiterung
• Speicherpool-Verwaltung
• Leiser Kühlung
• Backup-Integration
• Vorhersehbare Dateiberechtigungen

Im Gegensatz dazu kann ein stromsparendes NAS für Speicher hervorragend, aber für schwere lokale KI ungeeignet sein.

Verwenden Sie die Checkliste für Engpässe bei Rechenleistung, Speicher, Speicherplatz und Netzwerk , um zu identifizieren, welcher Teil des Systems den tatsächlichen Arbeitsablauf einschränkt.

KI-NAS-Hardware-Kaufcheckliste

1. Definieren Sie die genaue Arbeitslast.

   Geben Sie an, ob das System OCR, Fotoindexierung, Kameraerkennung, RAG, einen Chatbot, Bildgenerierung oder eine andere Aufgabe ausführen wird.

2. Entscheiden Sie, ob die Verarbeitung im Hintergrund oder in Echtzeit erfolgt.

   Hintergrundaufgaben können langsamere Hardware tolerieren. Echtzeitdienste erfordern eine höhere Dauerleistung.

3. Schätzen Sie die Größe der Datenbibliothek ab.

   Berücksichtigen Sie Originaldateien, Thumbnails, OCR-Ausgaben, Datenbanken, Indizes, Modelle und zukünftiges Wachstum.

4. Schätzen Sie den Modell-Speicherbedarf und den Kontext ab.

   Berücksichtigen Sie Laufzeit-Overhead, KV-Cache, parallele Benutzer und andere Anwendungen.

5. Verifizieren Sie die Softwareunterstützung für den Beschleuniger.

   Überprüfen Sie Treiber, Container-Passthrough, Laufzeitunterstützung und Modellformate.

6. Trennen Sie HDD-Kapazität vom aktiven NVMe-Speicher.

   Schützen Sie Quelldaten auf der Kapazitätsebene und platzieren Sie aktive Datenbanken und Modelle auf schnellem Speicher.

7. Wählen Sie das Netzwerk entsprechend der Architektur.

   1GbE kann für lokale Verarbeitung ausreichen; 10GbE wird relevanter, wenn die AI-Rechenleistung getrennt ist.

8. Schützen Sie die Zuverlässigkeit des NAS.

   Stellen Sie sicher, dass Indizierung und Inferenz Backups, Aufnahmen, Dateizugriff oder Speicherintegrität nicht stören.

9. Planen Sie Stromversorgung, Kühlung und Geräuschentwicklung.

   Bewerten Sie sowohl die Leerlaufeffizienz als auch die anhaltende AI-Last.

10. Entscheiden Sie, ob ein externer Rechenknoten leichter aufzurüsten ist.

    Zwingen Sie keine schwere Inferenz in das NAS, wenn eine geteilte Architektur praktischer ist.

Fazit

Die Hardwareanforderungen für AI-NAS lassen sich nicht auf eine minimale CPU, eine RAM-Größe oder eine GPU-Empfehlung reduzieren.

Das richtige System hängt von der Arbeitslast ab:

• OCR und leichte Indizierung können auf einer leistungsfähigen CPU mit 16 GB RAM und schnellem Anwendungspeicher ausgeführt werden.
• Fotoerkennung, Dokumenten-RAG und mehrere Container profitieren von mehr RAM und einer NVMe-Arbeitsebene.
• Lokale LLMs, Multi-Kamera-KI, langer Kontext und mehrere Benutzer können eine diskrete GPU, mehr Speicher, stärkere Kühlung und separate Rechenleistung erfordern.

System-RAM, VRAM und einheitlicher Speicher lösen unterschiedliche Probleme. Modellgewichte sind nur ein Teil des Speicherbedarfs; Kontext, Gleichzeitigkeit, Datenbanken, Indizes und NAS-Dienste benötigen ebenfalls Kapazität.

HDDs bleiben für geschützte Quelldaten nützlich, während NVMe besser für aktive Anwendungen, Modelle, Caches und Indizes geeignet ist. Die Netzwerkgeschwindigkeit sollte dem Datenvolumen entsprechen, das zwischen dem NAS und einem externen AI-Server übertragen wird.

Das beste AI-NAS ist nicht das System mit der größten GPU oder der höchsten TOPS-Bewertung. Es ist das System, das die vorgesehene Arbeitslast zuverlässig ausführt, ohne Speicher, Backups, Energieeffizienz oder Wartbarkeit zu beeinträchtigen.

FAQ

Was ist eine praktische Startkonfiguration für ein AI-NAS?

Eine moderne Multi-Core-CPU, 16 GB RAM, HDD-Speicher für Quelldateien, eine SSD- oder NVMe-Ebene für Anwendungen und Indizes sowie 1GbE- oder 2,5GbE-Netzwerk können ein praktischer Ausgangspunkt für leichte Hintergrundaufgaben sein.

Dies ist kein universelles Minimum. Schwerere Anwendungen können mehr RAM, Beschleunigung, Speicherleistung oder separate Rechenleistung erfordern.

Kann ich KI auf einem NAS ohne dedizierte GPU ausführen?

Ja. OCR, Dokumentenindizierung, Metadatenextraktion, kleine Einbettungen und Hintergrund-Fotobearbeitung können auf CPU-Hardware ausgeführt werden.

Eine GPU wird nützlicher für lokale LLMs, multimodale Modelle, Bildgenerierung, hochvolumige Inferenz und mehrere gleichzeitige Nutzer.

Reichen 16GB RAM für ein AI-NAS?

16GB können für einige Container, leichte OCR, Metadatenextraktion und Hintergrundindexierung ausreichen.

Es kann einschränkend werden, wenn das System auch große Fotobibliotheken, Dokument-RAG, Vektordatenbanken, Virtualisierung, lokale Modelle oder mehrere gleichzeitige Dienste betreibt.

Wann sollte ich 32GB RAM wählen?

32GB sind ein besseres Ziel, wenn mehrere AI-fähige Anwendungen, größere Indizes, private RAG, Fotoerkennung, Datenbanken und leichte lokale Generierung auf demselben System laufen.

Wann macht 64GB oder mehr RAM Sinn?

64GB oder mehr werden relevant für größere Indizes, Virtualisierung, mehrere Nutzer, Langzeit-Kontext-Workflows, CPU- oder Unified-Memory-Inferenz und mehrere AI-Dienste.

Wie viel VRAM braucht ein lokales LLM?

Der VRAM-Bedarf hängt von Modellarchitektur, Quantisierung, Kontextlänge, KV-Cache, Laufzeit-Overhead und Parallelität ab.

Nutze die Ziel-Laufzeitumgebung, um den Gesamtspeicherbedarf abzuschätzen, statt nur auf Parameteranzahl oder Modell-Downloadgröße zu vertrauen.

Reicht eine NPU für lokale LLMs?

Meist nicht für schwerere allgemeine lokale LLM-Aufgaben. NPUs eignen sich oft besser für effiziente unterstützte Inferenz, Vision, Klassifikation oder Hintergrundaufgaben.

Die Softwarekompatibilität bestimmt, ob eine NPU praktischen Nutzen bringt.

Sollten AI-NAS-Anwendungen von HDDs oder NVMe laufen?

Originalmedien, Dokumente, Aufnahmen und Backups können auf HDD-Speicher bleiben. Modelle, Container, Datenbanken, Thumbnails, Cache, Embeddings und Indizes sind meist besser auf SSD- oder NVMe-Speicher aufgehoben.

Braucht ein AI-NAS 10GbE?

Nein. 1GbE kann ausreichen, wenn AI direkt auf dem NAS läuft und große Dateien nicht häufig bewegt werden.

10GbE wird nützlicher für externe AI-Server, NVMe-gestützte gemeinsame Daten, große Medien-Workflows und mehrere aktive Nutzer.

Macht schnelleres Netzwerk lokale LLM-Inferenz schneller?

Nicht, wenn Modell und Daten bereits auf derselben Maschine sind. Das Netzwerk beeinflusst hauptsächlich die Datenbewegung zwischen NAS, Benutzern, Arbeitsstationen und externen Rechenknoten.

Sollte schwere AI-Inferenz außerhalb des NAS laufen?

Oft ja. Größere Modelle, Bildgenerierung, Mehrbenutzer-Inferenz und kontinuierliche Kamera-KI lassen sich auf einem separaten Server leichter aufrüsten und kühlen.

Das NAS kann weiterhin für zuverlässigen Speicher, Berechtigungen, Snapshots und Backups verantwortlich sein.

Was ist der größte Hardwarefehler bei AI-NAS?

Der häufigste Fehler ist, ein beeindruckendes Einzelteil zu kaufen, ohne den Rest der Pipeline zu überprüfen.

Eine starke GPU kann unzureichenden RAM, langsamen aktiven Speicher, nicht unterstützte Software, schwache Kühlung oder unzuverlässiges Speicherdesign nicht ausgleichen.

Referenzen

• FAQ - Ollama
• ggml-org/llama.cpp - LLM-Inferenz in C/C++
• Empfohlene Hardware - Frigate
• Grundlegende Nutzung - Paperless-ngx
• Suche - Immich