Requisiti hardware per NAS AI: CPU, RAM, GPU, archiviazione e rete

Risposta rapida

I requisiti hardware AI NAS dipendono dal carico di lavoro, non solo dall'etichetta AI NAS. Un sistema che esegue OCR in background o indicizzazione foto ha un profilo hardware molto diverso da uno che esegue LLM locali, rilevamento camera in tempo reale, RAG a lungo contesto o inferenza multi-utente.

Per molti carichi di lavoro AI orientati allo storage, una configurazione di partenza pratica è:

• Una CPU moderna multi-core
• 16GB di RAM di sistema
• Storage HDD per file sorgente protetti e capacità di massa
• Un livello SSD o NVMe per applicazioni, database, miniature, indici e modelli
• Rete 1GbE o 2.5GbE, a seconda della dimensione dei file e del numero di utenti
• Accelerazione opzionale iGPU, NPU, TPU o GPU quando il software target la supporta

Sistemi più esigenti possono necessitare di 32GB fino a 64GB o più di RAM, capacità NVMe maggiore, GPU discreta o memoria unificata ad alta capacità, raffreddamento più potente e rete 10GbE quando il calcolo AI avviene su un server separato.

Non esiste una specifica minima universale per ogni AI NAS. La configurazione corretta dipende da:

• Il compito AI
• La dimensione della libreria di file
• Se l'elaborazione è in tempo reale o in background
• Il modello e la dimensione del contesto
• Il numero di utenti concorrenti
• Se l'AI gira direttamente sul NAS o su un'altra macchina locale
• Se il software può utilizzare l'acceleratore selezionato

La regola più importante è semplice: partire dal carico di lavoro, poi dimensionare CPU, memoria, accelerazione, storage, rete e raffreddamento in base a quel carico.

Da cosa dipendono realmente i requisiti di un server AI?

Un AI NAS svolge due lavori diversi contemporaneamente. Deve rimanere un sistema di storage affidabile mentre elabora anche i dati memorizzati.

Un NAS tradizionale può gestire principalmente:

• Condivisione file
• Backup di computer e telefoni
• Snapshot e cronologia versioni
• Storage e streaming media
• Permessi utente
• Accesso remoto

Un sistema consapevole dell'AI può aggiungere:

• OCR e analisi documenti
• Riconoscimento foto
• Rilevamento oggetti
• Trascrizione vocale
• Generazione di embedding
• Ricerca vettoriale e ibrida
• RAG privato
• Inferenza LLM locale

La differenza tra questi due ruoli è spiegata più dettagliatamente in Hardware AI NAS rispetto ai requisiti NAS tradizionali.

Tipo di carico di lavoro

Compiti AI diversi stressano parti diverse del sistema.

Elaborazione in background vs in tempo reale

I carichi di lavoro in background possono tollerare hardware più lento perché possono essere eseguiti durante la notte o in periodi di bassa attività di storage.

Esempi includono:

• Scansione di una nuova libreria fotografica
• Generazione di miniature
• Esecuzione OCR su scansioni in arrivo
• Creazione di embedding
• Aggiornamento degli indici dei documenti

I carichi di lavoro in tempo reale richiedono latenza inferiore e prestazioni più sostenute.

Esempi includono:

• Rilevamento oggetti da telecamere di sicurezza
• Chat LLM locale interattiva
• Trascrizione live
• Diversi utenti RAG simultanei
• Inferenza multimodale in tempo reale

Un NAS può eseguire con successo l’indicizzazione in background su hardware modesto mentre offre un’esperienza scadente per l’inferenza LLM interattiva. L’urgenza dell’elaborazione è quindi importante quanto il compito stesso.

Dimensione del modello e della libreria

La domanda hardware cresce su due dimensioni indipendenti:

1. La dimensione del modello AI
2. La dimensione della libreria dati indicizzata

Un modello piccolo può comunque generare un carico pesante quando deve elaborare milioni di immagini, centinaia di migliaia di documenti o anni di video.

Un modello grande può creare una forte pressione sulla memoria anche quando la raccolta di documenti è piccola.

Pianifica entrambi:

• File modello
• Contesto e memoria di runtime
• Database delle applicazioni
• Anteprime e miniature
• Output OCR
• Embedding e indici vettoriali
• File temporanei di elaborazione
• Crescita della libreria dati originale

Numero di utenti e richieste parallele

Un sistema che serve una persona in modo intermittente ha requisiti diversi da un servizio condiviso che gestisce diverse query simultanee.

La documentazione ufficiale Ollama sulla memoria e concorrenza spiega che il caricamento concorrente dei modelli dipende dalla RAM o VRAM di sistema disponibile. Nota inoltre che le richieste parallele aumentano l’allocazione effettiva del contesto e che la memoria richiesta cresce con le richieste parallele e la lunghezza del contesto.

Ciò significa che dimensionare un modello locale solo in base alla sua dimensione di download è incompleto. Il sistema necessita anche di memoria per:

• Overhead del runtime
• Contesto e cache KV
• Richieste parallele
• Modelli caricati aggiuntivi
• Servizi NAS e container

AI sul NAS vs Calcolo Separato

Eseguire l’AI direttamente sul NAS riduce il movimento dei dati e può semplificare i flussi di lavoro adiacenti allo storage. Separare il calcolo AI offre agli utenti maggiore libertà di aggiornare GPU, memoria, raffreddamento e runtime dei modelli in modo indipendente.

Esegui il carico di lavoro direttamente sul NAS quando è:

• Strettamente collegato ai file archiviati
• Leggero o moderato
• Principalmente elaborazione in background
• Supportato dal sistema operativo e dalle applicazioni del NAS
• Probabilmente non interrompe i servizi di backup e file

Considera un server AI separato quando il carico di lavoro è:

• Intensivo per GPU
• In tempo reale
• Multiutente
• Aggiornato frequentemente o sperimentale
• Troppo caldo, rumoroso o energivoro per il NAS

Tre livelli pratici di hardware AI per NAS

I seguenti livelli sono profili di pianificazione piuttosto che requisiti minimi universali del fornitore. I requisiti effettivi variano in base all'applicazione, modello, lunghezza del contesto, quantizzazione, volume di dati e concorrenza degli utenti.

Livello 1: AI orientata all'archiviazione e indicizzazione in background

Questo livello è appropriato quando l'archiviazione rimane la responsabilità principale e l'AI funziona come miglioramento in background.

I carichi di lavoro tipici includono:

• OCR per documenti scansionati
• Classificazione base dei documenti
• Estrazione di metadati
• Tagging leggero delle foto
• Piccoli lavori di embedding
• Query locali occasionali

Una GPU dedicata potrebbe non essere necessaria. Il processamento CPU può essere accettabile se gli utenti sono disposti ad attendere per i lavori in background.

Priorità importanti sono:

• RAM sufficiente per applicazioni e database
• Un livello SSD o NVMe per dati attivi delle app
• Capacità HDD affidabile per file sorgente
• Comportamento stabile di archiviazione e backup

Livello 2: AI locale integrata e RAG privato

Questo livello è adatto agli utenti che eseguono diverse applicazioni AI sullo stesso sistema.

Esempi includono:

• Riconoscimento foto e ricerca semantica dei media
• Ricerca privata di documenti
• RAG locale
• Database vettoriali
• Più applicazioni Docker
• LLM locali leggeri

A questo livello, 32GB di RAM offrono più spazio per database, indici, container applicativi, caching, servizi file e generazione locale.

Le differenze hardware tra AI locale per foto e carichi di lavoro RAG per documenti sono importanti perché l'indicizzazione visiva e il recupero privato di documenti creano esigenze diverse di CPU, memoria, archiviazione e accelerazione.

Livello 3: Inferenza pesante e AI multi-utente

Questo livello è più vicino a un server AI locale dedicato che a un NAS a basso consumo convenzionale.

I carichi di lavoro tipici includono:

• Modelli linguistici locali più grandi
• Analisi di documenti con contesto esteso
• Più utenti simultanei
• Rilevamento multi-camera in tempo reale
• Modelli multimodali
• Generazione di immagini
• Diversi modelli caricati contemporaneamente

Gli utenti dovrebbero pianificare per:

• Più RAM di sistema
• VRAM sufficiente o memoria unificata
• Raffreddamento potente
• Consumo energetico più elevato
• Archiviazione NVMe veloce
• Maggiore separazione tra calcolo AI e servizi NAS principali

Un confronto tra server usato, mini PC e NAS per carichi di lavoro AI locali può aiutare a determinare se un contenitore orientato allo storage rimane la piattaforma di calcolo giusta.

Quanta memoria serve a un AI NAS?

La memoria è spesso il primo limite che gli utenti incontrano perché i carichi di lavoro AI NAS consumano diversi pool di memoria.

La formula di pianificazione più utile è:

Requisito pratico di memoria = Pesi del modello + Overhead runtime + Cache di contesto + Richieste parallele + Database e indici + Spazio di sicurezza per NAS e container

RAM di sistema, VRAM e memoria unificata sono diverse

La RAM di sistema è necessaria anche quando l'inferenza viene eseguita su GPU. Il sistema operativo NAS, i servizi file, i database, i container, gli indici e le applicazioni in background continuano a utilizzare la memoria di sistema.

La VRAM determina quanto di un modello può rimanere sulla GPU e quanto spazio è disponibile per il contesto e le richieste parallele.

La memoria unificata può ridurre la divisione rigida tra RAM di sistema e VRAM, ma rimane limitata dalla capacità totale, dalla larghezza di banda, dal supporto software e dal comportamento termico.

Perché la dimensione del modello è solo il punto di partenza

Un file modello che sembra adattarsi alla memoria disponibile potrebbe comunque richiedere spazio aggiuntivo per:

• Librerie runtime
• Buffer temporanei
• Contesto e cache KV
• Elaborazione del prompt
• Richieste parallele
• Altri modelli caricati
• Il sistema operativo e le applicazioni

Ollama può segnalare se un modello è caricato interamente sulla GPU, interamente nella memoria di sistema o diviso tra CPU e GPU. La sua documentazione spiega anche che più modelli possono rimanere caricati solo quando è disponibile memoria sufficiente. Comportamento di caricamento modelli e memoria di Ollama fornisce i dettagli rilevanti del runtime.

Lunghezza del contesto, cache KV e concorrenza

Finestre di contesto più lunghe aumentano i requisiti di memoria perché il runtime deve mantenere più stato di attenzione.

Gli utenti paralleli aumentano nuovamente il requisito. Un server che gestisce diverse richieste simultanee può allocare una quantità di memoria per il contesto sostanzialmente maggiore rispetto a un sistema a utente singolo.

Quando si pianifica l'hardware LLM locale, testare:

• La lunghezza effettiva del contesto richiesta
• Il numero di utenti simultanei
• Il numero di modelli mantenuti caricati
• Se l'inferenza GPU richiede la completa residenza in VRAM
• Se la quantizzazione della cache KV è supportata

Cosa possono realisticamente supportare 16GB, 32GB e 64GB+

Questi intervalli non sono garanzie. Un'applicazione ben ottimizzata può usare meno, mentre una libreria grande, un contesto lungo, diversi servizi o più utenti possono richiedere di più.

Quantizzazione e offloading CPU–GPU

La quantizzazione riduce i requisiti di memoria del modello memorizzando i pesi a precisione inferiore. Il compromesso può includere una riduzione della precisione o variazioni nelle prestazioni, a seconda del modello e del formato di quantizzazione.

llama.cpp inferenza ibrida CPU–GPU può accelerare parzialmente modelli più grandi della capacità totale di VRAM dividendo il lavoro tra CPU e GPU.

Questo amplia la compatibilità ma non dovrebbe essere considerato equivalente a caricare il modello completo nella memoria veloce della GPU. L'offloading può ridurre la velocità perché i dati devono attraversare confini di memoria e bus.

Che CPU serve a un AI NAS?

Responsabilità della CPU oltre l'inferenza AI

La CPU coordina l'intero sistema anche quando una GPU, NPU, iGPU o TPU esegue parte del carico di inferenza.

La CPU può gestire:

• Servizi file NAS
• Crittografia
• Orchestrazione dei container
• Operazioni di database
• Parsing dei documenti
• Pre-elaborazione delle immagini
• Decodifica multimediale
• Estrazione di metadati
• Traffico di rete
• Alimentazione dati agli acceleratori

Un acceleratore potente può rimanere sottoutilizzato quando la CPU non riesce a preparare, decodificare o fornire dati abbastanza rapidamente.

Carichi di lavoro misti NAS e container

I sistemi AI NAS spesso eseguono diversi servizi simultaneamente:

• Condivisione file SMB o NFS
• Operazioni di backup
• Server multimediali
• Applicazioni fotografiche
• Database di documenti
• Ricerca vettoriale
• Tempi di esecuzione del modello

Più core e thread offrono maggiore margine di pianificazione per questi carichi di lavoro misti. Tuttavia, il numero di core da solo non è sufficiente. Contano anche l'architettura, il supporto alle istruzioni, il comportamento del clock, i motori video, i limiti di potenza e la compatibilità software.

Prima di scegliere l'hardware, allinea il sistema operativo con la combinazione prevista di archiviazione e applicazioni. I requisiti del sistema operativo per server domestico per applicazioni NAS e Docker spiegano perché i sistemi storage-first, app-first e virtualization-first danno priorità all'hardware in modo diverso.

Quando l’AI solo CPU è pratica

L’elaborazione solo CPU può essere pratica quando:

• Il carico di lavoro gira in background.
• La libreria di file è modesta.
• Il modello è piccolo o fortemente quantizzato.
• La latenza non è critica.
• Solo un utente esegue richieste occasionali.

Le configurazioni solo CPU diventano meno attraenti quando gli utenti si aspettano:

• Risposte rapide e interattive da LLM
• Più utenti simultanei
• Analisi video in tempo reale
• Grandi modelli multimodali
• Generazione di embedding ad alto volume

Un NAS AI ha bisogno di NPU, TPU, iGPU o GPU?

Un NAS AI non necessita automaticamente di una GPU discreta. Serve un acceleratore solo quando questo migliora l’applicazione target.

La decodifica video hardware e il rilevamento AI sono diversi

I carichi di lavoro delle telecamere dimostrano perché una singola specifica di acceleratore non può descrivere il sistema completo.

Una pipeline AI per telecamere può includere:

1. Ricezione del flusso di rete
2. Decodifica del video
3. Esecuzione del rilevamento movimento
4. Preparazione dei frame
5. Esecuzione del rilevamento oggetti
6. Scrittura di registrazioni e metadati degli eventi

La decodifica video può essere eseguita su iGPU o motore multimediale, mentre il rilevamento oggetti su un altro rilevatore.

La matrice di supporto hardware e rilevatori di Frigate documenta molteplici percorsi di accelerazione e spiega che un rilevatore supportato può ridurre la latenza di rilevamento e il carico della CPU.

Perché il supporto software conta più di TOPS

TOPS è una metrica teorica di calcolo. Non dimostra che le applicazioni dell’utente possano utilizzare l’hardware.

Prima di acquistare un acceleratore, verifica:

• Supporto del sistema operativo
• Disponibilità del driver
• Passaggio del container
• Compatibilità a runtime
• Formati modello supportati
• Integrazione a livello applicativo
• Prestazioni documentate per il carico di lavoro effettivo

La scelta hardware migliore è spesso l'acceleratore con supporto applicativo maturo, non quello con il numero pubblicizzato più alto.

Come dovrebbe un NAS AI suddividere lo storage tra HDD e NVMe?

HDD per dati di origine e capacità

Gli HDD rimangono appropriati per:

• Librerie di foto e video
• Archivi di documenti
• Registrazioni di telecamere di sicurezza
• Backup
• Dataset di grandi dimensioni
• File di origine a lungo termine

Offrono un costo per terabyte inferiore e permettono a un AI NAS di conservare grandi archivi privati senza richiedere un pool di archiviazione completamente flash.

NVMe per app, modelli, database e indici

I dati attivi delle applicazioni AI di solito beneficiano di una latenza inferiore.

L'archiviazione NVMe è utile per:

• Volumi dei container
• Database delle applicazioni
• Modelli AI
• Miniature
• Output OCR
• Database di embedding
• Indici vettoriali
• File temporanei di elaborazione
• Cache

Eseguire tutti i servizi attivi direttamente da un array di dischi meccanici può far sembrare il sistema lento anche quando CPU e GPU sono disponibili.

Sovraccarico di archiviazione dovuto ad applicazioni AI

Le applicazioni AI-aware creano più dati rispetto alla sola libreria di file originale.

Pianifica la capacità per:

• Immagini di anteprima
• Miniature
• Dati facciali
• Testo OCR
• Trascrizioni
• Indici
• Embedding
• File modello
• Log delle applicazioni

Determina quali dati derivati devono essere sottoposti a backup e quali possono essere rigenerati dai file di origine protetti.

Quanto deve essere veloce la rete?

La velocità di rete non accelera direttamente un modello in esecuzione all'interno del NAS. Influisce sulla rapidità con cui file di origine, dataset, modelli e risultati si spostano tra archiviazione, utenti e calcolo esterno.

Quando 1GbE è sufficiente

1GbE può rimanere sufficiente quando:

• L'elaborazione AI viene eseguita direttamente sul NAS.
• La maggior parte dei lavori viene eseguita in background.
• Solo uno o due utenti accedono al sistema.
• I file di origine di grandi dimensioni non si spostano frequentemente.

Quando 2.5GbE è un aggiornamento utile

2.5GbE offre più margine per:

• Importazioni di foto di grandi dimensioni
• Backup locali più veloci
• Diversi utenti attivi
• File multimediali di grandi dimensioni
• Spostamento di file modello

È un livello intermedio utile, ma non dovrebbe essere considerato un minimo universale per ogni AI NAS.

Quando 10GbE è importante per il calcolo AI esterno

10GbE diventa più rilevante quando il NAS fornisce dati ripetutamente a un'altra macchina.

Esempi includono:

• Un server GPU che legge documenti RAG privati
• Una workstation che elabora video archiviati sul NAS
• Diversi utenti che modificano file multimediali di grandi dimensioni
• Backup ad alta velocità su un altro server locale
• Dataset condivisi supportati da NVMe

Requisiti hardware per carico di lavoro AI

OCR e indicizzazione documenti

I flussi di lavoro documentali sono solitamente orientati a batch. I requisiti più importanti sono spesso:

• CPU capace
• RAM sufficiente per diversi container e database
• Storage attivo veloce
• Archiviazione affidabile dei file sorgente

Il flusso di lavoro di acquisizione documenti e OCR di Paperless-ngx illustra come l'elaborazione dei documenti includa il consumo, l'OCR, i metadati, l'indicizzazione e la conservazione del file originale.

Riconoscimento fotografico

L'AI fotografica crea un'elaborazione iniziale pesante ma potrebbe non richiedere risposte in tempo reale. CPU e RAM gestiscono i servizi applicativi, mentre l'accelerazione opzionale può migliorare i lavori di embedding di volti, oggetti o immagini.

Le funzionalità di ricerca intelligente e indicizzazione media di Immich mostrano come la ricerca contestuale, il testo OCR, le persone riconosciute, i metadati, la posizione, la data e le informazioni sulla telecamera possano diventare parte di un unico sistema di ricerca.

RAG locale e ricerca semantica

Il RAG locale è una pipeline, non un singolo modello. L'hardware può essere necessario per:

• Estrazione documenti
• Suddivisione in chunk
• Generazione di embedding
• Archiviazione vettoriale
• Recupero
• Riranking
• Generazione locale delle risposte

L'embedding e l'indicizzazione possono essere eseguiti in background, mentre la generazione delle risposte è interattiva. Gli utenti possono quindi eseguire il recupero localmente e spostare solo la fase più pesante di generazione su un'altra macchina quando necessario.

Rilevamento telecamere di sicurezza

L'AI per telecamere è uno dei carichi di lavoro always-on più esigenti perché combina:

• Diversi flussi di rete continui
• Decodifica video
• Analisi del movimento
• Rilevamento oggetti
• Metadati degli eventi
• Scritture continue su storage

Il numero di telecamere, la risoluzione, il frame rate, la configurazione dei sottostream, il tipo di modello e il periodo di conservazione possono essere più importanti di una specifica GPU generica.

LLM locali e inferenza multi-utente

I carichi di lavoro interattivi locali LLM sono principalmente limitati da:

• Memoria del modello
• Lunghezza del contesto
• Larghezza di banda della memoria
• Richieste parallele
• Capacità GPU o memoria unificata

Un modello piccolo per un singolo utente può funzionare su hardware moderato. Un modello più grande che serve diversi utenti può richiedere un nodo di calcolo sostanzialmente più potente.

L'IA dovrebbe essere eseguita sul NAS o su un server AI separato?

Esegui attività in background adiacenti allo storage sul NAS

I compiti che appartengono naturalmente vicino ai dati archiviati includono:

• Indicizzazione foto dopo il backup
• OCR per nuovi file scansionati
• Estrazione di metadati
• Aggiornamenti di embedding dei documenti
• Generazione di miniature
• Classificazione leggera

Questi carichi di lavoro beneficiano dell'accesso diretto ai file e spesso possono essere eseguiti in background senza hardware di classe workstation.

Separare carichi di lavoro pesanti, caldi o frequentemente aggiornati

Un server AI separato è più interessante per:

• LLM locali più grandi
• Generazione di immagini
• Più flussi di fotocamere
• Inferenza multi-utente
• Modelli e driver che cambiano frequentemente
• Hardware che produce calore e rumore sostanziali

La decisione sul posizionamento del carico di lavoro è trattata più in dettaglio in Requisiti GPU e server AI esterni per carichi di lavoro NAS .

Mantieni lo storage affidabile quando i servizi AI falliscono

Un design diviso può prevenire che un runtime modello sperimentale o un aggiornamento del driver GPU influenzi lo storage primario.

Il NAS può rimanere responsabile di:

• File originali
• Permessi utente
• Snapshot
• Backup
• Copie del database dell'applicazione

Il server AI può rimanere responsabile di:

• Inferenza del modello
• Driver GPU
• Job di embedding
• Container sperimentali
• Rilevamento pesante della fotocamera

Cosa non ti dicono le specifiche hardware

Il supporto dell'acceleratore dipende dal software

Una scheda tecnica non può confermare se un'applicazione supporta:

• Il driver selezionato
• Il sistema operativo
• Il runtime del container
• Il formato del modello
• L'API dell'acceleratore
• La generazione hardware esatta

Controlla la documentazione di compatibilità attuale dell'applicazione prima di presumere che verrà usata una GPU, NPU o TPU.

TOPS non misura il flusso di lavoro completo

TOPS non descrive:

• Memoria disponibile
• Larghezza di banda della memoria
• Compatibilità del modello
• Prestazioni del database
• Decodifica video
• Latenza dello storage
• Throughput di rete
• Qualità dell'applicazione

Un sistema bilanciato con software supportato può superare un dispositivo con TOPS più elevati che non può eseguire il carico di lavoro richiesto in modo efficiente.

Un server AI potente può comunque essere un NAS scarso

Un PC da gioco o una workstation possono offrire ottime prestazioni di inferenza ma mancare ancora di:

• Operazione efficiente sempre attiva
• Espansione comoda dei dischi
• Gestione del pool di storage
• Raffreddamento silenzioso
• Integrazione backup
• Permessi file prevedibili

Al contrario, un NAS a basso consumo può essere eccellente per lo storage e inadatto per un AI locale pesante.

Usa la lista di controllo dei colli di bottiglia di calcolo, memoria, storage e rete per identificare quale parte del sistema limita il flusso di lavoro effettivo.

Lista di controllo per l'acquisto di hardware AI NAS

1. Definisci il carico di lavoro esatto.

   Specifica se il sistema eseguirà OCR, indicizzazione foto, rilevamento della fotocamera, RAG, un chatbot, generazione di immagini o un altro compito.

2. Decidi se l'elaborazione è in background o in tempo reale.

   I lavori in background possono tollerare hardware più lento. I servizi in tempo reale richiedono prestazioni più sostenute.

3. Stima la dimensione della libreria dati.

   Includi file originali, miniature, output OCR, database, indici, modelli e crescita futura.

4. Stima la memoria del modello e il contesto.

   Includi overhead runtime, cache KV, utenti paralleli e altre applicazioni.

5. Verifica il supporto software per l'acceleratore.

   Controlla driver, passthrough dei container, supporto runtime e formati dei modelli.

6. Separa la capacità HDD dallo storage NVMe attivo.

   Proteggi i dati sorgente sul livello di capacità e posiziona database attivi e modelli su storage veloce.

7. Scegli la rete in base all'architettura.

   1GbE può essere sufficiente per l'elaborazione locale; 10GbE diventa più rilevante quando il calcolo AI è separato.

8. Proteggi l'affidabilità del NAS.

   Conferma che indicizzazione e inferenza non interromperanno backup, registrazioni, accesso ai file o salute dello storage.

9. Pianifica alimentazione, raffreddamento e rumore.

   Valuta sia l'efficienza a riposo che il carico AI sostenuto.

10. Decidi se un nodo di calcolo esterno è più facile da aggiornare.

    Non forzare inferenze pesanti nel NAS quando un'architettura divisa è più pratica.

Conclusione

I requisiti hardware per un NAS AI non possono essere ridotti a una singola CPU minima, un numero di RAM o una raccomandazione GPU.

Il sistema corretto dipende dal carico di lavoro:

• OCR e indicizzazione leggera possono essere eseguiti su una CPU capace con 16GB di RAM e storage applicativo veloce.
• Il riconoscimento fotografico, il RAG dei documenti e diversi container beneficiano di più RAM e di un livello di lavoro NVMe.
• LLM locali, AI multi-camera, contesti lunghi e più utenti possono richiedere una GPU discreta, più memoria, raffreddamento più potente e calcolo separato.

La RAM di sistema, la VRAM e la memoria unificata risolvono problemi diversi. I pesi del modello sono solo una parte della domanda di memoria; anche contesto, concorrenza, database, indici e servizi NAS richiedono capacità.

Gli HDD rimangono utili per i dati sorgente protetti, mentre NVMe è migliore per applicazioni attive, modelli, cache e indici. La velocità di rete dovrebbe corrispondere alla quantità di dati che si spostano tra il NAS e qualsiasi server AI esterno.

Il miglior NAS AI non è il sistema con la GPU più grande o il punteggio TOPS più alto. È il sistema che esegue il carico di lavoro previsto in modo affidabile senza compromettere archiviazione, backup, efficienza energetica o manutenibilità.

FAQ

Qual è una configurazione di partenza pratica per un NAS AI?

Una CPU moderna multi-core, 16GB di RAM, storage HDD per i file sorgente, un livello SSD o NVMe per applicazioni e indici, e una rete 1GbE o 2.5GbE possono essere un punto di partenza pratico per carichi di lavoro leggeri in background.

Questo non è un minimo universale. Applicazioni più pesanti possono richiedere più RAM, accelerazione, prestazioni di archiviazione o calcolo separato.

Posso eseguire l'IA su un NAS senza una GPU dedicata?

Sì. OCR, indicizzazione dei documenti, estrazione dei metadati, piccoli embedding e elaborazione fotografica in background possono essere eseguiti su hardware CPU.

Una GPU diventa più utile per LLM locali, modelli multimodali, generazione di immagini, inferenza ad alto volume e diversi utenti simultanei.

16GB di RAM sono sufficienti per un NAS AI?

16GB possono bastare per pochi container, OCR leggero, estrazione metadati e indicizzazione in background.

Può diventare limitante quando il sistema esegue anche grandi librerie fotografiche, RAG di documenti, database vettoriali, virtualizzazione, modelli locali o diversi servizi simultanei.

Quando dovrei scegliere 32GB di RAM?

32GB è un obiettivo più solido quando si eseguono diverse applicazioni AI, indici più grandi, RAG privato, riconoscimento foto, database e generazione leggera locale sullo stesso sistema.

Quando ha senso 64GB o più di RAM?

64GB o più diventano rilevanti per indici più grandi, virtualizzazione, più utenti, flussi di lavoro a lungo contesto, inferenza CPU o a memoria unificata e più servizi AI.

Quanta VRAM serve per un LLM locale?

I requisiti di VRAM dipendono dall'architettura del modello, quantizzazione, lunghezza del contesto, cache KV, overhead del runtime e concorrenza.

Usa il runtime target per stimare la memoria totale invece di affidarti solo al numero di parametri o alla dimensione del modello scaricato.

Una NPU è sufficiente per LLM locali?

Di solito no per carichi di lavoro LLM locali generali più pesanti. Le NPU sono spesso più adatte a inferenze efficienti supportate, visione, classificazione o compiti in background.

La compatibilità software determina se una NPU offre un valore pratico.

Le applicazioni AI NAS dovrebbero girare su HDD o NVMe?

Media originali, documenti, registrazioni e backup possono rimanere su storage HDD. Modelli, container, database, miniature, cache, embedding e indici sono solitamente meglio posizionati su storage SSD o NVMe.

Un NAS AI ha bisogno di 10GbE?

No. 1GbE può essere sufficiente quando l'AI gira direttamente sul NAS e i file grandi non si spostano frequentemente.

10GbE diventa più utile per server AI esterni, dati condivisi supportati da NVMe, flussi di lavoro multimediali grandi e diversi utenti attivi.

Una rete più veloce rende più veloce l'inferenza LLM locale?

Non quando il modello e i dati sono già sulla stessa macchina. La rete influisce principalmente sul movimento dei dati tra NAS, utenti, workstation e nodi di calcolo esterni.

L'inferenza AI pesante dovrebbe essere eseguita fuori dal NAS?

Spesso sì. Modelli più grandi, generazione di immagini, inferenza multi-utente e AI continua per telecamere possono essere più facili da aggiornare e raffreddare su un server separato.

Il NAS può rimanere responsabile dello storage affidabile, dei permessi, degli snapshot e dei backup.

Qual è il più grande errore hardware per un NAS AI?

L'errore più comune è acquistare un componente impressionante senza controllare il resto della catena.

Una GPU potente non può compensare una RAM insufficiente, uno storage attivo lento, software non supportato, raffreddamento debole o un design di storage inaffidabile.

Riferimenti

• FAQ - Ollama
• ggml-org/llama.cpp - Inferenza LLM in C/C++
• Hardware consigliato - Frigate
• Uso base - Paperless-ngx
• Ricerca - Immich