Come archiviare i modelli LLM locali senza riempire l’SSD della workstation

Mantieni un piccolo insieme di modelli più usati sull’NVMe della workstation, archivia la libreria di modelli più ampia sullo storage condiviso e imposta percorsi espliciti per ogni runtime.

Questa configurazione funziona quando i pesi dei modelli vengono letti soprattutto all’avvio, la rete offre tempi di caricamento accettabili e i fine-tuning insostituibili sono protetti separatamente dai file scaricabili. Non funziona quando ogni cache ricade silenziosamente sull’SSD di avvio o quando, se il NAS manca, il servizio di inferenza scarica di nuovo i modelli in una nuova directory locale.

Classifica i file dei modelli in base all’insieme di lavoro e al costo di ricostruzione

Inizia facendo un inventario invece di spostare un’unica enorme directory della cache. I pesi di base e le varianti quantizzate possono essere scaricati di nuovo, ma gli adapter, i modelli fine-tuned, i template dei prompt, i manifest, i risultati delle valutazioni e i file convertiti localmente potrebbero essere unici. Contrassegna ogni elemento come più usato, usato occasionalmente, meno recente o insostituibile, poi annota quale applicazione ne gestisce il percorso.

L’insieme più usato contiene i modelli utilizzati ogni giorno e dovrebbe rientrare in un budget fisso di spazio sulla workstation. I modelli usati occasionalmente possono restare sul NAS ed essere copiati in locale prima di un progetto. Gli esperimenti meno recenti possono rimanere solo nella libreria condivisa. Gli output insostituibili richiedono un backup con versioni, anche se il modello di origine può essere scaricato di nuovo.

Questa classificazione previene due errori comuni: eseguire il backup di centinaia di gigabyte facili da ricreare e cancellare un piccolo adapter o manifest che non può essere ricreato a basso costo. Fornisce anche il primo dato sulla capacità necessaria: le dimensioni dell’insieme più usato, più lo spazio libero per un modello in arrivo, non le dimensioni di tutti i modelli che potresti provare.

Assegna i ruoli di NVMe locale, storage condiviso e archivio

Un cluster di IA locale in condizioni reali ha archiviato i file dei modelli su un NAS e li ha caricati tramite 10GbE, dimostrando che questa soluzione è praticabile se la rete e il percorso di storage sono progettati per gestire letture di grandi dimensioni. La lezione utile di questo flusso di lavoro per la distribuzione di modelli basato su NAS è la separazione dei ruoli: la libreria condivisa è la fonte, mentre l’elaborazione e la memoria restano sul nodo di inferenza.

Non indirizzare tutti i runtime alla stessa cartella di rete scrivibile. Una conversione non riuscita, un processo di pulizia o una modifica di versione potrebbero alterare file utilizzati da un altro strumento. Mantieni la libreria canonica prevalentemente in sola lettura, prepara le modifiche in un’area temporanea, verificale e promuovi deliberatamente gli artefatti completati.

Definisci un unico percorso prevedibile per i modelli e una policy per la cache

Scegli un unico punto di montaggio canonico, come /srv/models su Linux o una lettera di unità stabile su Windows, e rendilo disponibile prima dell’avvio di Ollama, vLLM, LM Studio o dei container di sviluppo. Imposta esplicitamente il percorso dei modelli e della cache in ciascuno strumento. Un collegamento simbolico va bene solo se il controllo del punto di montaggio viene eseguito prima e la destinazione non cambia tra un riavvio e l’altro.

Gli operatori della community che valutano l’uso di un NAS separato individuano ripetutamente nei tempi di caricamento dei modelli il fattore decisivo. In una discussione su workstation AI e NAS, i partecipanti hanno consigliato di tenere i modelli usati di frequente su NVMe locale, perché il trasferimento di pesi di grandi dimensioni tramite una connessione più lenta può richiedere minuti.

Usa un elenco di elementi consentiti per la cache locale ad accesso rapido, invece di replicare l’intero NAS. Dopo aver caricato o copiato un file, verifica la dimensione o il checksum, quindi aggiorna un alias atomico come current/model-name. Rimuovi solo i modelli che non sono in esecuzione né bloccati. Mantieni libero almeno il valore maggiore tra il 15 percento dello spazio e la dimensione di un download massimo previsto, così un aggiornamento non esaurirà il volume di avvio a metà.

Featured

Cloud personale NAS domestico ZimaCube 2

ZimaCube2

$799.00 - $2,499.00

Buy Now

Proteggi i manifest e i fine-tuning, non ogni download

Esegui il backup delle informazioni necessarie per ricostruire la libreria: URL di origine o ID del repository, revisione esatta, nome del file, quantizzazione, checksum, note sulla licenza, configurazione di runtime e percorso utilizzato in produzione. Questo manifest è compatto, consultabile e più utile in fase di ripristino rispetto a una directory piena di file dai nomi ambigui.

Esegui il backup di adattatori univoci, modelli assemblati, dati di calibrazione e risultati di valutazione con la normale conservazione versionata. Per i pesi di base pubblici, valuta se i tempi di ripristino giustificano una copia aggiuntiva. Una connessione internet lenta o il rischio che un modello scompaia possono rendere opportuno proteggere determinati pesi, ma duplicare ogni esperimento di solito spreca spazio di backup.

Se non hai ancora deciso come organizzare il livello di file IA più ampio, il confronto di ZimaSpace tra cloud personale e archiviazione locale sul PC per i file IA è il passo successivo nella pianificazione. Distingue i dati sorgente permanenti e gli indici dalla macchina che esegue l'inferenza.

Convalida il tempo di caricamento, il comportamento offline e la soglia di espansione

Testa tre percorsi con il servizio dei modelli arrestato: un caricamento locale di un modello utilizzato di frequente, un caricamento dal NAS di un modello non utilizzato di recente e un'interruzione del NAS. Registra il tempo necessario per la prima risposta utilizzabile, il picco di velocità di rete, lo spazio libero sulla workstation prima e dopo e se qualche strumento crea una directory di ripiego sul disco di avvio. Ripeti dopo un riavvio per verificare l'ordine di montaggio anziché darlo per scontato.

La configurazione è adeguata quando i modelli usati quotidianamente si caricano in locale entro i tempi previsti, i modelli non utilizzati di recente possono essere preparati senza modificare manualmente i percorsi, gli artefatti univoci si ripristinano dal backup e l'assenza del NAS provoca un errore chiaro anziché un nuovo download silenzioso. Aggiungi una rete più veloce o un livello locale più capiente solo quando il ritardo misurato nel caricamento dei modelli non utilizzati di recente interrompe il lavoro; aumenta la capacità del NAS quando la libreria canonica si avvicina alla soglia minima di spazio libero definita.

Smetti di usare letture dirette dalla rete per un carico di lavoro che esegue ripetutamente ricerche tra frammenti di modelli, richiede una latenza di avvio prevedibilmente bassa o deve funzionare mentre il NAS è offline. In tal caso, mantieni il NAS come libreria e copia i modelli completi su un SSD locale dedicato e più capiente prima dell'avvio.

Regola finale di configurazione

Mantieni la libreria canonica dei modelli nell'archiviazione condivisa, fissa il set di lavoro quotidiano sull'NVMe locale, isola le cache temporanee e proteggi solo gli artefatti e i manifesti che non possono essere ricreati. Espandi la configurazione quando il tempo di caricamento misurato o la capacità superano una soglia definita per iscritto.