Lokale LLM-modellen opslaan zonder de SSD van je werkstation vol te zetten

Houd een kleine hotset op de NVMe van het werkstation, plaats de grotere modelbibliotheek op gedeelde opslag en gebruik voor elke runtime expliciete paden.

Deze indeling werkt wanneer modelgewichten vooral tijdens het opstarten worden gelezen, het netwerk acceptabele laadtijden biedt en onvervangbare fine-tunes afzonderlijk worden beschermd tegen bestanden die opnieuw kunnen worden gedownload. De indeling werkt niet wanneer elke cache ongemerkt terugvalt op de opstart-SSD of wanneer de inferentieservice bij een niet-beschikbare NAS modellen opnieuw downloadt naar een nieuwe lokale map.

Deel modelbestanden in op basis van actieve set en kosten voor opnieuw opbouwen

Begin met een inventarisatie in plaats van één enorme cachemap te verplaatsen. Basisgewichten en gekwantiseerde varianten zijn mogelijk opnieuw te downloaden, maar adapters, fine-tunes, promptsjablonen, manifesten, evaluatieresultaten en lokaal geconverteerde bestanden kunnen uniek zijn. Ken elk item de categorie hot, warm, koud of onvervangbaar toe en noteer vervolgens welke toepassing het pad gebruikt.

De hotset bevat modellen die dagelijks worden gebruikt en moet binnen een vast opslagbudget van het werkstation passen. Warm opgeslagen modellen kunnen op de NAS staan en vóór een project lokaal worden gekopieerd. Koude experimenten kunnen alleen in de gedeelde bibliotheek blijven staan. Onvervangbare uitvoerbestanden hebben versiebeheer en back-ups nodig, ook als het bijbehorende model opnieuw kan worden gedownload.

Deze indeling voorkomt twee veelvoorkomende fouten: honderden gigabytes back-uppen die eenvoudig opnieuw kunnen worden aangemaakt, en een kleine adapter of manifest verwijderen die niet zonder hoge kosten opnieuw kan worden aangemaakt. Zo bepaal je ook meteen de benodigde capaciteit: de omvang van de hotset plus vrije ruimte voor één nieuw model, niet de omvang van elk model dat je ooit wilt testen.

Ken rollen toe aan lokale NVMe, gedeelde opslag en archiefopslag

Bij een lokaal AI-cluster uit de praktijk werden modelbestanden op een NAS opgeslagen en via 10GbE geladen. Dat liet zien dat deze aanpak werkt als het netwerk en het opslagpad zijn ontworpen voor grote leesbewerkingen. De nuttige les uit die workflow voor modelservering op basis van een NAS is de scheiding van rollen: de gedeelde bibliotheek is de bron, terwijl de rekenkracht en het geheugen op het inferentieknooppunt blijven.

Laat niet elke runtime dezelfde schrijfbare netwerkmap gebruiken. Een mislukte conversie, opschoontaak of versiewijziging kan bestanden aanpassen die door een andere tool worden gebruikt. Houd de canonieke bibliotheek grotendeels alleen-lezen, bereid wijzigingen voor in tijdelijke opslag, controleer ze en zet voltooide artefacten bewust over.

Stel één voorspelbaar modelpad en cachebeleid in

Kies één canoniek koppelpunt, zoals /srv/models op Linux, of een vaste stationsletter op Windows, en zorg dat dit beschikbaar is voordat Ollama, vLLM, LM Studio of ontwikkelcontainers worden gestart. Stel de model- en cache-instellingen van elke tool expliciet in. Een symlink is alleen acceptabel als eerst wordt gecontroleerd of het koppelpunt beschikbaar is en de bestemming tussen herstarts nooit verandert.

Communitybeheerders die een aparte NAS overwegen, noemen laadtijd van modellen steeds weer als de grens. In een discussie over AI-werkstations en NAS raadden deelnemers aan veelgebruikte modellen op lokale NVMe-opslag te bewaren, omdat grote gewichten minuten nodig kunnen hebben om via een tragere verbinding over te komen.

Gebruik een allowlist voor de lokale hot cache in plaats van de hele NAS te spiegelen. Controleer na een geslaagde laad- of kopieeractie de bestandsgrootte of checksum en werk daarna een atomische alias bij, zoals current/model-name. Verwijder alleen modellen die niet actief zijn en niet zijn vastgezet. Houd minstens de grootste waarde aan van 15 procent vrije ruimte of één maximaal verwachte modeldownload, zodat een update de opstartschijf niet halverwege kan vullen.

Featured

ZimaCube 2 persoonlijke cloud-home-NAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

Bescherm manifests en fine-tunes, niet elke download

Maak een back-up van de informatie die nodig is om de bibliotheek opnieuw op te bouwen: de bron-URL of repository-ID, de exacte revisie, bestandsnaam, kwantisering, checksum, licentienotities, runtimeconfiguratie en het pad dat in productie wordt gebruikt. Dat manifest is klein, doorzoekbaar en nuttiger tijdens herstel dan een map vol bestanden met onduidelijke namen.

Maak back-ups van unieke adapters, samengevoegde modellen, kalibratiegegevens en evaluatieresultaten met normale, geversioneerde retentie. Bepaal voor openbare basisgewichten of de hersteltijd een extra kopie rechtvaardigt. Een trage internetverbinding of een model dat mogelijk verdwijnt, kan het de moeite waard maken om geselecteerde gewichten te beschermen, maar een kopie bewaren van elk experiment verspilt doorgaans back-upcapaciteit.

Als nog niet vaststaat welke bredere bestandslaag voor AI je gaat gebruiken, is de vergelijking van ZimaSpace tussen een persoonlijke cloud en lokale pc-opslag voor AI-bestanden de volgende stap in de planning. Die maakt onderscheid tussen persistente brongegevens en indexen en de machine die inferentie uitvoert.

Valideer laadtijd, offlinegedrag en de opschalingsdrempel

Test drie scenario's terwijl de modelservice is gestopt: lokaal laden van een veelgebruikt model, laden van een koud model vanaf de NAS en een NAS-storing. Noteer de tijd tot de eerste bruikbare reactie, de piekdoorvoer van het netwerk, de vrije ruimte op het werkstation voor en na afloop en of een programma een terugvalmap op de opstartschijf aanmaakt. Herhaal dit na een herstart, zodat de volgorde waarin volumes worden gekoppeld wordt getest in plaats van verondersteld.

De configuratie slaagt wanneer dagelijkse modellen lokaal binnen de verwachte tijd laden, koude modellen zonder handmatige aanpassingen aan paden kunnen worden klaargezet, unieke artefacten vanuit een back-up kunnen worden hersteld en een ontbrekende NAS een duidelijke foutmelding oplevert in plaats van een stille nieuwe download. Voeg sneller netwerk of een grotere lokale opslaglaag alleen toe wanneer gemeten vertraging bij het laden van koude modellen het werk onderbreekt; vergroot de NAS-capaciteit wanneer de canonieke bibliotheek de vastgelegde ondergrens voor vrije ruimte nadert.

Gebruik geen directe netwerklezingen meer voor een werklast die herhaaldelijk zoekt in modelshards, voorspelbaar korte opstarttijd vereist of moet werken wanneer de NAS offline is. Bewaar in dat geval de NAS als bibliotheek en kopieer complete modellen naar een grotere, speciale lokale SSD voordat je ze start.

Regel voor de definitieve configuratie

Bewaar de canonieke modellenbibliotheek op gedeelde opslag, zet de dagelijkse werkset vast op lokale NVMe, isoleer tijdelijke caches en bescherm alleen artefacten en manifesten die niet opnieuw kunnen worden aangemaakt. Schaal pas op wanneer de gemeten laadtijd of capaciteit een vastgelegde drempel overschrijdt.