Lokal AI-arbetsstation plus lagringsserver: Så delar du upp modeller, datamängder och familjefiler

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

Förvara aktiva modeller, cachelagring och tillfälliga datamängder på AI-arbetsstationen; förvara auktoritativa datamängder, familjefiler och oberoende säkerhetskopior på lagringsservern.

Den här uppdelningen gör att GPU-systemet kan byggas om, uppgraderas eller stängas av utan att familjens lagring blir en temporär lagringsplats för AI. Nätverket överför då förberedda datamängder och färdiga resultat i stället för varje slumpmässig läsning under inferens eller träning.

Tilldela roller till arbetsstationen och servern

Arbetsstationen ansvarar för GPU-drivrutiner, körmiljöer, aktiv modellcache, aktiv delmängd av datamängden, cache för vektorfrågor och tillfälliga utdata. Lagringsservern ansvarar för auktoritativa datamängder, familjefiler, projektarkiv, modellmanifest och säkerhetskopior.

Låt inte arbetsstationen vara den enda platsen för en privat finjusterad modell eller en kuraterad datamängd. Låt inte lagringsservern köra obegränsade AI-jobb bara för att filerna finns där.

Rollgränsen bör bestå även efter ominstallation av arbetsstationen.

Placera data efter åtkomstfrekvens och återskapbarhet

Data Arbetsstation Lagringsserver
Offentliga modeller Aktiv cache Valfritt arkiv eller manifest
Privata modeller eller adaptrar Arbetskopia Auktoritativ skyddad kopia
Rådatamängder Förberedd delmängd Versionshanterad källa
Vektordatabas Aktiv instans vid behov Konsekvent säkerhetskopiering eller primär lagring enligt utformningen
Familjefiler Ingen generell montering eller skrivskyddad åtkomst Primära skyddade datamängder

Uppdelningen minskar nätverksfördröjningen för aktivt AI-arbete och håller samtidigt långlivade data på ett system som är utformat för kapacitet och återställning.

Ett lagringsexempel för ett AI-kluster visar det ekonomiska värdet av mindre lokal NVMe-lagring på beräkningsnoder med delad lagring som stöd, även om en hemmalösning bör vara enklare.

Skapa en kontrollerad väg för dataöverföring

Använd en dedikerad resurs eller överföringsdatamängd för AI-staging i stället för att montera roten till familjens lagring. Ge arbetsstationen skrivåtkomst endast till dess projektområden och målet för färdiga resultat.

Använd kontrollsummor eller versionsmanifest för stora dataöverföringar. Återuppta avbrutna kopieringar och verifiera dem innan du raderar arbetsstationens mellanlagrade kopia.

Välj SMB eller NFS utifrån klienter och identiteter; jämförelsen mellan SMB och NFS stödjer det valet.

Single board computer zimaboard2

Skydda familjens filer från AI-arbetsbelastningar

Kör AI-inläsning mot godkända kopior, inte familjens aktiva mappar. Ansiktsigenkänning, OCR och inbäddningsjobb kan skapa känsliga härledda data och orsaka hög läsbelastning.

Separera tjänstekonton, datamängder, ögonblicksbilder och lagringstider. Ett AI-rensningskommando ska inte ha behörighet att radera familjens originalfiler eller säkerhetskopior.

Schemalägg stora jobb för mellanlagring, indexering och säkerhetskopiering så att de inte konkurrerar om samma diskar och nätverkslänk.

Validera fel- och utökningsvägar

Stäng av arbetsstationen och kontrollera att familjedelningar, säkerhetskopior och lagringshantering fortsätter att fungera. Installera om arbetsstationen eller simulera ett byte av den och återställ sedan runtime-definitioner, en privat adapter och en delmängd av en datamängd.

Om lagringsservern går sönder kan arbetsstationen fortfarande ha cachade modeller, men den ska inte misstas för säkerhetskopian. Använd en oberoende återställningskopia utanför båda systemen. Analysen av AI-säkerhetskopieringsrollen hjälper dig att skilja mellan återskapningsbara modellcachar och oersättligt tillstånd.

Lägg till NVMe-lagring i arbetsstationen när de aktiva data inte längre får plats; utöka serverkapaciteten när de auktoritativa datamängderna växer; uppgradera nätverket när planerade överföringar inte ryms inom tidsfönstret. Sluta dela en datamängd när behörigheter eller I/O-konflikter hotar familjens data.

Slutlig konfigurationsregel

Konfigurationen är godkänd när varje tjänst har en namngiven roll, ett skyddat tillstånd, en kontrollerad åtkomstväg, en testad återställning och en mätbar utlösare för att dela upp eller utöka topologin.

Installation av NAS och server

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.