Kan Immich dela en GPU eller accelerator med en annan container?

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

Ja, Immich kan dela en GPU eller accelerator med en annan container när värddatorns körmiljö tillåter samtidig åtkomst och båda arbetsflödena håller sig inom enhetens praktiska gränser.

Att dela enheten garanterar inte isolering eller likvärdig prestanda. Immich kan använda acceleration för videotranskodning eller inferens med maskininlärning, medan en annan tjänst kodar media, kör AI-inferens eller använder samma renderingsnod. Ge enheterna åtkomst medvetet, testa varje arbetsflöde separat och kör sedan dem samtidigt på riktigt. Håll utkik efter problem med minne, latens, temperatur eller drivrutiner.

Kontrollera först att varje container kan använda acceleratorn på egen hand

Innan du testar delning kontrollerar du värddatorns drivrutin och containerruntime med ett arbetsflöde i taget. För Immich startar du den accelererade funktion som du faktiskt tänker använda och kontrollerar enhetsanvändningen samt att programloggarna inte innehåller fel. Upprepa sedan med den andra containern och dess vanliga arbetsbelastning.

NVIDIA:s exempel på containerkörmiljön med flera GPU-aktiverade containrar visar att det går att starta flera containrar med GPU-åtkomst. Det bevisar att körmiljön stöder detta, inte att alla kombinationer av program delar rättvist eller ryms på en och samma enhet.

Om något av programmen inte kan använda acceleratorn tillförlitligt på egen hand ska du inte felsöka samtidig användning ännu. Åtgärda först drivrutinsversion, enhetsmappning, behörigheter, körmiljökonfiguration, codec-stöd eller programmets backend. Ett gemensamt test kan inte skilja sådana grundproblem från faktisk belastningskonkurrens.

Ge varje arbetsflöde åtkomst endast till den enhet det behöver

På system med flera acceleratorer tilldelar du om möjligt en specifik enhet i stället för att ge varje container åtkomst till alla GPU:er. Med integrerad grafik från Intel eller AMD kontrollerar du att rätt renderingsenhet och gruppbehörigheter används. Med NVIDIA kontrollerar du vilken synlig enhet processen faktiskt väljer.

Ett nyligt svar på NVIDIA-forumet om att dela en GPU mellan containrar påpekar att vanliga containerprocesser kan använda samma GPU när den är tillgänglig för båda. Den viktiga poängen i praktiken är att containergränser inte automatiskt ger varje container en fast andel av prestandan.

Enhetsåtkomst ska fungera på samma sätt efter att containern återskapats. Starta om varje tjänst och kontrollera att samma enhet visas med samma behörigheter. Om ett program i tysthet går över till CPU efter omstarten åtgärdar du enhetsmappningen innan du mäter den gemensamma prestandan.

Mät belastningen i arbetsflöden som faktiskt körs samtidigt

Kör Immich på egen hand och mät bearbetningshastighet, interaktiv svarstid, GPU-användning, enhetsminne, CPU-reservläge och temperatur. Kör den andra containern separat med samma mätvärden. Kör sedan de två representativa jobben samtidigt och jämför förändringen i stället för att förlita dig på teoretisk toppkapacitet.

En nyare NVIDIA-diskussion om beteendet vid GPU-delning mellan containrar frågar om två containrar kan välja samma enheter och konkurrera om resurserna. Det är precis den gränsen som ska testas: synlighet innebär delad åtkomst, inte automatisk åtkomstkontroll eller garanterad kapacitet.

Godkänn delningen om båda arbetsbelastningarna förblir accelererade, slutförs korrekt och håller sig inom dina gränser för fördröjning och temperatur. Om ett jobb förbrukar allt VRAM, tvingar det andra att använda CPU, orsakar fel vid tilldelning av kodare eller leder till märkbara avbrott för användarna, ska du minska samtidigheten, schemalägga de tunga jobben vid olika tidpunkter eller tilldela separata enheter.

Skilj belastning från videotranskodning från belastning från maskininlärning

Immich kan belasta en accelerator på olika sätt beroende på om den kodar video eller kör maskininlärningsinferens. Den andra containern kan också använda kodningsmotorer, beräkningsenheter eller delat minne på ett annat sätt. Den totala ”GPU-användningen” kan dölja vilken motor som faktiskt är mättad.

ZimaSpaces guide till validering av delad GPU-användning mellan containrar ger ett användbart testmönster för hemmaservrar: bekräfta först drivrutinen och mappningen och öka sedan antalet representativa samtidiga sessioner medan du håller koll på enhetsminne, temperatur, fel och reservbeteende.

Om videotranskodning och ML sällan överlappar kan schemaläggning vara enklare än maskinvarupartitionering. Om båda är känsliga för fördröjningar hela dagen kan en andra accelerator eller en separat värd ge en tydligare felgräns. Rätt arkitektur beror på överlappningsfönstret, inte bara på om Docker tillåter båda containrarna att öppna enheten.

Validera delning genom omstart och vid en värsta normalbelastning

Skapa ett repeterbart toppbelastningstest, till exempel en Immich-videotranskodning plus en batch med Smart Search- eller ansiktsrelaterad bearbetning, medan den andra containern utför sin mest krävande normala accelererade uppgift. Registrera slutförandegrad, svanslatens, minnesanvändning, temperatur, fel och om någon av tjänsterna växlar till CPU.

Starta om containrarna i båda ordningarna och upprepa testet. En robust konfiguration får inte vara beroende av vilken tjänst som först tog acceleratorn, såvida den prioriteringen inte är ett uttryckligt designval. Kontrollera också att enhetsnoder och körtidstilldelningar förblir stabila efter en omstart av värddatorn.

Fortsätt dela när den uppmätta överlappningen håller sig inom servicemålen och det finns marginal för temperatur och minne. Sluta öka samtidigheten vid det första återkommande felet eller den första oacceptabla fördröjningen. Eskalera med GPU-modell, drivrutins- och körtidsversioner, enhetsmappningar, VRAM-användning, typer av arbetsbelastningar och den exakta kombinationen som orsakar konkurrens om resurserna.

Support och tips

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.