Immich può condividere una GPU o un acceleratore con un altro container?

Eva Wong è la redattrice tecnica e appassionata di tecnologia di ZimaSpace. Geek da sempre, appassionata di homelab e software open source, è specializzata nel tradurre concetti tecnici complessi in guide pratiche. Eva crede che l’hosting autonomo debba essere divertente, non intimidatorio. Attraverso i suoi tutorial, aiuta la community a comprendere meglio le configurazioni hardware, dalla costruzione del primo NAS alla padronanza dei container Docker.

Sì, Immich può condividere una GPU o un acceleratore con un altro container quando il runtime dell'host consente l'accesso simultaneo e i carichi di lavoro restano entro i limiti pratici del dispositivo.

Condividere il dispositivo non garantisce isolamento o prestazioni uguali. Immich può usare l'accelerazione per la transcodifica video o l'inferenza di machine learning, mentre un altro servizio codifica contenuti multimediali, esegue inferenze di IA o usa lo stesso nodo di rendering. Esponi il dispositivo in modo mirato, testa ogni carico di lavoro da solo, poi esegui la sovrapposizione effettiva e controlla eventuali problemi di memoria, latenza, temperatura o driver.

Verifica prima che ogni container possa usare l'acceleratore da solo

Prima di testare la condivisione, verifica il driver dell'host e il runtime dei container con un carico di lavoro alla volta. Per Immich, avvia la funzione accelerata che intendi effettivamente usare e verifica l'utilizzo del dispositivo e l'assenza di errori nei log dell'applicazione. Ripeti con il secondo container usando il suo carico di lavoro abituale.

L'esempio del runtime container NVIDIA sui container multipli abilitati per GPU dimostra che è possibile avviare più container con accesso alla GPU. Ciò dimostra il funzionamento del modello di runtime, non che ogni coppia di applicazioni possa condividere la GPU equamente o rientrare nei limiti di un singolo dispositivo.

Se una delle due applicazioni non riesce a usare l'acceleratore in modo affidabile da sola, non diagnosticare ancora la concorrenza. Prima risolvi eventuali problemi relativi alla versione del driver, alla mappatura del dispositivo, ai permessi, alla configurazione del runtime, al supporto dei codec o al backend dell'applicazione. Un test con condivisione non può distinguere questi problemi di base dalla contesa effettiva.

Esponi solo il dispositivo necessario a ciascun carico di lavoro

Sui sistemi con più acceleratori, quando possibile assegna un dispositivo specifico invece di esporre tutte le GPU a ogni container. Con la grafica integrata Intel o AMD, verifica il dispositivo di rendering previsto e i permessi del gruppo. Su NVIDIA, conferma quale dispositivo visibile seleziona effettivamente il processo.

Una recente risposta sul forum NVIDIA in merito alla condivisione di una GPU tra container osserva che i normali processi dei container possono accedere alla stessa GPU quando questa viene esposta a entrambi. Il punto operativo importante è che i confini dei container non creano automaticamente una quota fissa di prestazioni.

La visibilità del dispositivo dovrebbe essere riproducibile dopo la ricreazione del container. Riavvia ogni servizio e verifica che venga visualizzato lo stesso dispositivo con gli stessi permessi. Se dopo il riavvio un'applicazione passa silenziosamente alla CPU, correggi la mappatura prima di misurare le prestazioni condivise.

Misura la contesa nei carichi di lavoro che si sovrappongono davvero

Esegui Immich da solo e registra la velocità di elaborazione, il tempo di risposta alle interazioni, l'utilizzo della GPU, la memoria del dispositivo, il ricorso alla CPU e la temperatura. Esegui l'altro container da solo con le stesse metriche. Poi sovrapponi i due carichi di lavoro rappresentativi e confronta le variazioni, anziché affidarti alla velocità massima teorica.

Una recente discussione su NVIDIA relativa al comportamento della condivisione della GPU tra container chiede se due container possano selezionare gli stessi dispositivi e contenderseli. È proprio questo il limite da testare: la visibilità condivisa consente l’accesso, ma non garantisce un controllo automatico dell’ammissione né una capacità garantita.

Accetta la condivisione se entrambi i carichi di lavoro restano accelerati, vengono completati correttamente e rispettano gli obiettivi di latenza e temperatura. Se un’attività esaurisce la VRAM, costringe l’altra a usare la CPU, causa errori di allocazione dell’encoder o provoca rallentamenti visibili agli utenti, riduci la concorrenza, pianifica le attività più pesanti in momenti diversi oppure assegna dispositivi separati.

Separa il carico della transcodifica da quello del machine learning

Immich può sollecitare un acceleratore in modo diverso a seconda che stia codificando video o eseguendo inferenze di machine learning. Anche l’altro container potrebbe usare in modo diverso i motori di codifica, le unità di calcolo o la memoria condivisa. L’«utilizzo della GPU» complessivo può nascondere quale motore sia effettivamente saturo.

La guida di ZimaSpace alla convalida della GPU condivisa tra container offre un utile schema di test per un server domestico: prima verifica driver e mappatura, poi aumenta il numero di sessioni concorrenti rappresentative, monitorando la memoria del dispositivo, la temperatura, gli errori e il comportamento in caso di ripiego.

Se la transcodifica video e il machine learning raramente si sovrappongono, la pianificazione può essere più semplice della partizione hardware. Se entrambe le attività richiedono bassa latenza per tutta la giornata, un secondo acceleratore o un host separato possono offrire un confine di errore più netto. L’architettura corretta dipende dalla finestra di sovrapposizione, non solo dal fatto che Docker permetta a entrambi i container di aprire il dispositivo.

Verifica la condivisione dopo un riavvio e durante un picco normale nel caso peggiore

Crea un picco ripetibile, ad esempio una transcodifica video di Immich più un lotto di elaborazioni di Ricerca intelligente o relative ai volti, mentre il secondo container esegue la sua attività accelerata più impegnativa tra quelle normali. Registra i tassi di completamento, la latenza di coda, l’uso della memoria, la temperatura, gli errori e l’eventuale passaggio di uno dei servizi alla CPU.

Riavvia i container in entrambi gli ordini e ripeti il test. Una configurazione robusta non deve dipendere da quale servizio ha ottenuto per primo l’acceleratore, a meno che tale priorità non sia una scelta progettuale esplicita. Verifica anche che i nodi dei dispositivi e le assegnazioni del runtime restino stabili dopo il riavvio dell’host.

Continua a condividere la GPU quando la sovrapposizione misurata resta entro gli obiettivi del servizio e lascia margine per temperatura e memoria. Smetti di aumentare la concorrenza al primo errore ripetibile o quando la latenza diventa inaccettabile. Per l’escalation, indica il modello di GPU, le versioni di driver e runtime, le mappature dei dispositivi, l’uso della VRAM, i tipi di carico di lavoro e l’esatta combinazione che causa la contesa.

Assistenza e consigli

Altre letture

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.