Soluzione della community

Open WebUI non è riuscito a connettersi a Ollama in una configurazione IA locale su ZimaOS

A ZimaBoard 2 user could launch Stable Diffusion, Open WebUI, and an NVIDIA-enabled Ollama container, but the applications reported connection and network errors between their services.

Un utente di ZimaBoard 2 ha collegato una GPU NVIDIA esterna e l’ha vista correttamente nella dashboard. Stable Diffusion si è avviato, ma ha restituito un errore di connessione quando gli è stato chiesto di generare un’immagine. Anche Open WebUI si è avviato, ma non riusciva a trovare un modello tramite nessuno dei due indirizzi API di Ollama provati dall’utente.

La discussione ha distinto l’accesso a Internet dalla comunicazione tra container. Le applicazioni potevano essere scaricate e Ollama era raggiungibile da un altro dispositivo, ma Open WebUI continuava a segnalare un problema di rete con Ollama. La diagnosi finale della discussione è stata che Open WebUI e Ollama non erano collegati alla stessa rete Docker; dopo l’ultima raccomandazione, l’autore non ha pubblicato alcuna conferma definitiva.

La GPU era visibile, ma i servizi di IA erano disconnessi

La GPU NVIDIA esterna appariva nella dashboard di ZimaOS, quindi il primo risponditore non ha interpretato il problema come un errore di rilevamento della GPU. Ha invece osservato che Open WebUI è un’interfaccia frontend che si connette a Ollama, anziché scaricare e fornire modelli autonomamente. Anche l’errore generico di connessione di Stable Diffusion è stato interpretato come un problema nel raggiungere il backend o l’API.

Screenshot dello stato dell’IA locale in ZimaOS condiviso durante la risoluzione del problema
Una delle viste dello stato fornite dopo che la community aveva richiesto maggiori dettagli.
Vista delle applicazioni ZimaOS per i container di IA locali
Le applicazioni di IA locali installate mostrate dall’autore.

Perché localhost non puntava a Ollama

L’autore ha indicato Ollama sulla porta 11434 e ha provato sia un indirizzo localhost sia un indirizzo Docker suggerito. Un membro della community ha spiegato che localhost all’interno del container Open WebUI si riferisce a Open WebUI stesso, non a un container Ollama separato.

In base all’elenco dei container mostrato negli screenshot, il risponditore ha suggerito di usare il nome del container Ollama e la porta: http://ollama-nvidia:11434. Il principio di quella risposta era indirizzare il servizio dipendente tramite la sua identità Docker, invece di presumere che il container frontend condivida l'interfaccia di loopback dell'host.

Impostazioni di connessione di Open WebUI a Ollama mostrate in ZimaOS
Le impostazioni di connessione fornite per la revisione.
Impostazioni del container Ollama nella configurazione IA locale di ZimaOS
La configurazione lato Ollama mostrata nella stessa sequenza di risoluzione dei problemi.
Risposta del servizio Ollama raggiunta da un altro dispositivo sulla rete
Il servizio era raggiungibile al di fuori del percorso frontend-backend che presentava il problema.

Il problema rimanente era la rete Docker

La modifica del solo URL non ha risolto l'errore. L'autore ha quindi elencato diverse reti disponibili, tra cui bridge, host, ollama-nvidia_defaulte big-bear-open-webui_default. Il moderatore ha concluso che i due container erano ancora isolati su reti diverse.

La raccomandazione finale è stata collegare Open WebUI e Ollama alla stessa rete Docker condivisa e identica, quindi usare il nome del container Ollama nell'URL dell'API. La discussione si conclude a quel punto, quindi documenta un probabile limite di rete e una correzione proposta, non una soluzione finale confermata dall'utente.

Open WebUI segnala un problema di rete con Ollama
L'errore persisteva anche dopo aver testato più indirizzi API.

FAQ

Il download delle applicazioni dimostra che Open WebUI riesce a raggiungere Ollama?

No. In questo caso, ZimaOS aveva accesso a Internet e poteva scaricare applicazioni, mentre due container in esecuzione non riuscivano comunque a comunicare tra loro.

La GPU NVIDIA esterna è stata confermata come causa?

No. La GPU è comparsa nella dashboard e la diagnosi della community si è concentrata sugli indirizzi dei servizi e sull'isolamento della rete Docker. La discussione non ha indicato un errore della GPU come causa principale.