Gemenskapslösning

Open WebUI kunde inte nå Ollama i en lokal AI-installation på ZimaOS

A ZimaBoard 2 user could launch Stable Diffusion, Open WebUI, and an NVIDIA-enabled Ollama container, but the applications reported connection and network errors between their services.

En ZimaBoard 2-användare anslöt ett externt NVIDIA-grafikkort och såg att det identifierades korrekt i instrumentpanelen. Stable Diffusion startade men returnerade ett anslutningsfel när användaren försökte generera en bild. Open WebUI startade också, men kunde inte hitta någon modell via någon av de Ollama-API-adresser som användaren provade.

Diskussionen skilde mellan internetåtkomst och kommunikation mellan containrar. Appar kunde laddas ner och Ollama kunde nås från en annan enhet, men Open WebUI rapporterade fortfarande ett nätverksproblem med Ollama. Den slutliga diagnosen i tråden var att Open WebUI och Ollama inte var anslutna till samma Docker-nätverk; författaren publicerade ingen slutlig bekräftelse efter den senaste rekommendationen.

GPU:n syntes, men AI-tjänsterna var frånkopplade

Det externa NVIDIA-grafikkortet syntes i ZimaOS-instrumentpanelen, så den första svararen tolkade inte detta som ett problem med GPU-identifieringen. I stället noterade de att Open WebUI är ett gränssnitt som ansluter till Ollama, snarare än att själv ladda ner och köra modeller. Stable Diffusions generiska anslutningsfel tolkades också som ett misslyckande att nå dess backend eller API.

Skärmbild av statusen för ZimaOS lokala AI-funktioner som delades under felsökningen
En av statusvyerna som skickades efter att communityn efterfrågat mer information.
ZimaOS-programvyn för de lokala AI-containrarna
De lokala AI-applikationer som författaren visade.

Varför localhost inte pekade på Ollama

Författaren rapporterade Ollama på port 11434 och provade både en localhost-adress och en föreslagen Docker-adress. En användare i communityn förklarade att localhost i Open WebUI-containern syftar på Open WebUI självt, inte på en separat Ollama-container.

Baserat på containerlistan som visas i skärmbilderna föreslog svararen att använda Ollama-containerns namn och port: http://ollama-nvidia:11434. Principen i det svaret var att rikta sig till den beroende tjänsten via dess Docker-identitet i stället för att anta att frontend-containern delar värdens loopback-gränssnitt.

Open WebUI:s Ollama-anslutningsinställningar som visas i ZimaOS
Anslutningsinställningarna som skickades in för granskning.
Ollama-containerns inställningar i ZimaOS lokala AI-konfiguration
Konfigurationen på Ollama-sidan som visades i samma felsökningssekvens.
Svar från Ollama-tjänsten nåddes från en annan enhet i nätverket
Tjänsten kunde nås utanför den felande frontend-till-backend-vägen.

Det återstående problemet var Docker-nätverket

Att bara ändra URL:en löste inte felet. Författaren listade sedan flera tillgängliga nätverk, däribland bridge, host, ollama-nvidia_default, och big-bear-open-webui_default. Svararen drog slutsatsen att de två containrarna fortfarande var isolerade på olika nätverk.

Den slutliga rekommendationen var att ansluta Open WebUI och Ollama till samma gemensamma Docker-nätverk och sedan använda Ollama-containerns namn i API-URL:en. Tråden slutar där, så den dokumenterar en sannolik nätverksgräns och en föreslagen korrigering, inte en slutgiltig lösning som användaren bekräftat.

Open WebUI rapporterar ett Ollama-nätverksproblem
Felet kvarstod efter test av flera API-adresser.

Vanliga frågor

Bevisar nedladdning av program att Open WebUI kan nå Ollama?

Nej. I det här fallet hade ZimaOS internetåtkomst och kunde ladda ner program, medan två körande containrar fortfarande inte kunde kommunicera med varandra.

Bekräftades det att den externa NVIDIA-GPU:n var orsaken?

Nej. GPU:n visades i instrumentpanelen, och communityns felsökning fokuserade på tjänsteadresser och isolering av Docker-nätverk. Tråden rapporterade inte ett GPU-fel som grundorsak.