Community-Lösung

Open WebUI konnte Ollama in einer lokalen ZimaOS-KI-Konfiguration nicht erreichen

A ZimaBoard 2 user could launch Stable Diffusion, Open WebUI, and an NVIDIA-enabled Ollama container, but the applications reported connection and network errors between their services.

Ein Nutzer einer ZimaBoard 2 schloss eine externe NVIDIA-GPU an und sah sie korrekt im Dashboard. Stable Diffusion startete, gab jedoch beim Versuch, ein Bild zu generieren, einen Verbindungsfehler zurück. Auch Open WebUI startete, konnte jedoch über keine der beiden vom Nutzer getesteten Ollama-API-Adressen ein Modell finden.

Die Diskussion unterschied zwischen Internetzugang und der Kommunikation zwischen Containern. Apps konnten heruntergeladen werden, und Ollama war von einem anderen Gerät aus erreichbar, doch Open WebUI meldete weiterhin ein Ollama-Netzwerkproblem. Die abschließende Diagnose des Threads lautete, dass Open WebUI und Ollama nicht mit demselben Docker-Netzwerk verbunden waren; der Autor veröffentlichte nach der letzten Empfehlung keine abschließende Bestätigung.

Die GPU war sichtbar, aber die KI-Dienste waren nicht verbunden

Die externe NVIDIA-GPU wurde im ZimaOS-Dashboard angezeigt, daher wertete der erste Antwortende dies nicht als Fehler bei der GPU-Erkennung. Stattdessen wies er darauf hin, dass Open WebUI ein Frontend ist, das eine Verbindung zu Ollama herstellt, anstatt selbst Modelle herunterzuladen und bereitzustellen. Der allgemeine Verbindungsfehler von Stable Diffusion wurde ebenfalls als Problem beim Erreichen des Backends oder der API interpretiert.

Während der Fehlersuche geteilter Screenshot zum Status der lokalen KI in ZimaOS
Eine der Statusansichten, die nach der Bitte der Community um weitere Details bereitgestellt wurde.
ZimaOS-Anwendungsansicht für die lokalen KI-Container
Die vom Autor angezeigten installierten lokalen KI-Anwendungen.

Warum localhost nicht auf Ollama verwies

Der Autor gab an, Ollama über Port 11434 zu erreichen, und testete sowohl eine localhost-Adresse als auch eine vorgeschlagene Docker-Adresse. Ein Community-Mitglied erklärte, dass localhost bezieht sich innerhalb des Open-WebUI-Containers auf Open WebUI selbst und nicht auf einen separaten Ollama-Container.

Auf Grundlage der in den Screenshots angezeigten Containerliste empfahl der Antwortende, den Namen und Port des Ollama-Containers zu verwenden: http://ollama-nvidia:11434Das Prinzip dieser Antwort bestand darin, den abhängigen Dienst anhand seiner Docker-Identität anzusprechen, statt davon auszugehen, dass der Frontend-Container die Loopback-Schnittstelle des Hosts gemeinsam nutzt.

In ZimaOS angezeigte Ollama-Verbindungseinstellungen von Open WebUI
Die zur Überprüfung bereitgestellten Verbindungseinstellungen.
Ollama-Container-Einstellungen im lokalen KI-Setup von ZimaOS
Die auf der Ollama-Seite gezeigte Konfiguration in derselben Fehlerbehebungssequenz.
Antwort des Ollama-Dienstes, die von einem anderen Gerät im Netzwerk empfangen wurde
Der Dienst konnte außerhalb des fehlerhaften Frontend-zu-Backend-Pfads erreicht werden.

Das verbleibende Problem war das Docker-Netzwerk

Das alleinige Ändern der URL löste den Fehler nicht. Der Autor listete anschließend mehrere verfügbare Netzwerke auf, darunter bridge und host, ollama-nvidia_defaultund big-bear-open-webui_default. Der Antwortende kam zu dem Schluss, dass die beiden Container weiterhin in unterschiedlichen Netzwerken isoliert waren.

Die abschließende Empfehlung lautete, Open WebUI und Ollama an dasselbe gemeinsame Docker-Netzwerk anzubinden und anschließend den Namen des Ollama-Containers in der API-URL zu verwenden. Der Thread endet an diesem Punkt. Er dokumentiert daher eine wahrscheinliche Netzwerkgrenze und eine vorgeschlagene Korrektur, nicht eine vom Benutzer bestätigte endgültige Lösung.

Open WebUI meldet ein Ollama-Netzwerkproblem
Der Fehler blieb auch nach dem Testen mehrerer API-Adressen bestehen.

FAQ

Beweist das Herunterladen von Anwendungen, dass Open WebUI Ollama erreichen kann?

Nein. In diesem Fall hatte ZimaOS Internetzugang und konnte Anwendungen herunterladen, während zwei laufende Container weiterhin nicht miteinander kommunizieren konnten.

Wurde bestätigt, dass die externe NVIDIA-GPU die Ursache war?

Nein. Die GPU erschien im Dashboard, und die Diagnose der Community konzentrierte sich auf Dienstadressen und die Netzwerkisolation von Docker. Im Thread wurde kein GPU-Fehler als eigentliche Ursache genannt.