Communityoplossing

Open WebUI kon Ollama niet bereiken in een lokale AI-installatie van ZimaOS

A ZimaBoard 2 user could launch Stable Diffusion, Open WebUI, and an NVIDIA-enabled Ollama container, but the applications reported connection and network errors between their services.

Een gebruiker van een ZimaBoard 2 sloot een externe NVIDIA-GPU aan en zag deze correct in het dashboard. Stable Diffusion startte, maar gaf een verbindingsfout toen om het genereren van een afbeelding werd gevraagd. Open WebUI startte ook, maar kon geen model vinden via een van de twee Ollama-API-adressen die de gebruiker probeerde.

In de discussie werd onderscheid gemaakt tussen internettoegang en communicatie tussen containers. Apps konden worden gedownload en Ollama was vanaf een ander apparaat bereikbaar, maar Open WebUI gaf nog steeds een Ollama-netwerkprobleem aan. De uiteindelijke diagnose in de thread was dat Open WebUI en Ollama niet met hetzelfde Docker-netwerk waren verbonden; de auteur plaatste na de laatste aanbeveling geen definitieve bevestiging.

De GPU was zichtbaar, maar de AI-services waren niet verbonden

De externe NVIDIA-GPU werd in het ZimaOS-dashboard weergegeven, dus de eerste beantwoorder beschouwde dit niet als een probleem met GPU-detectie. In plaats daarvan merkte die op dat Open WebUI een frontend is die verbinding maakt met Ollama, en niet zelf modellen downloadt en aanbiedt. De algemene verbindingsfout van Stable Diffusion werd ook geïnterpreteerd als een probleem bij het bereiken van de backend of API.

Schermafbeelding van de lokale AI-status in ZimaOS, gedeeld tijdens het oplossen van het probleem
Een van de statusweergaven die werd aangeleverd nadat de community om meer details had gevraagd.
Weergave van ZimaOS-applicaties voor lokale AI-containers
De lokaal geïnstalleerde AI-toepassingen die door de auteur werden getoond.

Waarom localhost niet naar Ollama verwees

De auteur meldde dat Ollama op poort 11434 draaide en probeerde zowel een localhost-adres als een voorgesteld Docker-adres. Een communitylid legde uit dat localhost in de Open WebUI-container verwijst naar Open WebUI zelf, niet naar een afzonderlijke Ollama-container.

Op basis van de containerlijst in de schermafbeeldingen stelde de beantwoorder voor om de containernaam en poort van Ollama te gebruiken: http://ollama-nvidia:11434. Het principe in dat antwoord was om de afhankelijke service te benaderen via diens Docker-identiteit, in plaats van ervan uit te gaan dat de frontendcontainer de loopbackinterface van de host deelt.

Verbindingsinstellingen van Open WebUI voor Ollama, weergegeven in ZimaOS
De ter beoordeling aangeleverde verbindingsinstellingen.
Instellingen van de Ollama-container in de lokale AI-configuratie van ZimaOS
De configuratie aan de Ollama-kant die in dezelfde probleemoplossingsreeks werd getoond.
Reactie van de Ollama-service, ontvangen vanaf een ander apparaat op het netwerk
De service was bereikbaar buiten het mislukte frontend-naar-backendpad.

Het resterende probleem was het Docker-netwerk

Alleen de URL wijzigen loste de fout niet op. De auteur somde vervolgens verschillende beschikbare netwerken op, waaronder bridge en host, ollama-nvidia_default, en big-bear-open-webui_default. De beantwoorder concludeerde dat de twee containers nog steeds op verschillende netwerken waren geïsoleerd.

De uiteindelijke aanbeveling was om Open WebUI en Ollama aan één identiek gedeeld Docker-netwerk te koppelen en vervolgens de containernaam van Ollama in de API-URL te gebruiken. De thread eindigt op dat punt en documenteert dus een waarschijnlijke netwerkgrens en een voorgestelde correctie, geen door de gebruiker bevestigde definitieve oplossing.

Open WebUI meldt een Ollama-netwerkprobleem
De fout bleef bestaan nadat meerdere API-adressen waren getest.

Veelgestelde vragen

Bewijst het downloaden van applicaties dat Open WebUI Ollama kan bereiken?

Nee. In dit geval had ZimaOS internettoegang en kon het applicaties downloaden, terwijl twee actieve containers nog steeds niet met elkaar konden communiceren.

Werd bevestigd dat de externe NVIDIA-GPU de oorzaak was?

Nee. De GPU verscheen in het dashboard en de diagnose van de community richtte zich op serviceadressen en isolatie van het Docker-netwerk. In de thread werd een GPU-fout niet als hoofdoorzaak genoemd.