Rozwiązanie społecznościowe

Open WebUI nie może połączyć się z Ollama w lokalnej konfiguracji AI w ZimaOS

A ZimaBoard 2 user could launch Stable Diffusion, Open WebUI, and an NVIDIA-enabled Ollama container, but the applications reported connection and network errors between their services.

Użytkownik ZimaBoard 2 podłączył zewnętrzny procesor GPU NVIDIA, który był prawidłowo widoczny w panelu. Stable Diffusion uruchomił się, ale podczas próby wygenerowania obrazu zwrócił błąd połączenia. Open WebUI również się uruchomił, jednak nie mógł znaleźć modelu za pośrednictwem żadnego z dwóch adresów API Ollama wypróbowanych przez użytkownika.

W dyskusji rozdzielono dostęp do internetu od komunikacji między kontenerami. Aplikacje można było pobierać, a do Ollama można było uzyskać dostęp z innego urządzenia, ale Open WebUI nadal zgłaszał problem z siecią Ollama. Końcowa diagnoza w wątku wskazywała, że Open WebUI i Ollama nie były podłączone do tej samej sieci Dockera; autor nie opublikował ostatecznego potwierdzenia po ostatniej rekomendacji.

GPU było widoczne, ale usługi AI były odłączone

Zewnętrzny procesor GPU NVIDIA był widoczny w panelu ZimaOS, dlatego osoba odpowiadająca po raz pierwszy nie uznała tego za problem z wykrywaniem GPU. Zamiast tego zauważyła, że Open WebUI jest interfejsem, który łączy się z Ollama, a nie aplikacją samodzielnie pobierającą i udostępniającą modele. Ogólny błąd połączenia w Stable Diffusion również zinterpretowano jako problem z dotarciem do jego zaplecza lub interfejsu API.

Zrzut ekranu stanu lokalnej AI w ZimaOS udostępniony podczas rozwiązywania problemu
Jeden z widoków stanu przesłanych po prośbie społeczności o podanie dodatkowych szczegółów.
Widok aplikacji ZimaOS przedstawiający lokalne kontenery AI
Zainstalowane lokalne aplikacje AI pokazane przez autora.

Dlaczego localhost nie wskazywał Ollama

Autor zgłosił, że Ollama działa na porcie 11434, i wypróbował zarówno adres localhost, jak i sugerowany adres Dockera. Osoba odpowiadająca ze społeczności wyjaśniła, że localhost wewnątrz kontenera Open WebUI odnosi się do samego Open WebUI, a nie do osobnego kontenera Ollama.

Na podstawie listy kontenerów widocznej na zrzutach ekranu osoba odpowiadająca zasugerowała użycie nazwy kontenera Ollama i portu: http://ollama-nvidia:11434. Zasada przedstawiona w tej odpowiedzi polegała na kierowaniu żądania do usługi zależnej za pomocą jej tożsamości w Dockerze, zamiast zakładania, że kontener frontendu współdzieli interfejs loopback hosta.

Ustawienia połączenia Open WebUI z Ollamą pokazane w ZimaOS
Ustawienia połączenia przesłane do sprawdzenia.
Ustawienia kontenera Ollama w lokalnej konfiguracji AI ZimaOS
Konfiguracja po stronie Ollamy pokazana w tej samej sekwencji rozwiązywania problemu.
Odpowiedź usługi Ollama osiągnięta z innego urządzenia w sieci
Usługa była dostępna spoza niesprawnego połączenia między frontendem a backendem.

Pozostały problem dotyczył sieci Docker

Sama zmiana adresu URL nie rozwiązała problemu. Autor wymienił następnie kilka dostępnych sieci, w tym bridge i host, ollama-nvidia_default, oraz big-bear-open-webui_default. Odpowiadający stwierdził, że oba kontenery nadal były odizolowane w różnych sieciach.

Ostatecznie zalecono podłączenie Open WebUI i Ollamy do jednej, identycznej współdzielonej sieci Docker, a następnie użycie nazwy kontenera Ollama w adresie URL API. Wątek kończy się w tym miejscu, więc dokumentuje prawdopodobną granicę sieci oraz proponowane rozwiązanie, a nie ostateczną poprawkę potwierdzoną przez użytkownika.

Open WebUI zgłasza problem z siecią Ollama
Błąd nadal występował po przetestowaniu wielu adresów API.

FAQ

Czy pobieranie aplikacji dowodzi, że Open WebUI może połączyć się z Ollamą?

Nie. W tym przypadku ZimaOS miał dostęp do internetu i mógł pobierać aplikacje, podczas gdy dwa uruchomione kontenery nadal nie mogły komunikować się ze sobą.

Czy potwierdzono, że zewnętrzny procesor graficzny NVIDIA był przyczyną?

Nie. Procesor graficzny pojawił się w panelu, a diagnoza społeczności skupiała się na adresach usług i izolacji sieci Docker. Wątek nie wskazywał błędu GPU jako głównej przyczyny.