Solução da comunidade

Como ligar modelos Ollama ao Open WebUI no ZimaOS

A ZimaOS discussion comparing a failed model-download and GPU-detection attempt with a confirmed Ollama-Nvidia and Open WebUI setup running on an RTX 3060 server.

A pergunta original da comunidade começou com um utilizador do ZimaOS que já executava o Ollama e o Open WebUI em computadores separados, mas não conseguia reproduzir essa configuração com as aplicações do ZimaOS. O utilizador conseguia abrir ambas as aplicações, mas o Open WebUI não transferia nem apresentava um modelo Ollama, e o sistema não parecia reconhecer a GPU NVIDIA.

A discussão nunca produziu uma solução universal. Em vez disso, documentou três resultados diferentes: um comando docker exec incompleto que não podia funcionar tal como estava escrito, uma recomendação sobre a ordem de instalação no ZimaOS para aceleração NVIDIA e, mais tarde, um relato da comunidade de que Ollama-Nvidia e Open WebUI funcionaram com sucesso num servidor com uma RTX 3060. A distinção entre estes caminhos é mais útil do que apresentar a discussão como um único tutorial resolvido.

Porque Falhou o Comando docker exec Original

O primeiro conselho recebido pelo autor foi ligar-se através de SSH, executar sudo docker ps, copie o ID do contentor Ollama e, em seguida, execute sudo docker execO Docker devolveu um erro porque docker exec requer tanto um contentor em execução como um comando a executar dentro dele.

docker exec [OPTIONS] CONTAINER COMMAND [ARG...]

Por exemplo, um comando completo teria de incluir o identificador do contentor, seguido de um comando real. A discussão da comunidade não forneceu nem confirmou o nome exato do contentor Ollama ou o comando pretendido, pelo que seria inseguro inventar um comando pronto a copiar e colar e apresentá-lo como a solução do fórum.

O problema mais abrangente não estava apenas na sintaxe do terminal. O autor referiu que, ao tentar obter um modelo através do Open WebUI, não era apresentado qualquer resultado visível e a GPU não era detetada. Os utilizadores que planeiem a mesma configuração podem consultar os requisitos de hardware do Ollama e os requisitos de hardware do Open WebUI antes de distinguirem um problema da interface de um problema do hardware de inferência.

Ligar o Open WebUI a uma instância Ollama separada

O Zima-Giorgio indicou inicialmente ao autor a documentação sobre a ligação do Open WebUI ao Ollama, uma vez que os serviços Ollama e Open WebUI do utilizador poderiam estar a ser executados separadamente. O atual guia do fornecedor Ollama do Open WebUI coloca esta configuração em Definições de administrador → Ligações → Ollama → Gerir.

O ponto arquitetural importante é que o Open WebUI é a interface e o Ollama é o back-end que disponibiliza os modelos. Se os serviços estiverem em contentores diferentes ou em computadores diferentes, o Open WebUI tem de conseguir aceder à API do Ollama através da rede. Um modelo existente no Ollama não aparecerá apenas porque os ícones das duas aplicações estão instalados.

Em caso de falhas de ligação, o guia oficial de ligação do Open WebUI explica que o Ollama costuma estar à escuta em 127.0.0.1, o que impede o acesso a partir de outro contentor ou computador. Esta documentação é um contexto útil, mas o fórum não confirmou que esta fosse a causa exata na instalação do ZimaOS do autor.

A ordem de instalação da NVIDIA sugerida no tópico

Para o procedimento da loja de aplicações do ZimaOS disponível em fevereiro de 2025, o Zima-Giorgio sugeriu remover uma aplicação Open WebUI instalada anteriormente, instalar primeiro o suporte para GPU NVIDIA e, em seguida, instalar novamente o Open WebUI:

  1. Remova a instalação existente do Open WebUI se tiver sido instalada antes do suporte para GPU.
  2. Instale o suporte para GPU NVIDIA ou a aplicação Ollama específica para GPU.
  3. Instale o Open WebUI depois de a camada da GPU estar disponível.

A resposta descreveu explicitamente esta situação como uma limitação temporária que poderia ser corrigida mais tarde. Por isso, deve ser encarada como um procedimento histórico do tópico, não como uma regra permanente para todas as versões atuais do ZimaOS.

O autor original relatou que esta sequência não resolveu o problema no seu computador. Acabou por instalar o Linux Mint, confirmou que o Linux reconhecia a GPU NVIDIA, configurou o acesso da GPU para o Docker, instalou o CasaOS e, em seguida, instalou o Ollama e o Open WebUI através do terminal. Nesse ambiente, o Open WebUI conseguiu transferir um modelo.

O Open WebUI consegue obter modelos do Ollama diretamente?

O Zima-Giorgio esclareceu mais tarde que a implementação do Open WebUI no ZimaOS apresentada no vídeo da equipa incluía o Ollama e permitia obter modelos diretamente através da interface. O esclarecimento sugere que era necessário um procedimento manual separado ollama run modelname o comando nem sempre era necessário para essa implementação incluída no pacote.

O vídeo foi disponibilizado duas vezes na discussão, mas o autor original afirmou que não resolveu o seu problema específico de transferência do modelo e deteção da GPU. Continua a ser uma referência visual para o fluxo de trabalho incluído no pacote, não uma prova de que todas as instalações irão comportar-se da mesma forma.

Uma configuração da comunidade que funcionou com uma RTX 3060

Mais tarde, Denzil apresentou o exemplo de sucesso mais claro no ZimaOS. Num servidor Lenovo mais antigo com uma NVIDIA RTX 3060, o utilizador instalou as aplicações Ollama-Nvidia e Open WebUI. O Ollama utilizava a GPU, o Open WebUI detetava a instância do Ollama e a interface estava acessível através de navegadores na rede local, pela porta 3050.

Esta configuração funcionava com pedidos de texto. Denzil ainda não tinha ativado a entrada de voz, pois seriam necessários certificados do navegador, pelo que o resultado não deve ser ampliado para afirmar que as funcionalidades de voz estavam configuradas. Uma máquina separada com o Home Assistant ligava-se ao servidor Ollama para consultas de LLM de conversação por voz.

Nove meses mais tarde, Denzil relatou que a instalação no Lenovo com a RTX 3060 tinha estado a funcionar quase continuamente. O mesmo servidor ZimaOS alojava também o Immich, o Jellyfin, fluxos de trabalho relacionados com o Joplin, partilha de ficheiros e outros serviços auto-hospedados. Este acompanhamento confirma a estabilidade a longo prazo da configuração NVIDIA desse utilizador, mas não explica por que motivo a instalação do autor original falhou.

Limites das GPU NVIDIA e Intel

O relato de sucesso utilizou uma NVIDIA RTX 3060. Os utilizadores devem comparar a sua placa com a atual documentação de compatibilidade de GPU do Ollama e verificar se o sistema operativo anfitrião e o runtime do contentor conseguem ambos detetar a GPU.

Outro utilizador perguntou por que motivo uma GPU Intel não funcionava com o Open WebUI. Não foi publicada nesta discussão nenhuma solução Intel verificada. Denzil afirmou explicitamente não ter experiência com placas Intel e disponibilizou uma ligação para o guia de expansão de GPU do ZimaCube. A questão sobre a Intel permaneceu, portanto, sem resposta e não deve ser respondida extrapolando o resultado da RTX 3060.

Uma lista de verificação prática baseada na discussão

  1. Confirme se o Open WebUI inclui um backend local do Ollama ou se tem de se ligar a uma instância separada do Ollama.
  2. Se os serviços forem separados, configure o URL de ligação do Ollama no Open WebUI e confirme que a porta 11434 está acessível.
  3. Para aceleração NVIDIA, verifique a deteção da GPU no anfitrião antes de diagnosticar o Open WebUI.
  4. Verifique se o runtime de contentores disponibiliza a GPU ao contentor do Ollama.
  5. Nas versões históricas das aplicações do ZimaOS discutidas no tópico, instale o suporte para GPU antes de reinstalar o Open WebUI.
  6. Obtenha um modelo através do Open WebUI e confirme que aparece no seletor de modelos.
  7. Se o modelo continuar indisponível, recolha o estado da ligação do Open WebUI, os registos do Ollama, os nomes dos contentores e o resultado da deteção da GPU, em vez de executar um docker exec comando.

Para experiências apenas com CPU ou de baixo consumo, o guia da Shop sobre executar IA local num NAS doméstico sem uma GPU ajuda a definir expectativas realistas quanto ao tamanho dos modelos e ao desempenho.

Perguntas frequentes sobre o Ollama e o Open WebUI no ZimaOS

Porque é que o docker exec indicou que eram necessários pelo menos dois argumentos?

O comando estava incompleto. O Docker requer um identificador ou nome de contentor em execução, seguido do comando a executar dentro desse contentor.

O Open WebUI consegue transferir modelos do Ollama diretamente?

De acordo com a resposta de Zima-Giorgio e o vídeo partilhado, a implementação empacotada do Open WebUI conseguia obter modelos através da sua interface. O autor original continuava a ter uma falha durante a transferência, pelo que também é necessário verificar a ligação ao Ollama e o estado da GPU/do contentor.

Que combinação de aplicações do ZimaOS funcionou nas respostas?

Denzil relatou ter conseguido utilizar o Ollama-Nvidia e o Open WebUI num servidor Lenovo equipado com uma RTX 3060. O Open WebUI conseguia aceder ao Ollama e estava disponível na rede local através da porta 3050.

O tópico apresentava alguma solução para a GPU Intel?

Não. A questão da GPU Intel continuava por resolver, e a configuração bem-sucedida utilizava hardware NVIDIA.

É mesmo necessário remover o Open WebUI e reinstalá-lo depois de ativar o suporte para GPU?

A resposta descreveu essa sequência como uma limitação temporária do ZimaOS em fevereiro de 2025. Verifique o comportamento atual da aplicação antes de remover uma instalação existente e faça primeiro uma cópia de segurança dos dados persistentes da aplicação.