Solution communautaire

Comment connecter les modèles Ollama à Open WebUI sur ZimaOS

A ZimaOS discussion comparing a failed model-download and GPU-detection attempt with a confirmed Ollama-Nvidia and Open WebUI setup running on an RTX 3060 server.

La question initiale de la communauté provenait d’un utilisateur de ZimaOS qui exécutait déjà Ollama et Open WebUI sur deux ordinateurs distincts, mais qui ne parvenait pas à reproduire cette configuration avec les applications ZimaOS. L’utilisateur pouvait ouvrir les deux applications, mais Open WebUI ne téléchargeait ni n’affichait de modèle Ollama, et le système ne semblait pas reconnaître le GPU NVIDIA.

La discussion n’a jamais abouti à une solution universelle. Elle a plutôt documenté trois résultats différents : une commande docker exec incomplète qui ne pouvait pas fonctionner telle quelle, une recommandation concernant l’ordre d’installation dans ZimaOS pour l’accélération NVIDIA, et un témoignage ultérieur de la communauté indiquant que Ollama-Nvidia et Open WebUI fonctionnaient correctement sur un serveur équipé d’une RTX 3060. Cette distinction entre les différentes approches est plus utile que de présenter le fil comme un tutoriel unique et résolu.

Pourquoi la commande docker exec d’origine a échoué

Le premier conseil reçu par l’auteur était de se connecter via SSH, puis d’exécuter sudo docker ps, copiez l’identifiant du conteneur Ollama, puis exécutez sudo docker exec. Docker a renvoyé une erreur, car docker exec nécessite à la fois un conteneur en cours d’exécution et une commande à exécuter à l’intérieur de celui-ci.

docker exec [OPTIONS] CONTAINER COMMAND [ARG...]

Par exemple, une commande complète devrait contenir l’identifiant du conteneur suivi d’une véritable commande. Le fil de discussion de la communauté ne fournissait ni ne confirmait le nom exact du conteneur Ollama ou la commande prévue. Il aurait donc été imprudent d’inventer une commande à copier-coller et de la présenter comme la solution du forum.

Le problème principal ne concernait pas uniquement la syntaxe du terminal. L’auteur a indiqué qu’une tentative de téléchargement d’un modèle via Open WebUI ne produisait aucun résultat visible et que le GPU n’était pas détecté. Les utilisateurs qui prévoient d’utiliser la même configuration peuvent consulter les exigences matérielles d’Ollama et les exigences matérielles d’Open WebUI avant de distinguer un problème d’interface d’un problème lié au matériel d’inférence.

Connecter Open WebUI à une instance Ollama distincte

Zima-Giorgio a d’abord orienté l’auteur vers la documentation de connexion d’Open WebUI à Ollama, car les services Ollama et Open WebUI de l’utilisateur pouvaient fonctionner séparément. Le guide officiel d’Open WebUI pour le fournisseur Ollama actuel place cette configuration dans Admin Settings → Connections → Ollama → Manage.

Le point architectural essentiel est qu’Open WebUI est l’interface et qu’Ollama est le service principal qui fournit les modèles. Si les services se trouvent dans des conteneurs différents ou sur des ordinateurs différents, Open WebUI doit pouvoir accéder à l’API Ollama via le réseau. Un modèle présent dans Ollama n’apparaîtra pas simplement parce que les deux icônes d’application sont installées.

En cas d’échec de connexion, le guide officiel de connexion d’Open WebUI explique qu’Ollama écoute généralement sur 127.0.0.1, qui n’est pas accessible depuis un autre conteneur ou ordinateur. Cette documentation fournit un contexte utile, mais le forum n’a pas confirmé qu’il s’agissait de la cause exacte dans l’installation ZimaOS de l’auteur.

Ordre d’installation du GPU NVIDIA suggéré dans la discussion

Pour la procédure via la boutique d’applications ZimaOS disponible en février 2025, Zima-Giorgio a suggéré de supprimer l’application Open WebUI précédemment installée, d’installer d’abord la prise en charge du GPU NVIDIA, puis de réinstaller Open WebUI :

  1. Supprimez l’installation existante d’Open WebUI si elle a été effectuée avant la prise en charge du GPU.
  2. Installez la prise en charge du GPU NVIDIA ou l’application Ollama spécifique au GPU.
  3. Installez Open WebUI une fois la couche GPU disponible.

La réponse décrivait explicitement cette situation comme une limitation temporaire susceptible d’être corrigée ultérieurement. Elle doit donc être considérée comme une procédure historique issue de la discussion, et non comme une règle permanente pour toutes les versions actuelles de ZimaOS.

L’auteur original a indiqué que cette séquence n’avait pas résolu le problème sur sa machine. Il a finalement installé Linux Mint, vérifié que Linux reconnaissait le GPU NVIDIA, configuré l’accès du GPU pour Docker, installé CasaOS, puis installé Ollama et Open WebUI via le terminal. Dans cet environnement, Open WebUI pouvait télécharger un modèle.

Open WebUI peut-il télécharger directement des modèles Ollama ?

Zima-Giorgio a précisé par la suite que le déploiement d’Open WebUI sur ZimaOS présenté dans la vidéo de l’équipe incluait Ollama et permettait de télécharger directement des modèles depuis l’interface. Cette précision suggère qu’une procédure manuelle distincte ollama run modelname La commande n’était pas toujours nécessaire pour ce déploiement fourni.

La vidéo a été proposée deux fois dans la discussion, mais l’auteur original a indiqué qu’elle ne résolvait pas son problème spécifique de téléchargement du modèle et de détection du GPU. Elle reste une référence visuelle du workflow fourni, et non la preuve que chaque installation fonctionnera de la même manière.

Une configuration communautaire fonctionnelle avec une RTX 3060

Denzil a ensuite fourni l’exemple de configuration ZimaOS fonctionnelle le plus clair. Sur un ancien serveur Lenovo équipé d’une NVIDIA RTX 3060, l’utilisateur a installé les applications Ollama-Nvidia et Open WebUI. Ollama utilisait le GPU, Open WebUI détectait l’instance Ollama et l’interface était accessible depuis les navigateurs du réseau local via le port 3050.

Cette configuration fonctionnait pour les requêtes textuelles. Denzil n’avait pas activé la saisie vocale, car des certificats de navigateur auraient été nécessaires ; il ne faut donc pas en déduire que les fonctionnalités vocales avaient été configurées. Une machine Home Assistant distincte se connectait au serveur Ollama pour les requêtes LLM de conversation vocale.

Neuf mois plus tard, Denzil a indiqué que l’installation sur le Lenovo avec la RTX 3060 fonctionnait presque en continu. Le même serveur ZimaOS hébergeait également Immich, Jellyfin, des workflows liés à Joplin, le partage de fichiers et d’autres services auto-hébergés. Ce suivi confirme la stabilité à long terme de la configuration NVIDIA de cet utilisateur, mais n’explique pas pourquoi l’installation de l’auteur original a échoué.

Limites entre les GPU NVIDIA et Intel

Le rapport concluant concernait une NVIDIA RTX 3060. Les utilisateurs devraient comparer leur carte à l’actuelle documentation d’Ollama sur la prise en charge des GPU et vérifier que le système d’exploitation hôte ainsi que le runtime de conteneurs peuvent tous deux détecter le GPU.

Un autre utilisateur a demandé pourquoi un GPU Intel ne fonctionnait pas avec Open WebUI. Aucun correctif Intel vérifié n’a été publié dans ce fil. Denzil a explicitement indiqué ne pas avoir d’expérience avec les cartes Intel et a partagé un lien vers le guide d’extension GPU de ZimaCube. La question concernant Intel est donc restée sans réponse et ne devrait pas être traitée par extrapolation à partir du résultat obtenu avec la RTX 3060.

Liste de vérification pratique fondée sur la discussion

  1. Vérifiez si Open WebUI inclut un backend Ollama local ou s’il doit se connecter à une instance Ollama séparée.
  2. Si les services sont séparés, configurez l’URL de connexion à Ollama dans Open WebUI et confirmez que le port 11434 est accessible.
  3. Pour l’accélération NVIDIA, vérifiez que le GPU est détecté sur l’hôte avant de diagnostiquer Open WebUI.
  4. Vérifiez que le moteur d’exécution des conteneurs expose le GPU au conteneur Ollama.
  5. Dans les versions historiques de l’application ZimaOS évoquées dans la discussion, installez la prise en charge du GPU avant de réinstaller Open WebUI.
  6. Téléchargez un modèle via Open WebUI et vérifiez qu’il apparaît dans le sélecteur de modèles.
  7. Si le modèle reste indisponible, recueillez l’état de la connexion d’Open WebUI, les journaux d’Ollama, les noms des conteneurs et la sortie de détection du GPU au lieu d’exécuter une docker exec commande.

Pour les expérimentations utilisant uniquement le processeur ou nécessitant peu de puissance, le guide de la boutique sur l’exécution d’une IA locale sur un NAS domestique sans GPU aide à définir des attentes réalistes concernant la taille des modèles et les performances.

FAQ sur Ollama et Open WebUI sur ZimaOS

Pourquoi docker exec a-t-il indiqué qu’au moins deux arguments étaient requis ?

La commande était incomplète. Docker nécessite un identifiant ou un nom de conteneur en cours d’exécution, suivi d’une commande à exécuter dans ce conteneur.

Open WebUI peut-il télécharger directement des modèles Ollama ?

D’après la réponse de Zima-Giorgio et la vidéo partagée, le déploiement Open WebUI fourni pouvait télécharger des modèles depuis son interface. L’auteur d’origine rencontrait toujours un échec lors du téléchargement ; il faut donc également vérifier la connexion à Ollama ainsi que l’état du GPU et du conteneur.

Quelle combinaison d’applications ZimaOS fonctionnait d’après les réponses ?

Denzil a signalé qu’Ollama-Nvidia et Open WebUI fonctionnaient sur un serveur Lenovo équipé d’une RTX 3060. Open WebUI se connectait à Ollama et était accessible sur le réseau local via le port 3050.

La discussion fournissait-elle une solution pour les GPU Intel ?

Non. La question du GPU Intel est restée sans réponse, et la configuration fonctionnelle utilisait du matériel NVIDIA.

Est-il toujours nécessaire de supprimer Open WebUI et de le réinstaller après avoir activé la prise en charge du GPU ?

La réponse décrivait cette séquence comme une limitation temporaire de ZimaOS en février 2025. Vérifiez le comportement actuel de l’application avant de supprimer une installation existante et sauvegardez d’abord les données persistantes de l’application.