Ein lokales LLM kann eine Eingabeaufforderung beantworten und trotzdem den falschen Modellpfad verwenden. Die App-Oberfläche zeigt möglicherweise den erwarteten Modellnamen an, während die Laufzeitumgebung aus einem alten Cache, einem internen Docker-Verzeichnis, einem Standardmodellordner oder einer Datei liest, die an anderer Stelle erneut heruntergeladen wurde.
Die sicherste Prüfung besteht nicht aus einem einzelnen Befehl. Sie ist eine kurze Beweiskette: Vergleichen Sie den Host-Ordner, den Container-Mount, die Modellliste der Laufzeitumgebung, die Modellmetadaten, den aktiven Speicherstatus, die Protokolle und das tatsächliche Wachstum des Speicherplatzes. Wenn diese Ebenen übereinstimmen, können Sie wesentlich sicherer sein, dass das LLM die richtigen Modelldateien und den richtigen Speicherpfad verwendet.
Der angezeigte Ordner ist nicht immer der Pfad, den die Laufzeitumgebung verwendet
Der erste Fehler besteht darin, dem Dateimanagerpfad zu früh zu vertrauen. Ein NAS-Ordner kann das heruntergeladene Modell enthalten, aber das beweist nicht, dass die lokale LLM-Laufzeit darauf zugreifen kann oder es von dort lädt.
Docker fügt eine weitere Ebene hinzu. Ein Hostpfad wie /mnt/storage/ai/models kann einem Containerpfad wie /root/.ollama zugeordnet sein; die Modelllaufzeit sieht nur den Containerpfad. In der Docker-Dokumentation zu Bind-Mounts wird erläutert, dass source der Pfad auf dem Host und destination oder target der Pfad innerhalb des Containers ist. Deshalb müssen beide gemeinsam anhand der Docker-Bind-Mounts überprüft werden.
Die praktische Pfadfrage ist einfach: Fragen Sie nicht nur, wo Sie das Modell abgelegt haben. Fragen Sie, welchen Pfad die Laufzeitumgebung sieht und auf welchen Host-Ordner dieser Containerpfad tatsächlich verweist.
Mit der Modellliste der Laufzeitumgebung beginnen
Bevor Sie jeden Ordner überprüfen, fragen Sie zunächst die Modellliste der Laufzeitumgebung, welche Modelle ihr bekannt sind. Starten Sie bei Ollama mit:
ollama list
Verwenden Sie innerhalb eines Docker-Containers dieselbe Laufzeitprüfung innerhalb der Dienstgrenze:
docker exec -it ollama ollama list
Diese Laufzeitregistrierung bestätigt, dass die Laufzeit ein Modell-Tag registriert hat, beweist aber nicht vollständig, dass der Dateipfad, die Quantisierung oder der Speicherort korrekt sind. In der CLI-Referenz von Ollama wird ollama ps für laufende Modelle aufgeführt. Die FAQ erläutert das Modellverzeichnis und die Umgebungsvariable OLLAMA_MODELS in ihren Hinweisen zum Modellverzeichnis.
Nutzen Sie diesen Schritt als ersten Prüfpunkt, nicht als endgültige Antwort. Wenn das erwartete Modell hier nicht angezeigt wird, verweist die App möglicherweise auf eine andere Laufzeitumgebung, wurde das Modell vielleicht nicht importiert oder das konfigurierte Modellverzeichnis ist möglicherweise nicht das Verzeichnis, das der Dienst verwendet.
Hostpfad und Containerpfad abgleichen
Bei Docker-Bereitstellungen ist vor allem wichtig, ob Hostpfad und Containerpfad tatsächlich übereinstimmen. Führe Folgendes aus:
docker inspect <container-name>
Sieh dir dann den Abschnitt „Mounts“ an. Source sollte auf den NAS-Speicherordner verweisen, den du verwenden wolltest, und Destination auf das Modellverzeichnis innerhalb des Containers. Dockers Befehl inspect gibt detaillierte Informationen zum Objekt zurück. Daher ist docker inspect Mounts eine verlässlichere Informationsquelle als Erinnerungen oder Screenshots.
Eine gute Docker-Mount-Zuordnung sollte den Zusammenhang zwischen den Speicherorten deutlich machen:
| Ebene | Beispiel | Bedeutung |
|---|---|---|
| Hostquelle | /mnt/storage/ai/ollama |
Der tatsächliche NAS-Ordner, in dem Modelldaten gespeichert werden |
| Containerziel | /root/.ollama |
Der Pfad, den die Modelllaufzeit innerhalb von Docker sieht |
| Laufzeitverhalten | Ollama liest aus /root/.ollama
|
Dateien sollten im Quellordner auf dem Host wachsen |
Wenn der Quellpfad auf das Docker-Stammverzeichnis, einen temporären Pfad, einen alten Ordner oder ein kleines Systemlaufwerk verweist, funktioniert das Modell möglicherweise weiterhin, während es das falsche Laufwerk füllt.
Überprüfe die tatsächlichen Modelldateien, nicht nur den Modellnamen
Ein Modellname ist nicht dasselbe wie eine verifizierte Modelldatei. Derselbe Name kann je nach Laufzeit auf unterschiedliche Tags, Formate, Quantisierungsstufen, Adapter oder zwischengespeicherte Blobs verweisen.
Prüfe bei Ollama die Modellmetadaten mit:
ollama show <model-name> --modelfile
Führe in Docker dieselbe Modelfile-Prüfung über den Container aus:
docker exec -it ollama ollama show <model-name> --modelfile
Ollama-Modelfile-Metadaten sind hier wichtig. Die Dokumentation zu Modelfile von Ollama erklärt, dass ollama show --modelfile die Konfiguration des Modells anzeigen kann, einschließlich der FROM-Quelle des Modells. Für manuell heruntergeladene .gguf-Dateien zeigt die Quantisierungsdokumentation von llama.cpp GGUF und Formate wie Q4_K_M, daher sind GGUF-Modelldatei-Metadaten Teil der Überprüfung und dienen nicht nur der Leistungsoptimierung.
Protokolle zeigen, welcher Pfad tatsächlich geladen wurde
Wenn die Benutzeroberfläche und die Dateipfade nicht übereinstimmen, sind die Protokolle oft der eindeutigste Beleg. Sie können Startpfade, fehlgeschlagene Lesevorgänge, Berechtigungsfehler, fehlende Dateien, Modelldownloads und Ausweichverhalten anzeigen.
Verwenden Sie für Docker diese Prüfung der Containerprotokolle:
docker logs <container-name>
In der Dokumentation zur Docker-Protokollierung wird erklärt, dass Containerprotokolle gewöhnlich die Ausgaben des Containerprozesses aus STDOUT und STDERR enthalten. Auf der Ollama-Seite zur Fehlerbehebung wird darauf hingewiesen, dass sich die Protokolle von Ollama in Containern mit Docker-Protokolle anzeigen lassen.
Achten Sie auf Pfadhinweise wie OLLAMA_MODELS, Meldungen zu Modelldownloads, Fehler beim Laden, Berechtigungsfehler oder Verzeichnisse, die nicht mit dem vorgesehenen Speicherordner übereinstimmen. Wenn die Protokolle ein anderes Verzeichnis nennen als das eingebundene, richten Sie sich nach den Protokollen und korrigieren Sie den Pfad.
Bestätigen, dass das Modell im Arbeitsspeicher aktiv ist
Als Nächstes prüfen Sie den aktiven Modellstatus. Ein Modell kann installiert oder registriert sein, ohne derzeit geladen zu sein. Senden Sie eine kurze Eingabeaufforderung und führen Sie sofort danach Folgendes aus:
ollama ps
Führen Sie in Docker dieselbe Prüfung des aktiven Modells im Container aus:
docker exec -it ollama ollama ps
Was ollama ps nachweisen kann
ollama ps zeigt, welche Modelle derzeit geladen sind. In der Ollama-FAQ wird erklärt, dass die Spalte Processor anzeigen kann, ob ein Modell auf der CPU, der GPU oder verteilt auf CPU und GPU geladen ist. So lässt sich der aktive Laufzeitstatus bestätigen und nicht nur die Modellbibliothek prüfen.
Das ist hilfreich, wenn Sie wissen müssen, ob das erwartete Modell gerade aktiv ist, im Arbeitsspeicher bleibt und den erwarteten Prozessorpfad verwendet. Besonders nützlich ist es nach einem Modellwechsel, einer Änderung der Tags oder beim Testen des GPU-/CPU-Verhaltens.
Was sich damit nicht nachweisen lässt
ollama ps beweist für sich allein nicht die Zuordnung zum Host-Ordner. Der Befehl kann anzeigen, dass ein Modell aktiv ist. Um zu belegen, dass es aus dem vorgesehenen Pfad stammt, benötigen Sie jedoch weiterhin docker inspect, Modellmetadaten, Protokolle und Prüfungen des Speicherplatzverbrauchs.
Damit ist auch nicht bewiesen, dass eine benutzerdefinierte Modelldatei genau die erwartete Quantisierung oder Quelle hat. Prüfen Sie dafür die Metadaten, sehen Sie sich die Modelfile an und überprüfen Sie die Datei.
Warnzeichen für einen falschen Modellpfad
Ein falscher Modellpfad verursacht oft Symptome, bevor das Problem offensichtlich wird. Das häufigste Anzeichen ist ein unerklärlicher Speicherplatzverbrauch auf dem Startlaufwerk, im Docker-Stammverzeichnis oder auf einem App-Datenvolume, das Sie eigentlich nicht verwenden wollten.
Achten Sie auf diese Signale für einen falschen Pfad:
- Die App zeigt das Modell an, aber dein vorgesehener Modellordner wächst nicht.
-
docker inspectzeigt einen Quellpfad an, der sich von deinem NAS-Speicherordner unterscheidet. - Das Modell wird erneut heruntergeladen, obwohl du davon ausgegangen bist, dass es bereits vorhanden ist.
- Die Protokolle verweisen auf ein standardmäßiges Modellverzeichnis statt auf deinen benutzerdefinierten Pfad.
-
ollama listzeigt ein anderes Tag oder eine andere Größe als erwartet. -
ollama show --modelfileverweist auf eine andere Basis oder einen anderen Blob als erwartet. -
ollama pszeigt nach einer Eingabeaufforderung ein unerwartetes aktives Modell an. - Nach jedem Modelldownload wird auf dem Bootlaufwerk weniger Speicherplatz verfügbar.
Wenn zwei Überprüfungsebenen voneinander abweichen, vereinfache den Test. Stoppe den Container, überprüfe den Mount, starte den Dienst neu, lade ein kleines, bekanntes Modell herunter und prüfe, welches Verzeichnis wächst.
Eine übersichtlichere Reihenfolge für die Überprüfung des lokalen LLM-Speichers
Halte dich an eine feste Reihenfolge für die Überprüfung, statt zufällige Ordner zu prüfen. So verwechselst du keine Host-, Container-, App- und Laufzeitpfade.
- Bestätige den vorgesehenen Speicherordner auf dem Host.
- Prüfe den freien Speicherplatz auf dem Systemlaufwerk und dem Modelllaufwerk.
- Führe
docker inspect <container-name>aus und überprüfe Quelle und Ziel. - Prüfe die Modellliste der Laufzeitumgebung mit
ollama list. - Lade ein kleines, bekanntes Modell herunter oder importiere es.
- Führe vor und nach dem Download
du -sh <model-folder>aus. - Prüfe die Metadaten mit
ollama show <model-name> --modelfile. - Sende eine kurze Eingabeaufforderung.
- Führe
ollama psaus, um das aktive Modell zu bestätigen. - Lies die Container- oder Dienstprotokolle auf Hinweise zu Pfaden, Downloads oder Berechtigungen.
Eine ordentliche Speicherüberprüfung sollte damit enden, dass alle Ebenen auf denselben Ort verweisen: Der Modellordner wächst auf dem erwarteten Laufwerk, der Container-Mount verweist auf diesen Ordner, die Laufzeitumgebung listet das Modell auf, die Metadaten stimmen mit der erwarteten Datei überein, die Protokolle enthalten keine Pfadfehler und das aktive Modell ist das gerade getestete.
Was die ZimaOS-KI-Suche über sichtbare Modellpfade verrät
Bei einer kontrollierten lokalen KI-Funktion sollten Modellpfad, Downloadstatus, Ressourcennutzung und Protokolle so sichtbar sein, dass sie sich überprüfen lassen. Andernfalls können Nutzer nur raten, ob der KI-Dienst tatsächlich die erwarteten Modelldateien verwendet.
ZimaOS-AI ist ein nützliches Beispiel. Der ZimaSpace-Leitfaden zur KI-Suche erklärt, dass das KI-Modul ein lokales LLM verwendet, um Merkmale aus Bildern, Audio und Videos für die ZimaOS-Suche zu extrahieren. Im selben kurzen Hinweis steht, dass Modelldateien unter /media/ZimaOS-HD/AppData/.models gespeichert werden. Wenn AppData migriert wurde, richtet sich der tatsächliche Speicherort nach dem Speicherort des migrierten AppData.
Der Leitfaden beschreibt außerdem Betriebsprüfungen wie automatische Modelldownloads, Intervalle für die Feature-Extraktion, Anrufverlauf, Netzwerkverkehrsprüfungen und journalctl -xef -u zimaos-ai zur Fehlerbehebung. Genau solche Informationen benötigt eine lokale KI-Workload: ein sichtbarer Pfad, nachvollziehbares Downloadverhalten, sichtbare Protokolle und ein sichtbarer Laufzeitstatus.
Bei einer privaten Cloud-Einrichtung wie ZimaCube 2 ist dies die wichtigste Erkenntnis: lokale KI sollte keine Blackbox sein. Ob für die Suche, den Chat, Embeddings oder die Medienanalyse: Der Modellpfad und der Laufzeitstatus sollten leicht zu überprüfen sein.
Häufig gestellte Fragen
Wo speichert Ollama die Modelldateien?
Überprüfe das standardmäßige Modellverzeichnis von Ollama für dein Betriebssystem und anschließend, ob OLLAMA_MODELS es geändert hat. Überprüfe bei Docker außerdem den Container-Mount, damit du weißt, welcher Host-Ordner dem Modellverzeichnis der Laufzeitumgebung zugeordnet ist.
Wie überprüfe ich, ob Docker den richtigen Modellordner verwendet?
Führe docker inspect <Containername> aus und überprüfe den Abschnitt Mounts. Als Quelle sollte der vorgesehene NAS-Speicherpfad angegeben sein und als Ziel das Modellverzeichnis im Container.
Was sind manifests und blobs in einem Ollama-Modellverzeichnis?
In einem Ollama-Modellverzeichnis beschreiben Manifeste die Modellmetadaten und Verweise, während Blobs die größeren Modelldateien enthalten. Wenn der Ordner „blobs“ nach dem Herunterladen eines Modells wächst, ist das ein starkes Indiz dafür, dass dieses Verzeichnis zum Speichern von Modellen verwendet wird.
Wie finde ich heraus, welches Modell derzeit geladen ist?
Sende eine kurze Eingabeaufforderung und führe dann ollama ps aus. Der Befehl zeigt das aktuell geladene Modell und den Prozessorstatus an. So lässt sich bestätigen, ob das erwartete Modell auf der CPU, GPU oder aufgeteilt auf CPU und GPU aktiv ist.
Warum zeigt die App das Modell an, obwohl der Dateipfad weiterhin falsch zu sein scheint?
Die App liest möglicherweise eine Laufzeitregistrierung, ein zwischengespeichertes Modell, einen Docker-internen Pfad oder ein anderes Modellverzeichnis aus als das, das du im Dateimanager überprüfst. Überprüfe die Laufzeitliste, den Docker-Mount, die Metadaten, die Protokolle und den tatsächlichen Speicherplatzverbrauch, bevor du der Benutzeroberfläche vertraust.
Eine Überprüfung des Pfads eines lokalen LLM ist erst abgeschlossen, wenn Speicherpfad des Hosts, Container-Ziel, Laufzeit-Modellliste, Modellmetadaten, aktiver Speicherstatus, Protokolle und Speicherplatzverbrauch übereinstimmen. Wenn eine Ebene auf einen anderen Pfad verweist, korrigiere den Pfad, bevor du weitere Modelle herunterlädst oder Apps verbindest.
Support und Tipps
Mehr zum Lesen

Was vor dem Laden eines Community-Modells in Transformers zu beachten ist
Nutze das Transformers-Jinja-Sandbox-Update, um die Herkunft des Modells, Chat-Vorlagen, Remote-Code, serialisierte Gewichte und isolierte erste Ausführungen zu überprüfen.

Mirage lokal ausführen: OCR und Objekterkennung aus einem einzigen Bild
Testen Sie das kleine lokale Vision-Modell von Cactus Compute, überprüfen Sie die OCR- und Objektextraktion anhand realer Eingaben und verstehen Sie die Grenzen in...

So planst du einen Coding-Agenten in Open WebUI auf einem Homeserver ein
Richte in Open WebUI eine Coding-Agent-Automatisierung im Nur-Bericht-Modus ein, wähle ihr Terminal und ihren Arbeitsbereich aus und überprüfe Berechtigungen, Protokolle und die Wiederherstellung nach...



