So überprüfst du, ob ein lokales LLM die richtigen Modelldateien und den richtigen Speicherpfad verwendet

Lauren Pan ist der Gründer von ZimaSpace und der Architekt hinter der gefeierten ZimaBoard-Serie. Er verbindet Industriedesign mit Embedded Engineering. Mit einer klaren Mission gründete Lauren ZimaSpace: Personal Cloud Computing zu demokratisieren. Er ist überzeugt, dass Hardware sowohl „hackbar“ als auch schön sein sollte– und so die Kluft zwischen Servern in Industriequalität und Geräten für Verbraucher schließt. Heute leitet er das Ingenieurteam bei der Entwicklung von Tools, die Kreativen die volle Kontrolle über ihr digitales Leben geben.

Ein lokales LLM kann eine Eingabeaufforderung beantworten und trotzdem den falschen Modellpfad verwenden. Die App-Oberfläche zeigt möglicherweise den erwarteten Modellnamen an, während die Laufzeitumgebung aus einem alten Cache, einem internen Docker-Verzeichnis, einem Standardmodellordner oder einer Datei liest, die an anderer Stelle erneut heruntergeladen wurde.

Die sicherste Prüfung besteht nicht aus einem einzelnen Befehl. Sie ist eine kurze Beweiskette: Vergleichen Sie den Host-Ordner, den Container-Mount, die Modellliste der Laufzeitumgebung, die Modellmetadaten, den aktiven Speicherstatus, die Protokolle und das tatsächliche Wachstum des Speicherplatzes. Wenn diese Ebenen übereinstimmen, können Sie wesentlich sicherer sein, dass das LLM die richtigen Modelldateien und den richtigen Speicherpfad verwendet.

Der angezeigte Ordner ist nicht immer der Pfad, den die Laufzeitumgebung verwendet

Der erste Fehler besteht darin, dem Dateimanagerpfad zu früh zu vertrauen. Ein NAS-Ordner kann das heruntergeladene Modell enthalten, aber das beweist nicht, dass die lokale LLM-Laufzeit darauf zugreifen kann oder es von dort lädt.

Docker fügt eine weitere Ebene hinzu. Ein Hostpfad wie /mnt/storage/ai/models kann einem Containerpfad wie /root/.ollama zugeordnet sein; die Modelllaufzeit sieht nur den Containerpfad. In der Docker-Dokumentation zu Bind-Mounts wird erläutert, dass source der Pfad auf dem Host und destination oder target der Pfad innerhalb des Containers ist. Deshalb müssen beide gemeinsam anhand der Docker-Bind-Mounts überprüft werden.

Die praktische Pfadfrage ist einfach: Fragen Sie nicht nur, wo Sie das Modell abgelegt haben. Fragen Sie, welchen Pfad die Laufzeitumgebung sieht und auf welchen Host-Ordner dieser Containerpfad tatsächlich verweist.

Mit der Modellliste der Laufzeitumgebung beginnen

Bevor Sie jeden Ordner überprüfen, fragen Sie zunächst die Modellliste der Laufzeitumgebung, welche Modelle ihr bekannt sind. Starten Sie bei Ollama mit:

ollama list

Verwenden Sie innerhalb eines Docker-Containers dieselbe Laufzeitprüfung innerhalb der Dienstgrenze:

docker exec -it ollama ollama list

Diese Laufzeitregistrierung bestätigt, dass die Laufzeit ein Modell-Tag registriert hat, beweist aber nicht vollständig, dass der Dateipfad, die Quantisierung oder der Speicherort korrekt sind. In der CLI-Referenz von Ollama wird ollama ps für laufende Modelle aufgeführt. Die FAQ erläutert das Modellverzeichnis und die Umgebungsvariable OLLAMA_MODELS in ihren Hinweisen zum Modellverzeichnis.

Nutzen Sie diesen Schritt als ersten Prüfpunkt, nicht als endgültige Antwort. Wenn das erwartete Modell hier nicht angezeigt wird, verweist die App möglicherweise auf eine andere Laufzeitumgebung, wurde das Modell vielleicht nicht importiert oder das konfigurierte Modellverzeichnis ist möglicherweise nicht das Verzeichnis, das der Dienst verwendet.

Hostpfad und Containerpfad abgleichen

Bei Docker-Bereitstellungen ist vor allem wichtig, ob Hostpfad und Containerpfad tatsächlich übereinstimmen. Führe Folgendes aus:

docker inspect <container-name>

Sieh dir dann den Abschnitt „Mounts“ an. Source sollte auf den NAS-Speicherordner verweisen, den du verwenden wolltest, und Destination auf das Modellverzeichnis innerhalb des Containers. Dockers Befehl inspect gibt detaillierte Informationen zum Objekt zurück. Daher ist docker inspect Mounts eine verlässlichere Informationsquelle als Erinnerungen oder Screenshots.

Eine gute Docker-Mount-Zuordnung sollte den Zusammenhang zwischen den Speicherorten deutlich machen:

Ebene Beispiel Bedeutung
Hostquelle /mnt/storage/ai/ollama Der tatsächliche NAS-Ordner, in dem Modelldaten gespeichert werden
Containerziel /root/.ollama Der Pfad, den die Modelllaufzeit innerhalb von Docker sieht
Laufzeitverhalten Ollama liest aus /root/.ollama Dateien sollten im Quellordner auf dem Host wachsen

Wenn der Quellpfad auf das Docker-Stammverzeichnis, einen temporären Pfad, einen alten Ordner oder ein kleines Systemlaufwerk verweist, funktioniert das Modell möglicherweise weiterhin, während es das falsche Laufwerk füllt.

Überprüfe die tatsächlichen Modelldateien, nicht nur den Modellnamen

Ein Modellname ist nicht dasselbe wie eine verifizierte Modelldatei. Derselbe Name kann je nach Laufzeit auf unterschiedliche Tags, Formate, Quantisierungsstufen, Adapter oder zwischengespeicherte Blobs verweisen.

Prüfe bei Ollama die Modellmetadaten mit:

ollama show <model-name> --modelfile

Führe in Docker dieselbe Modelfile-Prüfung über den Container aus:

docker exec -it ollama ollama show <model-name> --modelfile

Ollama-Modelfile-Metadaten sind hier wichtig. Die Dokumentation zu Modelfile von Ollama erklärt, dass ollama show --modelfile die Konfiguration des Modells anzeigen kann, einschließlich der FROM-Quelle des Modells. Für manuell heruntergeladene .gguf-Dateien zeigt die Quantisierungsdokumentation von llama.cpp GGUF und Formate wie Q4_K_M, daher sind GGUF-Modelldatei-Metadaten Teil der Überprüfung und dienen nicht nur der Leistungsoptimierung.

Protokolle zeigen, welcher Pfad tatsächlich geladen wurde

Wenn die Benutzeroberfläche und die Dateipfade nicht übereinstimmen, sind die Protokolle oft der eindeutigste Beleg. Sie können Startpfade, fehlgeschlagene Lesevorgänge, Berechtigungsfehler, fehlende Dateien, Modelldownloads und Ausweichverhalten anzeigen.

Verwenden Sie für Docker diese Prüfung der Containerprotokolle:

docker logs <container-name>

In der Dokumentation zur Docker-Protokollierung wird erklärt, dass Containerprotokolle gewöhnlich die Ausgaben des Containerprozesses aus STDOUT und STDERR enthalten. Auf der Ollama-Seite zur Fehlerbehebung wird darauf hingewiesen, dass sich die Protokolle von Ollama in Containern mit Docker-Protokolle anzeigen lassen.

Achten Sie auf Pfadhinweise wie OLLAMA_MODELS, Meldungen zu Modelldownloads, Fehler beim Laden, Berechtigungsfehler oder Verzeichnisse, die nicht mit dem vorgesehenen Speicherordner übereinstimmen. Wenn die Protokolle ein anderes Verzeichnis nennen als das eingebundene, richten Sie sich nach den Protokollen und korrigieren Sie den Pfad.

Bestätigen, dass das Modell im Arbeitsspeicher aktiv ist

Als Nächstes prüfen Sie den aktiven Modellstatus. Ein Modell kann installiert oder registriert sein, ohne derzeit geladen zu sein. Senden Sie eine kurze Eingabeaufforderung und führen Sie sofort danach Folgendes aus:

ollama ps

Führen Sie in Docker dieselbe Prüfung des aktiven Modells im Container aus:

docker exec -it ollama ollama ps

Was ollama ps nachweisen kann

ollama ps zeigt, welche Modelle derzeit geladen sind. In der Ollama-FAQ wird erklärt, dass die Spalte Processor anzeigen kann, ob ein Modell auf der CPU, der GPU oder verteilt auf CPU und GPU geladen ist. So lässt sich der aktive Laufzeitstatus bestätigen und nicht nur die Modellbibliothek prüfen.

Das ist hilfreich, wenn Sie wissen müssen, ob das erwartete Modell gerade aktiv ist, im Arbeitsspeicher bleibt und den erwarteten Prozessorpfad verwendet. Besonders nützlich ist es nach einem Modellwechsel, einer Änderung der Tags oder beim Testen des GPU-/CPU-Verhaltens.

Was sich damit nicht nachweisen lässt

ollama ps beweist für sich allein nicht die Zuordnung zum Host-Ordner. Der Befehl kann anzeigen, dass ein Modell aktiv ist. Um zu belegen, dass es aus dem vorgesehenen Pfad stammt, benötigen Sie jedoch weiterhin docker inspect, Modellmetadaten, Protokolle und Prüfungen des Speicherplatzverbrauchs.

Damit ist auch nicht bewiesen, dass eine benutzerdefinierte Modelldatei genau die erwartete Quantisierung oder Quelle hat. Prüfen Sie dafür die Metadaten, sehen Sie sich die Modelfile an und überprüfen Sie die Datei.

Warnzeichen für einen falschen Modellpfad

Ein falscher Modellpfad verursacht oft Symptome, bevor das Problem offensichtlich wird. Das häufigste Anzeichen ist ein unerklärlicher Speicherplatzverbrauch auf dem Startlaufwerk, im Docker-Stammverzeichnis oder auf einem App-Datenvolume, das Sie eigentlich nicht verwenden wollten.

Achten Sie auf diese Signale für einen falschen Pfad:

  • Die App zeigt das Modell an, aber dein vorgesehener Modellordner wächst nicht.
  • docker inspect zeigt einen Quellpfad an, der sich von deinem NAS-Speicherordner unterscheidet.
  • Das Modell wird erneut heruntergeladen, obwohl du davon ausgegangen bist, dass es bereits vorhanden ist.
  • Die Protokolle verweisen auf ein standardmäßiges Modellverzeichnis statt auf deinen benutzerdefinierten Pfad.
  • ollama list zeigt ein anderes Tag oder eine andere Größe als erwartet.
  • ollama show --modelfile verweist auf eine andere Basis oder einen anderen Blob als erwartet.
  • ollama ps zeigt nach einer Eingabeaufforderung ein unerwartetes aktives Modell an.
  • Nach jedem Modelldownload wird auf dem Bootlaufwerk weniger Speicherplatz verfügbar.

Wenn zwei Überprüfungsebenen voneinander abweichen, vereinfache den Test. Stoppe den Container, überprüfe den Mount, starte den Dienst neu, lade ein kleines, bekanntes Modell herunter und prüfe, welches Verzeichnis wächst.

Eine übersichtlichere Reihenfolge für die Überprüfung des lokalen LLM-Speichers

Halte dich an eine feste Reihenfolge für die Überprüfung, statt zufällige Ordner zu prüfen. So verwechselst du keine Host-, Container-, App- und Laufzeitpfade.

  1. Bestätige den vorgesehenen Speicherordner auf dem Host.
  2. Prüfe den freien Speicherplatz auf dem Systemlaufwerk und dem Modelllaufwerk.
  3. Führe docker inspect <container-name> aus und überprüfe Quelle und Ziel.
  4. Prüfe die Modellliste der Laufzeitumgebung mit ollama list.
  5. Lade ein kleines, bekanntes Modell herunter oder importiere es.
  6. Führe vor und nach dem Download du -sh <model-folder> aus.
  7. Prüfe die Metadaten mit ollama show <model-name> --modelfile.
  8. Sende eine kurze Eingabeaufforderung.
  9. Führe ollama ps aus, um das aktive Modell zu bestätigen.
  10. Lies die Container- oder Dienstprotokolle auf Hinweise zu Pfaden, Downloads oder Berechtigungen.

Eine ordentliche Speicherüberprüfung sollte damit enden, dass alle Ebenen auf denselben Ort verweisen: Der Modellordner wächst auf dem erwarteten Laufwerk, der Container-Mount verweist auf diesen Ordner, die Laufzeitumgebung listet das Modell auf, die Metadaten stimmen mit der erwarteten Datei überein, die Protokolle enthalten keine Pfadfehler und das aktive Modell ist das gerade getestete.

Was die ZimaOS-KI-Suche über sichtbare Modellpfade verrät

Bei einer kontrollierten lokalen KI-Funktion sollten Modellpfad, Downloadstatus, Ressourcennutzung und Protokolle so sichtbar sein, dass sie sich überprüfen lassen. Andernfalls können Nutzer nur raten, ob der KI-Dienst tatsächlich die erwarteten Modelldateien verwendet.

ZimaOS-AI ist ein nützliches Beispiel. Der ZimaSpace-Leitfaden zur KI-Suche erklärt, dass das KI-Modul ein lokales LLM verwendet, um Merkmale aus Bildern, Audio und Videos für die ZimaOS-Suche zu extrahieren. Im selben kurzen Hinweis steht, dass Modelldateien unter /media/ZimaOS-HD/AppData/.models gespeichert werden. Wenn AppData migriert wurde, richtet sich der tatsächliche Speicherort nach dem Speicherort des migrierten AppData.

Der Leitfaden beschreibt außerdem Betriebsprüfungen wie automatische Modelldownloads, Intervalle für die Feature-Extraktion, Anrufverlauf, Netzwerkverkehrsprüfungen und journalctl -xef -u zimaos-ai zur Fehlerbehebung. Genau solche Informationen benötigt eine lokale KI-Workload: ein sichtbarer Pfad, nachvollziehbares Downloadverhalten, sichtbare Protokolle und ein sichtbarer Laufzeitstatus.

Bei einer privaten Cloud-Einrichtung wie ZimaCube 2 ist dies die wichtigste Erkenntnis: lokale KI sollte keine Blackbox sein. Ob für die Suche, den Chat, Embeddings oder die Medienanalyse: Der Modellpfad und der Laufzeitstatus sollten leicht zu überprüfen sein.

Häufig gestellte Fragen

Wo speichert Ollama die Modelldateien?

Überprüfe das standardmäßige Modellverzeichnis von Ollama für dein Betriebssystem und anschließend, ob OLLAMA_MODELS es geändert hat. Überprüfe bei Docker außerdem den Container-Mount, damit du weißt, welcher Host-Ordner dem Modellverzeichnis der Laufzeitumgebung zugeordnet ist.

Wie überprüfe ich, ob Docker den richtigen Modellordner verwendet?

Führe docker inspect <Containername> aus und überprüfe den Abschnitt Mounts. Als Quelle sollte der vorgesehene NAS-Speicherpfad angegeben sein und als Ziel das Modellverzeichnis im Container.

Was sind manifests und blobs in einem Ollama-Modellverzeichnis?

In einem Ollama-Modellverzeichnis beschreiben Manifeste die Modellmetadaten und Verweise, während Blobs die größeren Modelldateien enthalten. Wenn der Ordner „blobs“ nach dem Herunterladen eines Modells wächst, ist das ein starkes Indiz dafür, dass dieses Verzeichnis zum Speichern von Modellen verwendet wird.

Wie finde ich heraus, welches Modell derzeit geladen ist?

Sende eine kurze Eingabeaufforderung und führe dann ollama ps aus. Der Befehl zeigt das aktuell geladene Modell und den Prozessorstatus an. So lässt sich bestätigen, ob das erwartete Modell auf der CPU, GPU oder aufgeteilt auf CPU und GPU aktiv ist.

Warum zeigt die App das Modell an, obwohl der Dateipfad weiterhin falsch zu sein scheint?

Die App liest möglicherweise eine Laufzeitregistrierung, ein zwischengespeichertes Modell, einen Docker-internen Pfad oder ein anderes Modellverzeichnis aus als das, das du im Dateimanager überprüfst. Überprüfe die Laufzeitliste, den Docker-Mount, die Metadaten, die Protokolle und den tatsächlichen Speicherplatzverbrauch, bevor du der Benutzeroberfläche vertraust.

Eine Überprüfung des Pfads eines lokalen LLM ist erst abgeschlossen, wenn Speicherpfad des Hosts, Container-Ziel, Laufzeit-Modellliste, Modellmetadaten, aktiver Speicherstatus, Protokolle und Speicherplatzverbrauch übereinstimmen. Wenn eine Ebene auf einen anderen Pfad verweist, korrigiere den Pfad, bevor du weitere Modelle herunterlädst oder Apps verbindest.

Support und Tipps

Mehr zum Lesen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.