Lokalny LLM może odpowiedzieć na prompt, a mimo to korzystać z niewłaściwej ścieżki do modelu. Interfejs aplikacji może wyświetlać oczekiwaną nazwę modelu, ale środowisko uruchomieniowe może odczytywać starą pamięć podręczną, katalog wewnętrzny Dockera, domyślny folder modeli albo plik, który został ponownie pobrany w innym miejscu.
Najbezpieczniej nie polegać na pojedynczym poleceniu. Zastosuj krótką ścieżkę weryfikacji: porównaj folder na hoście, punkt montowania kontenera, listę modeli środowiska uruchomieniowego, metadane modelu, bieżące użycie pamięci, logi i faktyczny przyrost zajętego miejsca. Gdy wszystkie te elementy są zgodne, możesz mieć znacznie większą pewność, że LLM korzysta z właściwych plików modelu i ścieżki przechowywania.
Widoczny folder nie zawsze jest ścieżką używaną przez środowisko uruchomieniowe
Pierwszym błędem jest zbyt wczesne zaufanie ścieżce w menedżerze plików. Folder na NAS-ie może zawierać pobrany model, ale nie dowodzi to, że lokalne środowisko uruchomieniowe LLM ma do niego dostęp ani że właśnie z niego ładuje model.
Docker dodaje kolejną warstwę. Ścieżka na hoście, taka jak /mnt/storage/ai/models, może być mapowana na ścieżkę w kontenerze, taką jak /root/.ollama, a środowisko uruchamiające model widzi tylko ścieżkę w kontenerze. Dokumentacja punktów montowania bind w Dockerze wyjaśnia, że source to ścieżka po stronie hosta, a destination lub target to ścieżka wewnątrz kontenera, dlatego należy sprawdzić je razem, korzystając z sekcji punkty montowania bind w Dockerze.
Praktyczne pytanie o ścieżkę jest proste: nie pytaj tylko, gdzie umieszczono model. Zapytaj, jaką ścieżkę widzi środowisko uruchomieniowe i do którego folderu na hoście prowadzi ścieżka w kontenerze.
Zacznij od listy modeli środowiska uruchomieniowego
Zanim sprawdzisz każdy folder, zapytaj listę modeli środowiska uruchomieniowego, jakie modele zna. W przypadku Ollama zacznij od:
ollama list
W kontenerze Dockera użyj tego samego sprawdzenia środowiska uruchomieniowego, wykonując je wewnątrz granic usługi:
docker exec -it ollama ollama list
Ta lista modeli środowiska uruchomieniowego potwierdza, że środowisko zarejestrowało tag modelu, ale nie dowodzi w pełni, że ścieżka do pliku, kwantyzacja lub lokalizacja przechowywania są prawidłowe. Dokumentacja CLI Ollama wymienia ollama ps do wyświetlania uruchomionych modeli, a FAQ objaśnia katalog przechowywania modeli i zmienną środowiskową OLLAMA_MODELS w sekcji katalog przechowywania modeli.
Użyj tego kroku jako pierwszego punktu kontrolnego, a nie ostatecznej odpowiedzi. Jeśli oczekiwany model się tu nie pojawia, aplikacja może wskazywać inne środowisko uruchomieniowe, model może nie zostać zaimportowany albo skonfigurowany katalog modeli może nie być katalogiem używanym przez usługę.
Dopasuj ścieżkę hosta do ścieżki kontenera
W przypadku wdrożeń Dockera najważniejsze jest to, czy ścieżka hosta i ścieżka kontenera rzeczywiście do siebie pasują. Uruchom:
docker inspect <container-name>
Następnie sprawdź sekcję Mounts. Wartość Source powinna wskazywać folder pamięci NAS, którego chcesz używać, a Destination powinna wskazywać katalog modelu używany wewnątrz kontenera. Polecenie inspect Dockera zwraca szczegółowe informacje o obiektach, dlatego sekcja Mounts polecenia docker inspect jest bardziej wiarygodnym źródłem informacji niż pamięć czy zrzuty ekranu.
Dobre mapowanie montowania Dockera powinno jasno pokazywać relację między lokalizacjami:
| Warstwa | Przykład | Znaczenie |
|---|---|---|
| Folder źródłowy na hoście | /mnt/storage/ai/ollama |
Rzeczywisty folder NAS przechowujący dane modelu |
| Ścieżka docelowa kontenera | /root/.ollama |
Ścieżka widoczna dla programu uruchamiającego model wewnątrz Dockera |
| Działanie środowiska uruchomieniowego | Ollama odczytuje /root/.ollama
|
Pliki powinny zajmować coraz więcej miejsca w folderze źródłowym na hoście |
Jeśli ścieżka źródłowa wskazuje katalog główny Dockera, ścieżkę tymczasową, stary folder lub niewielki wolumin systemowy, model może nadal działać, jednocześnie zapełniając niewłaściwy dysk.
Sprawdź rzeczywiste pliki modelu, nie tylko jego nazwę
Nazwa modelu to nie to samo co zweryfikowany plik modelu. Ta sama nazwa może wskazywać różne tagi, formaty, poziomy kwantyzacji, adaptery lub buforowane pliki binarne — zależnie od środowiska uruchomieniowego.
W Ollama sprawdź metadane modelu za pomocą:
ollama show <model-name> --modelfile
W Dockerze uruchom tę samą weryfikację Modelfile w kontenerze:
docker exec -it ollama ollama show <model-name> --modelfile
Metadane Modelfile w Ollama mają tu znaczenie. Dokumentacja Modelfile w Ollama wyjaśnia, że polecenie ollama show --modelfile może ujawnić konfigurację modelu, w tym źródło FROM, z którego pochodzi model. W przypadku ręcznie pobranych plików .gguf dokumentacja kwantyzacji llama.cpp opisuje format GGUF i formaty takie jak Q4_K_M, dlatego metadane pliku modelu GGUF są elementem weryfikacji, a nie tylko dostrajania wydajności.
Logi wskazują, która ścieżka została rzeczywiście załadowana
Gdy interfejs użytkownika i ścieżki plików są niespójne, logi często stanowią najczytelniejszy dowód. Mogą pokazywać ścieżki używane podczas uruchamiania, nieudane odczyty, błędy uprawnień, brakujące pliki, pobieranie modeli i zachowanie awaryjne.
W przypadku Dockera użyj tej kontroli logów kontenera:
docker logs <nazwa-kontenera>
Dokumentacja logowania Dockera wyjaśnia, że logi kontenera zwykle zawierają dane wyjściowe procesu kontenera z STDOUT i STDERR, natomiast strona rozwiązywania problemów z Ollama informuje, że logi Ollama uruchomionej w kontenerze można wyświetlić poleceniem docker logs.
Szukaj wskazówek dotyczących ścieżek, takich jak OLLAMA_MODELS, komunikaty o pobieraniu modelu, błędy ładowania, błędy uprawnień lub katalogi, które nie odpowiadają zamierzonemu folderowi przechowywania. Jeśli logi wskazują inny katalog niż ten, który zmapowano, zaufaj logom i popraw ścieżkę.
Potwierdź, że model jest aktywny w pamięci
Kolejny krok to sprawdzenie stanu aktywnego modelu. Model może być zainstalowany lub zarejestrowany, ale nie musi być obecnie załadowany. Po wysłaniu krótkiego promptu od razu uruchom:
ollama ps
W Dockerze wykonaj tę samą kontrolę aktywnego modelu wewnątrz kontenera:
docker exec -it ollama ollama ps
Co potwierdza ollama ps
ollama ps pokazuje, które modele są obecnie załadowane. Zgodnie z FAQ Ollama kolumna Processor może wskazywać, czy model jest załadowany na CPU, GPU, czy równolegle na CPU i GPU, co pomaga potwierdzić bieżący stan działania, a nie tylko obecność modelu w bibliotece.
To przydatne, gdy chcesz wiedzieć, czy oczekiwany model jest teraz aktywny, czy pozostaje w pamięci i czy korzysta z oczekiwanej ścieżki przetwarzania. Jest szczególnie pomocne po zmianie modeli lub tagów albo podczas testowania działania GPU / CPU.
Czego to nie potwierdza
Samo polecenie ollama ps nie potwierdza mapowania folderu hosta. Może pokazać, że model jest aktywny, ale aby potwierdzić, że pochodzi z oczekiwanej ścieżki, nadal potrzebujesz docker inspect, metadanych modelu, logów i kontroli przyrostu zajętości pamięci.
Nie dowodzi to również, że niestandardowy plik modelu ma dokładnie oczekiwaną kwantyzację lub pochodzi z oczekiwanego źródła. Aby to sprawdzić, użyj kontroli metadanych, inspekcji pliku Modelfile i weryfikacji na poziomie plików.
Oznaki nieprawidłowej ścieżki modelu
Nieprawidłowa ścieżka modelu zwykle daje o sobie znać, zanim problem stanie się oczywisty. Najczęstszym objawem jest niewyjaśniony wzrost zajętości dysku rozruchowego, katalogu głównego Dockera lub woluminu danych aplikacji, którego nie zamierzasz używać.
Zwróć uwagę na te sygnały niezgodności ścieżek:
- Aplikacja wyświetla model, ale docelowy folder modeli się nie powiększa.
-
docker inspectpokazuje ścieżkę Source inną niż folder pamięci NAS. - Model pobiera się ponownie, mimo że był już pobrany.
- Dzienniki wskazują domyślny katalog modeli zamiast niestandardowej ścieżki.
-
ollama listpokazuje inny tag lub rozmiar niż oczekiwano. -
ollama show --modelfilewskazuje inną bazę lub inny blob niż oczekiwano. -
Po wysłaniu polecenia
ollama pspokazuje nieoczekiwany aktywny model. - Po każdym pobraniu modelu na dysku rozruchowym ubywa miejsca.
Jeśli dwie warstwy weryfikacji się nie zgadzają, uprość test. Zatrzymaj kontener, sprawdź punkt montowania, uruchom ponownie usługę, pobierz jeden niewielki, znany model i sprawdź, który katalog się powiększa.
Lepsza kolejność weryfikacji lokalnego magazynu LLM
Zastosuj stałą kolejność weryfikacji zamiast sprawdzać przypadkowe foldery. Dzięki temu nie pomylisz ścieżek hosta, kontenera, aplikacji i środowiska wykonawczego.
- Potwierdź docelowy folder na hoście.
- Sprawdź ilość wolnego miejsca na dysku systemowym i dysku z modelami.
- Uruchom
docker inspect <container-name>i zweryfikuj wartości Source / Destination. - Sprawdź listę modeli środowiska wykonawczego za pomocą
ollama list. - Pobierz lub zaimportuj jeden niewielki, znany model.
- Uruchom
du -sh <model-folder>przed pobraniem i po nim. - Sprawdź metadane za pomocą
ollama show <model-name> --modelfile. - Wyślij krótkie polecenie.
- Uruchom
ollama ps, aby potwierdzić, który model jest aktywny. - Sprawdź dzienniki kontenera lub usługi pod kątem informacji o ścieżce, pobieraniu lub uprawnieniach.
Prawidłowa weryfikacja pamięci masowej powinna potwierdzić, że wszystkie warstwy wskazują to samo miejsce: folder modelu rośnie na oczekiwanym dysku, punkt montowania kontenera wskazuje ten folder, środowisko wykonawcze wyświetla model, metadane odpowiadają oczekiwanemu plikowi, dzienniki nie zawierają błędów ścieżki, a aktywny model to ten, który właśnie przetestowano.
Co ZimaOS AI Search pokazuje o widocznych ścieżkach modeli
Dobrze kontrolowana lokalna funkcja AI powinna udostępniać ścieżkę modelu, stan pobierania, zużycie zasobów i dzienniki w stopniu umożliwiającym weryfikację. W przeciwnym razie użytkownicy muszą zgadywać, czy usługa AI rzeczywiście korzysta z oczekiwanych plików modelu.
ZimaOS-AI to przydatny przykład. Przewodnik ZimaSpace dotyczący wyszukiwania AI wyjaśnia, że moduł AI używa lokalnego LLM do wyodrębniania cech z obrazów, dźwięku i wideo na potrzeby wyszukiwania w ZimaOS. W tym samym krótkim opisie podano, że pliki modeli są przechowywane w /media/ZimaOS-HD/AppData/.models, a jeśli AppData zostało przeniesione, faktyczne wykorzystanie przestrzeni dyskowej zależy od nowej lokalizacji AppData.
Przewodnik opisuje również kontrole działania, takie jak automatyczne pobieranie modeli, interwały ekstrakcji cech, historię połączeń, sprawdzanie ruchu sieciowego oraz użycie polecenia journalctl -xef -u zimaos-ai do rozwiązywania problemów. To dokładnie takie sygnały, jakich potrzebuje lokalne obciążenie AI: widoczna ścieżka, widoczne zachowanie podczas pobierania, widoczne logi i widoczny stan środowiska uruchomieniowego.
W przypadku prywatnej chmury, takiej jak ZimaCube 2, najważniejszy wniosek jest taki: lokalna AI nie powinna być czarną skrzynką. Niezależnie od tego, czy chodzi o wyszukiwanie, czat, osadzanie czy analizę multimediów, ścieżka modelu i stan środowiska uruchomieniowego powinny być łatwe do sprawdzenia.
FAQ
Jak sprawdzić, gdzie Ollama przechowuje pliki modeli?
Sprawdź domyślny katalog modeli Ollama dla swojego systemu operacyjnego, a następnie sprawdź, czy nie zmieniła go zmienna OLLAMA_MODELS. W przypadku Dockera sprawdź też montowanie kontenera, aby ustalić, który folder hosta jest mapowany na katalog modeli środowiska uruchomieniowego.
Jak sprawdzić, czy Docker korzysta z właściwego folderu modeli?
Uruchom docker inspect <container-name> i sprawdź sekcję Mounts. Source powinno wskazywać zamierzoną ścieżkę do pamięci NAS, a Destination — katalog modeli używany wewnątrz kontenera.
Czym są manifests i blobs w katalogu modeli Ollama?
W katalogu modeli Ollama pliki manifests opisują metadane i odwołania do modeli, a pliki blobs zawierają większe pliki z danymi modeli. Jeśli folder blobs powiększa się po pobraniu modelu, to mocny sygnał, że ten katalog służy do przechowywania modeli.
Jak sprawdzić, który model jest aktualnie załadowany?
Wyślij krótkie polecenie, a następnie uruchom ollama ps. Wyświetla on aktualnie załadowany model i stan procesora, co pomaga potwierdzić, czy oczekiwany model jest aktywny na CPU, GPU czy w podziale między CPU i GPU.
Dlaczego aplikacja wyświetla model, ale ścieżka do pliku nadal wydaje się nieprawidłowa?
Aplikacja może odczytywać rejestr środowiska uruchomieniowego, model z pamięci podręcznej, wewnętrzną ścieżkę Dockera lub inny katalog modeli niż ten, który sprawdzasz w menedżerze plików. Zanim zaufasz interfejsowi, sprawdź listę modeli w środowisku uruchomieniowym, montowanie Dockera, metadane, logi i rzeczywisty przyrost zajętego miejsca.
Kontrola ścieżki lokalnego modelu LLM jest zakończona dopiero wtedy, gdy ścieżka do pamięci masowej hosta, lokalizacja docelowa w kontenerze, lista modeli w środowisku uruchomieniowym, metadane modelu, stan aktywnej pamięci, logi i przyrost zajętego miejsca na dysku są ze sobą zgodne. Jeśli którakolwiek warstwa wskazuje inne miejsce, popraw ścieżkę, zanim pobierzesz więcej modeli lub połączysz więcej aplikacji.
Wsparcie i porady
Więcej do przeczytania

Co sprawdzić przed załadowaniem modelu społecznościowego w Transformers
Użyj aktualizacji piaskownicy Jinja dla Transformers, aby sprawdzić pochodzenie modelu, szablony czatu, zdalny kod, serializowane wagi i pierwsze uruchomienia w izolowanym środowisku.

Uruchom Mirage lokalnie: OCR i wykrywanie obiektów na podstawie jednego obrazu
Przetestuj niewielki lokalny model wizyjny Cactus Compute, zweryfikuj OCR i ekstrakcję obiektów na rzeczywistych danych wejściowych oraz poznaj ograniczenia związane z pamięcią, językiem i...

Jak zaplanować agenta programistycznego w Open WebUI na serwerze domowym
Skonfiguruj w Open WebUI automatyzację agenta programistycznego działającego wyłącznie w trybie raportowania, wybierz jego terminal i obszar roboczy, a następnie sprawdź uprawnienia, logi i...



