Så kontrollerar du om en lokal LLM använder rätt modellfiler och lagringssökväg

Lauren Pan är grundare av ZimaSpace och arkitekten bakom den hyllade ZimaBoard-serien. Han förenar industridesign med inbyggd teknik, och lanserade ZimaSpace med ett tydligt uppdrag: att demokratisera personlig molnbaserad databehandling. Han tror på att hårdvara ska vara både ”hackbar” och vacker– och därmed överbrygga klyftan mellan servrar av industrikvalitet och konsumentprylar. I dag leder han ingenjörsteamet i arbetet med att bygga verktyg som ger kreatörer full kontroll över sina digitala liv.

En lokal LLM kan svara på en prompt och ändå använda fel modellsökväg. Appens gränssnitt kan visa det modellnamn du förväntar dig, men runtime-miljön kanske läser från en gammal cache, en intern Docker-katalog, en standardmapp för modeller eller en fil som hämtats igen någon annanstans.

Den säkraste kontrollen består inte av ett enda kommando. Det är en kort beviskedja: jämför värdmappen, containerns monteringspunkt, runtime-miljöns modellista, modellens metadata, det aktiva minnesläget, loggarna och den faktiska lagringstillväxten. När dessa lager stämmer överens kan du vara mycket säkrare på att LLM:en använder rätt modellfiler och lagringssökväg.

Mappen du ser är inte alltid sökvägen som runtime-miljön använder

Det första misstaget är att lita på sökvägen i filhanteraren för tidigt. En mapp på en NAS kan innehålla modellen du laddade ner, men det bevisar inte att den lokala LLM-runtime-miljön kan se den eller läser in den därifrån.

Docker lägger till ytterligare ett lager. En värdsökväg som /mnt/storage/ai/models kan mappas till en sökväg i containern, till exempel /root/.ollama, och modellköraren ser bara sökvägen i containern. I Dockers dokumentation om bindningsmonteringar förklaras att source är sökvägen på värden och att destination eller target är sökvägen inne i containern. Därför måste de kontrolleras tillsammans via Dockers bindningsmonteringar.

Den praktiska sökvägsfrågan är enkel: fråga inte bara var du lade modellen. Fråga vilken sökväg runtime-miljön ser och vilken värdmapp den sökvägen i containern faktiskt pekar på.

Börja med runtime-miljöns modellista

Innan du kontrollerar alla mappar kan du fråga runtime-miljöns modellista vad den känner till. Börja med följande för Ollama:

ollama list

Använd samma runtime-kontroll inifrån tjänstens gräns när du kör i en Docker-container:

docker exec -it ollama ollama list

Det här runtime-registret bekräftar att runtime-miljön har registrerat en modelltagg, men det bevisar inte till fullo att filsökvägen, kvantiseringen eller lagringsplatsen är korrekt. I Ollamas CLI-referens anges ollama ps för modeller som körs, medan vanliga frågor förklarar modellkatalogen och miljövariabeln OLLAMA_MODELS i vägledningen om katalogen för modellagring.

Använd det här steget som den första kontrollpunkten, inte som det slutgiltiga svaret. Om den förväntade modellen inte visas här kan appen vara kopplad till en annan runtime, modellen kanske inte har importerats eller så är den konfigurerade modellkatalogen inte den katalog som tjänsten använder.

Matcha värdsökvägen med containersökvägen

För Docker-installationer är den viktigaste frågan om värdsökvägen och containersökvägen faktiskt stämmer överens. Kör:

docker inspect <container-name>

Titta sedan på avsnittet Mounts. Source bör peka på den NAS-lagringsmapp du avsåg att använda, och Destination bör peka på modellkatalogen som används inuti containern. Dockers inspect-kommando returnerar information om objekt på låg nivå, vilket gör docker inspect Mounts till en bättre sanningskälla än minnet eller skärmbilder.

En bra Docker-mappning bör göra lagringskopplingen tydlig:

Lager Exempel Vad det innebär
Värdkälla /mnt/storage/ai/ollama Den faktiska NAS-mappen där modelldata lagras
Containermål /root/.ollama Sökvägen som modellköraren ser inuti Docker
Körmiljö Ollama läser från /root/.ollama Filerna ska växa i värdmaskinens källmapp

Om källsökvägen pekar på Dockers rotkatalog, en tillfällig sökväg, en gammal mapp eller en liten systemvolym kan modellen fortfarande fungera samtidigt som fel enhet fylls.

Kontrollera de faktiska modellfilerna, inte bara modellnamnet

Ett modellnamn är inte detsamma som en verifierad modellfil. Samma namn kan peka på olika taggar, format, kvantiseringsnivåer, adaptrar eller cachelagrade blobbar beroende på körmiljön.

För Ollama granskar du modellmetadata med:

ollama show <model-name> --modelfile

I Docker kör du samma Modelfile-kontroll via containern:

docker exec -it ollama ollama show <model-name> --modelfile

Metadata i Ollama Modelfile är viktigt här. Ollamas dokumentation för Modelfile förklarar att ollama show --modelfile kan visa modellens konfiguration, inklusive FROM-källan bakom modellen. För manuellt nedladdade .gguf-filer visar kvantiseringsdokumentationen för llama.cpp GGUF och format som Q4_K_M, så metadata för GGUF-modellfilen ingår i verifieringen, inte bara i prestandajustering.

Loggarna visar vilken sökväg som faktiskt lästes in

När gränssnittet och filsökvägarna inte stämmer överens är loggar ofta det tydligaste beviset. De kan visa sökvägar vid start, misslyckade läsningar, behörighetsfel, saknade filer, modellnedladdningar och reservbeteende.

I Docker använder du den här kontrollen av containerloggar:

docker logs <container-name>

Dokumentationen om Docker-loggning förklarar att containerloggar vanligtvis visar utdata från containerprocessen via STDOUT och STDERR, medan Ollamas felsökningssida nämner att loggar för Ollama i en container kan visas med docker logs.

Leta efter ledtrådar om sökvägar, till exempel OLLAMA_MODELS, meddelanden om modellnedladdningar, fel vid inläsning, behörighetsfel eller kataloger som inte stämmer överens med den avsedda lagringsmappen. Om loggarna nämner en annan katalog än den du mappade ska du lita på loggarna och korrigera sökvägen.

Bekräfta att modellen är aktiv i minnet

Nästa kontroll gäller den aktiva modellens tillstånd. En modell kan vara installerad eller registrerad utan att vara inläst just nu. Skicka en kort prompt och kör sedan omedelbart:

ollama ps

I Docker kör du samma kontroll av aktiva modeller inuti containern:

docker exec -it ollama ollama ps

Vad ollama ps kan bevisa

ollama ps visar vilka modeller som för närvarande är inlästa. Ollamas FAQ förklarar att kolumnen Processor kan visa om en modell är inläst på CPU, GPU eller fördelad mellan CPU och GPU, vilket hjälper dig att bekräfta det aktiva körningstillståndet och inte bara modellbiblioteket.

Det här är användbart när du behöver veta om den förväntade modellen är aktiv just nu, om den ligger kvar i minnet och om den använder den förväntade processorn. Det är särskilt användbart efter att du har bytt modell, ändrat taggar eller testat GPU-/CPU-beteende.

Vad det inte kan bevisa

ollama ps bevisar inte i sig värdmappningen. Det kan visa att en modell är aktiv, men du behöver fortfarande docker inspect, modellmetadata, loggar och kontroller av lagringstillväxt för att bevisa att den kommer från den avsedda sökvägen.

Det bevisar inte heller att en anpassad modellfil har den exakta kvantiseringen eller källan du förväntade dig. Kontrollera det med metadata, granskning av Modelfile och verifiering på filnivå.

Varningstecken på att modellsökvägen är fel

En felaktig modellsökväg ger ofta symptom innan problemet blir uppenbart. Det vanligaste tecknet är oförklarligt ökat diskutrymme på startdisken, Docker-rotkatalogen eller en appdatavolym som du inte avsåg att använda.

Håll utkik efter dessa signaler på fel sökväg:

  • Appen visar modellen, men den avsedda modellmappen växer inte.
  • docker inspect visar en Source-sökväg som skiljer sig från din NAS-lagringsmapp.
  • Modellen laddas ned igen efter att du trodde att den redan fanns.
  • Loggarna nämner en standardkatalog för modeller i stället för din anpassade sökväg.
  • ollama list visar en annan tagg eller storlek än den förväntade.
  • ollama show --modelfile pekar på en annan bas eller blob än den förväntade.
  • ollama ps visar att en oväntad modell är aktiv efter en prompt.
  • Startdisken tappar utrymme efter varje modellhämtning.

Om två verifieringslager inte stämmer överens, förenkla testet. Stoppa containern, verifiera monteringen, starta om tjänsten, hämta en liten, känd modell och kontrollera vilken katalog som växer.

En tydligare verifieringsordning för lokal LLM-lagring

Följ en fast verifieringsordning i stället för att kontrollera slumpmässiga mappar. Då blandar du inte ihop värdsökvägar, containersökvägar, appsökvägar och körmiljösökvägar.

  1. Bekräfta den avsedda lagringsmappen på värddatorn.
  2. Kontrollera ledigt utrymme på systemdisken och modelldisken.
  3. Kör docker inspect <container-name> och verifiera Source / Destination.
  4. Kontrollera körmiljöns modellista med ollama list.
  5. Hämta eller importera en liten, känd modell.
  6. Kör du -sh <model-folder> före och efter hämtningen.
  7. Granska metadata med ollama show <model-name> --modelfile.
  8. Skicka en kort prompt.
  9. Kör ollama ps för att bekräfta den aktiva modellen.
  10. Läs container- eller tjänsteloggarna för ledtrådar om sökvägar, nedladdningar eller behörigheter.

En tydlig lagringsverifiering bör avslutas med att alla lager pekar på samma plats: modellmappen växer på den förväntade enheten, containerns monteringspunkt pekar på den mappen, körmiljön listar modellen, metadata stämmer med den förväntade filen, loggarna visar inga sökvägsfel och den aktiva modellen är den du just testade.

Vad ZimaOS AI-sökning visar om synliga modellsökvägar

En kontrollerad lokal AI-funktion bör göra sin modellsökväg, nedladdningsstatus, resursanvändning och loggar tillräckligt synliga för att kunna verifieras. Annars får användarna gissa om AI-tjänsten faktiskt använder de förväntade modelfilerna.

ZimaOS-AI är ett användbart exempel. ZimaSpace-guiden för AI-sökning förklarar att AI-modulen använder en lokal LLM för att extrahera egenskaper från bilder, ljud och video för ZimaOS-sökning. I samma korta guide står det att modellfiler lagras i /media/ZimaOS-HD/AppData/.models, och om AppData har migrerats följer den faktiska lagringsanvändningen den migrerade AppData-platsen.

Guiden beskriver också driftskontroller som automatiska modellnedladdningar, intervall för funktionsutvinning, samtalshistorik, kontroller av nätverkstrafik och journalctl -xef -u zimaos-ai för felsökning. Det är precis sådana signaler en lokal AI-arbetsbelastning behöver: synlig sökväg, synligt nedladdningsbeteende, synliga loggar och synlig körningsstatus.

För en privat molnkonfiguration, till exempel ZimaCube 2, är detta den viktigare lärdomen: lokal AI ska inte vara en svart låda. Oavsett om arbetsbelastningen gäller sökning, chatt, embeddings eller medieanalys ska det vara enkelt att kontrollera modellsökvägen och körningstillståndet.

Vanliga frågor

Hur tar jag reda på var Ollama lagrar modellfiler?

Kontrollera Ollamas standardmässiga modellkatalog för ditt operativsystem och kontrollera sedan om OLLAMA_MODELS har ändrat den. På Docker ska du också granska containerns montering för att se vilken mapp på värden som är kopplad till körmiljöns modellkatalog.

Hur kontrollerar jag om Docker använder rätt modellmapp?

Kör docker inspect <container-name> och granska avsnittet Mounts. Source ska vara den NAS-lagringssökväg du avsett, och Destination ska vara modellkatalogen som används inuti containern.

Vad är manifests och blobs i en Ollama-modellkatalog?

I en Ollama-liknande modellkatalog beskriver manifests modellmetadata och referenser, medan blobs innehåller de större modellfilerna. Om mappen blobs växer efter att du hämtat en modell är det ett starkt tecken på att den här katalogen används för modellagring.

Hur tar jag reda på vilken modell som är inläst just nu?

Skicka en kort prompt och kör sedan ollama ps. Kommandot visar den modell som är inläst just nu och processortillståndet, vilket hjälper dig att bekräfta om den förväntade modellen är aktiv på CPU, GPU eller en kombination av CPU / GPU.

Varför visar appen modellen när filsökvägen fortfarande verkar vara fel?

Appen kanske läser från ett körningsregister, en cachad modell, en intern Docker-sökväg eller en annan modellkatalog än den du kontrollerar i filhanteraren. Kontrollera körmiljöns lista, Docker-monteringen, metadata, loggar och den faktiska lagringstillväxten innan du litar på gränssnittet.

En kontroll av sökvägen till en lokal LLM är klar först när värdlagringens sökväg, containerns målplats, körmiljöns modellista, modellmetadata, aktivt minnestillstånd, loggar och disktillväxt stämmer överens. Om ett lager pekar någon annanstans ska du åtgärda sökvägen innan du laddar ner fler modeller eller ansluter fler appar.

Support och tips

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.