Como verificar se um LLM local utiliza os ficheiros de modelo e o caminho de armazenamento corretos

Lauren Pan é o fundador da ZimaSpace e o arquiteto por detrás da aclamada série ZimaBoard. Combinando design industrial com engenharia de sistemas embebidos, Lauren lançou a ZimaSpace com uma missão clara: democratizar a computação em nuvem pessoal. Acredita que o hardware deve ser simultaneamente "modificável" e elegante—eliminando a divisão entre servidores de nível industrial e dispositivos de consumo. Atualmente, lidera a equipa de engenharia na criação de ferramentas que dão aos criadores controlo total sobre as suas vidas digitais.

Um LLM local pode responder a uma pergunta e, ainda assim, estar a utilizar o caminho de modelo errado. A interface da aplicação pode apresentar o nome do modelo esperado, mas o runtime pode estar a ler uma cache antiga, um diretório interno do Docker, uma pasta de modelos predefinida ou um ficheiro que foi transferido novamente para outro local.

A verificação mais segura não consiste num único comando. É uma curta cadeia de provas: compare a pasta do anfitrião, a montagem do contentor, a lista de modelos do runtime, os metadados do modelo, o estado da memória ativa, os registos e o crescimento efetivo do armazenamento. Quando estas camadas coincidem, pode ter muito mais confiança de que o LLM está a utilizar os ficheiros de modelo e o caminho de armazenamento corretos.

A pasta que vê nem sempre é o caminho utilizado pelo runtime

O primeiro erro é confiar demasiado cedo no caminho do gestor de ficheiros. Uma pasta do NAS pode conter o modelo que transferiu, mas isso não prova que o runtime LLM local o consiga ver ou esteja a carregá-lo a partir daí.

O Docker acrescenta outra camada. Um caminho do anfitrião, como /mnt/storage/ai/models, pode ser mapeado para um caminho do contentor, como /root/.ollama, e o executor do modelo só vê o caminho do contentor. A documentação do Docker sobre montagens vinculadas explica que source é o caminho do lado do anfitrião e destination ou target é o caminho dentro do contentor, pelo que ambos devem ser verificados em conjunto através das montagens vinculadas do Docker.

A questão do caminho é simples: não pergunte apenas onde colocou o modelo. Pergunte que caminho o runtime vê e a que pasta do anfitrião corresponde esse caminho do contentor.

Comece pela lista de modelos do runtime

Antes de verificar todas as pastas, pergunte à lista de modelos do runtime o que conhece. No caso do Ollama, comece por:

ollama list

Dentro de um contentor Docker, utilize a mesma verificação do runtime a partir do interior do serviço:

docker exec -it ollama ollama list

Este registo do runtime confirma que o runtime registou uma etiqueta de modelo, mas não comprova totalmente que o caminho do ficheiro, a quantização ou a localização de armazenamento estão corretos. A referência da CLI do Ollama indica ollama ps para os modelos em execução, enquanto as perguntas frequentes explicam o diretório de armazenamento de modelos e a variável de ambiente OLLAMA_MODELS nas orientações sobre o diretório de armazenamento de modelos.

Utilize este passo como primeiro ponto de verificação, não como resposta final. Se o modelo esperado não aparecer aqui, a aplicação pode estar a apontar para um runtime diferente, o modelo pode não ter sido importado ou o diretório de modelos configurado pode não ser o diretório que o serviço está a utilizar.

Faça corresponder o caminho no anfitrião ao caminho no contentor

Nas implementações do Docker, a questão mais importante é se o caminho no anfitrião e o caminho no contentor correspondem efetivamente. Execute:

docker inspect <container-name>

Em seguida, consulte a secção Mounts. A Source deve apontar para a pasta de armazenamento do NAS que pretendia utilizar, e a Destination deve apontar para o diretório do modelo utilizado dentro do contentor. O comando inspect do Docker devolve informações de baixo nível sobre objetos, o que faz de docker inspect Mounts uma fonte de verdade mais fiável do que a memória ou as capturas de ecrã.

Uma boa correspondência de montagem do Docker deve tornar óbvia a relação de armazenamento:

Camada Exemplo O que significa
Origem no anfitrião /mnt/storage/ai/ollama A pasta real do NAS onde são guardados os dados do modelo
Destino no contentor /root/.ollama O caminho que o executor do modelo vê dentro do Docker
Comportamento em execução O Ollama lê /root/.ollama Os ficheiros devem aumentar na pasta de origem do anfitrião

Se o caminho de origem apontar para a raiz do Docker, um caminho temporário, uma pasta antiga ou um volume de sistema pequeno, o modelo pode continuar a funcionar enquanto enche a unidade errada.

Verifique os ficheiros de modelo reais, não apenas o nome do modelo

Um nome de modelo não é o mesmo que um ficheiro de modelo verificado. O mesmo nome pode apontar para etiquetas, formatos, níveis de quantização, adaptadores ou blobs em cache diferentes, consoante o ambiente de execução.

No Ollama, verifique os metadados do modelo com:

ollama show <model-name> --modelfile

No Docker, execute a mesma verificação do Modelfile através do contentor:

docker exec -it ollama ollama show <model-name> --modelfile

Os metadados do Modelfile do Ollama são importantes neste caso. A documentação do Modelfile do Ollama explica que ollama show --modelfile pode revelar a configuração do modelo, incluindo a origem FROM subjacente ao modelo. Para ficheiros .gguf transferidos manualmente, a documentação de quantização do llama.cpp apresenta o GGUF e formatos como Q4_K_M, pelo que os metadados do ficheiro de modelo GGUF fazem parte da verificação, não apenas da otimização do desempenho.

Os registos indicam qual o caminho realmente carregado

Quando a interface e os caminhos dos ficheiros não coincidem, os registos são muitas vezes a prova mais clara. Podem mostrar os caminhos de arranque, leituras falhadas, erros de permissões, ficheiros em falta, transferências de modelos e comportamentos de recurso alternativo.

No Docker, utilize esta verificação do registo do contentor:

docker logs <nome-do-contentor>

A documentação de registo do Docker explica que os registos dos contentores normalmente mostram a saída do processo do contentor proveniente de STDOUT e STDERR, enquanto a página de resolução de problemas do Ollama indica que pode consultar os registos do Ollama em contentores com docker logs.

Procure indícios sobre os caminhos, como OLLAMA_MODELS, mensagens de transferência de modelos, erros de carregamento, erros de permissões ou diretórios que não correspondam à pasta de armazenamento pretendida. Se os registos mencionarem um diretório diferente daquele que mapeou, confie nos registos e corrija o caminho.

Confirme que o modelo está ativo na memória

A verificação seguinte é o estado do modelo ativo. Um modelo pode estar instalado ou registado, mas não estar carregado no momento. Depois de enviar uma mensagem curta, execute imediatamente:

ollama ps

No Docker, execute a mesma verificação do modelo ativo dentro do contentor:

docker exec -it ollama ollama ps

O que ollama ps pode comprovar

ollama ps mostra que modelos estão atualmente carregados. As perguntas frequentes do Ollama explicam que a coluna Processor pode indicar se um modelo está carregado na CPU, na GPU ou dividido entre a CPU e a GPU, o que ajuda a confirmar o estado de execução ativo, em vez de apenas a biblioteca de modelos.

Isto é útil quando precisa de saber se o modelo esperado está ativo neste momento, se permanece na memória e se está a utilizar o caminho de processamento esperado. É especialmente útil depois de mudar de modelo, alterar etiquetas ou testar o comportamento da GPU/CPU.

O que não pode comprovar

ollama ps não prova, por si só, o mapeamento da pasta no anfitrião. Pode mostrar que um modelo está ativo, mas ainda precisa de docker inspect, dos metadados do modelo, dos registos e de verificações do crescimento do espaço ocupado para comprovar que o modelo provém do caminho pretendido.

Também não prova que um ficheiro de modelo personalizado tem a quantização ou a origem exatas que esperava. Para isso, verifique os metadados, inspecione o Modelfile e confirme os ficheiros.

Sinais de aviso de que o caminho do modelo está incorreto

Um caminho do modelo incorreto costuma apresentar sintomas antes de se tornar evidente. O sinal mais comum é o crescimento inexplicável do espaço ocupado no disco de arranque, na raiz do Docker ou num volume de dados de uma aplicação que não pretendia utilizar.

Esteja atento a estes sinais de incompatibilidade de caminhos:

  • A aplicação apresenta o modelo, mas a pasta de modelos pretendida não aumenta de tamanho.
  • docker inspect mostra um caminho de origem diferente da pasta de armazenamento do NAS.
  • O modelo é transferido novamente, apesar de pensar que já estava disponível.
  • Os registos mencionam um diretório de modelos predefinido em vez do caminho personalizado.
  • ollama list mostra uma etiqueta ou um tamanho diferente do esperado.
  • ollama show --modelfile aponta para uma base ou um blob diferente do esperado.
  • ollama ps mostra um modelo inesperado ativo após um pedido.
  • A unidade de arranque perde espaço após cada transferência de modelo.

Se duas camadas de verificação não coincidirem, simplifique o teste. Pare o contentor, verifique a montagem, reinicie o serviço, transfira um modelo pequeno e conhecido e confirme qual o diretório que aumenta de tamanho.

Uma ordem de verificação mais simples para o armazenamento de LLMs locais

Siga uma ordem de verificação fixa, em vez de verificar pastas aleatórias. Assim, não confunde caminhos do anfitrião, do contentor, da aplicação e do ambiente de execução.

  1. Confirme a pasta de armazenamento pretendida no anfitrião.
  2. Verifique o espaço livre na unidade do sistema e na unidade dos modelos.
  3. Execute docker inspect <container-name> e verifique a origem e o destino.
  4. Verifique a lista de modelos do ambiente de execução com ollama list.
  5. Transfira ou importe um modelo pequeno e conhecido.
  6. Execute du -sh <model-folder> antes e depois da transferência.
  7. Inspecione os metadados com ollama show <model-name> --modelfile.
  8. Envie um pedido curto.
  9. Execute ollama ps para confirmar o modelo ativo.
  10. Leia os registos do contentor ou do serviço para encontrar indicações sobre caminhos, transferências ou permissões.

Uma verificação do armazenamento bem feita deve terminar com todas as camadas a apontar para o mesmo local: a pasta do modelo aumenta de tamanho na unidade esperada, o ponto de montagem do contentor aponta para essa pasta, o ambiente de execução apresenta o modelo, os metadados correspondem ao ficheiro esperado, os registos não mostram erros de caminho e o modelo ativo é aquele que acabou de testar.

O que a pesquisa com IA do ZimaOS revela sobre os caminhos visíveis dos modelos

Uma funcionalidade de IA local controlada deve apresentar o caminho do modelo, o estado da transferência, a utilização de recursos e os registos de forma suficientemente clara para permitir a sua verificação. Caso contrário, os utilizadores ficam sem saber se o serviço de IA está realmente a utilizar os ficheiros de modelo esperados.

ZimaOS-AI é um exemplo útil. O guia do ZimaSpace para a pesquisa com IA explica que o módulo de IA utiliza um LLM local para extrair características de imagens, áudio e vídeo para a pesquisa do ZimaOS. A mesma nota indica que os ficheiros do modelo são guardados em /media/ZimaOS-HD/AppData/.models e que, se o AppData tiver sido migrado, o armazenamento efetivamente utilizado corresponde à localização para onde o AppData foi migrado.

O guia também descreve verificações operacionais, como transferências automáticas de modelos, intervalos de extração de funcionalidades, Call-History, verificações do tráfego de rede e journalctl -xef -u zimaos-ai para resolução de problemas. São exatamente os tipos de sinais de que uma carga de trabalho de IA local precisa: caminho visível, comportamento de transferência visível, registos visíveis e estado do runtime visível.

Numa configuração de nuvem privada como a ZimaCube 2, a lição mais ampla é esta: a IA local não deve ser uma caixa negra. Quer se trate de pesquisa, conversação, incorporações ou análise de conteúdos multimédia, o caminho do modelo e o estado do runtime devem ser fáceis de verificar.

Perguntas frequentes

Como posso saber onde o Ollama armazena os ficheiros dos modelos?

Verifique o diretório de modelos predefinido do Ollama para o seu sistema operativo e, em seguida, confirme se OLLAMA_MODELS o alterou. No Docker, inspecione também a montagem do contentor para saber que pasta do anfitrião está associada ao diretório de modelos do runtime.

Como posso verificar se o Docker está a utilizar a pasta de modelos correta?

Execute docker inspect <container-name> e consulte a secção Mounts. A origem deve ser o caminho de armazenamento no NAS que definiu, e o destino deve ser o diretório de modelos utilizado dentro do contentor.

O que são manifests e blobs num diretório de modelos do Ollama?

Num diretório de modelos ao estilo do Ollama, os manifests descrevem metadados e referências dos modelos, enquanto os blobs contêm os ficheiros maiores com os dados dos modelos. Se a pasta de blobs aumentar depois de transferir um modelo, é um forte indício de que este diretório está a ser utilizado para armazenar modelos.

Como posso saber que modelo está atualmente carregado?

Envie um prompt curto e, em seguida, execute ollama ps. Este comando mostra o modelo atualmente carregado e o estado do processador, o que ajuda a confirmar se o modelo esperado está ativo na CPU, na GPU ou numa configuração dividida entre CPU e GPU.

Porque é que a aplicação mostra o modelo, mas o caminho do ficheiro continua a parecer errado?

A aplicação pode estar a ler um registo do runtime, um modelo em cache, um caminho interno do Docker ou um diretório de modelos diferente daquele que está a verificar no gestor de ficheiros. Verifique a lista do runtime, a montagem do Docker, os metadados, os registos e o crescimento real do armazenamento antes de confiar na interface.

Uma verificação do caminho de um LLM local só está concluída quando o caminho de armazenamento no anfitrião, o destino no contentor, a lista de modelos do runtime, os metadados dos modelos, o estado da memória ativa, os registos e o crescimento do espaço em disco estão todos de acordo. Se alguma camada apontar para outro local, corrija o caminho antes de transferir mais modelos ou ligar mais aplicações.

Assistência e dicas

Mais para ler

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.