Como armazenar modelos de LLM locais sem encher o SSD da estação de trabalho

Eva Wong é a redatora técnica e entusiasta residente na ZimaSpace. Uma geek desde sempre, apaixonada por homelabs e software de código aberto, dedica-se a traduzir conceitos técnicos complexos em guias práticos. A Eva acredita que a auto-hospedagem deve ser divertida, não intimidante. Através dos seus tutoriais, ajuda a comunidade a desmistificar configurações de hardware, desde montar o primeiro NAS até dominar os contentores Docker.

Mantenha um pequeno conjunto de utilização frequente no NVMe da estação de trabalho, coloque a biblioteca maior de modelos no armazenamento partilhado e defina caminhos explícitos para cada ambiente de execução.

Esta configuração funciona quando os pesos dos modelos são lidos sobretudo durante o arranque, a rede permite tempos de carregamento aceitáveis e os modelos ajustados insubstituíveis são protegidos separadamente dos ficheiros que podem ser descarregados. Falha quando cada cache recorre silenciosamente ao SSD de arranque ou quando a indisponibilidade do NAS faz com que o serviço de inferência volte a descarregar os modelos para uma nova pasta local.

Classifique os ficheiros dos modelos pelo conjunto de trabalho e pelo custo de reconstrução

Comece por fazer um inventário, em vez de mover uma enorme pasta de cache. Os pesos originais e as variantes quantizadas podem ser descarregados novamente, mas os adaptadores, os modelos ajustados, os modelos de prompts, os manifestos, os resultados de avaliação e os ficheiros convertidos localmente podem ser únicos. Classifique cada item como de utilização frequente, ocasional, rara ou insubstituível e, em seguida, registe que aplicação utiliza o respetivo caminho.

O conjunto de utilização frequente inclui os modelos usados todos os dias e deve caber num orçamento fixo da estação de trabalho. Os modelos usados ocasionalmente podem ficar no NAS e ser copiados localmente antes de um projeto. As experiências pouco utilizadas podem permanecer apenas na biblioteca partilhada. Os resultados insubstituíveis precisam de cópias de segurança com controlo de versões, mesmo que seja possível voltar a descarregar o modelo de origem.

Esta classificação evita dois erros comuns: fazer cópias de segurança de centenas de gigabytes que são fáceis de recriar e eliminar um pequeno adaptador ou manifesto que não pode ser recriado a baixo custo. Também permite calcular a capacidade necessária: o conjunto de dados mais utilizados, mais espaço livre para um modelo novo, e não o tamanho de todos os modelos que poderá querer testar.

Atribua funções ao NVMe local, ao armazenamento partilhado e ao arquivo

Um cluster de IA local em condições reais armazenou ficheiros de modelos num NAS e carregou-os através de uma ligação de 10 GbE, demonstrando que esta abordagem é viável quando a rede e o percurso de armazenamento são concebidos para leituras de grandes volumes. A lição importante desse fluxo de disponibilização de modelos com suporte de NAS é a separação de funções: a biblioteca partilhada é a origem, enquanto a capacidade de computação e a memória permanecem no nó de inferência.

Função do armazenamento Conteúdo recomendado Comportamento em caso de falha Controlo
Camada NVMe rápida da estação de trabalho Modelos atuais, ficheiros do tokenizador, cache do ambiente de execução ativo A inferência continua se o NAS estiver indisponível Quota de tamanho rigorosa e limpeza dos menos utilizados recentemente
Biblioteca de modelos no NAS Pesos aprovados, quantizações, revisões partilhadas Novos carregamentos são interrompidos; o modelo ativo na memória pode continuar a funcionar Partilha maioritariamente só de leitura e somas de verificação
Armazenamento de projetos protegido Ajustes finos, adaptadores, manifestos, resultados de avaliação A reconstrução depende da cópia de segurança Instantâneos e cópia de segurança independente
Espaço temporário Transferências parciais, conversões, partes temporárias É seguro eliminar Caminho separado com expiração automática

Não aponte todos os runtimes para a mesma pasta de rede com permissões de escrita. Uma conversão falhada, uma tarefa de limpeza ou uma alteração de versão pode modificar ficheiros utilizados por outra ferramenta. Mantenha a biblioteca canónica maioritariamente só de leitura, prepare as alterações numa área temporária, verifique-as e promova os artefactos concluídos deliberadamente.

Crie um caminho de modelos e uma política de cache previsíveis

Escolha um ponto de montagem canónico, como /srv/models em Linux, ou uma letra de unidade estável em Windows, e disponibilize-o antes de iniciar o Ollama, o vLLM, o LM Studio ou os contentores de desenvolvimento. Configure explicitamente o caminho dos modelos e da cache de cada ferramenta. Uma ligação simbólica só é aceitável se a verificação do ponto de montagem for executada primeiro e o destino nunca mudar entre reinícios.

Os operadores da comunidade que ponderam usar um NAS separado identificam repetidamente o tempo de carregamento dos modelos como fator decisivo. Numa discussão sobre estações de trabalho de IA e NAS, os participantes recomendaram manter os modelos usados com frequência em NVMe local, pois a transferência de pesos volumosos através de uma ligação mais lenta pode demorar minutos.

Use uma lista de permissões para a cache local de acesso rápido, em vez de replicar todo o NAS. Após um carregamento ou uma cópia bem-sucedidos, verifique o tamanho do ficheiro ou a soma de verificação e, em seguida, atualize um alias atómico, como current/model-name. Remova apenas os modelos que não estejam em execução nem fixados. Mantenha pelo menos o maior valor entre 15 por cento de espaço livre e um descarregamento de modelo de tamanho máximo esperado, para que uma atualização não encha o volume de arranque a meio.

Proteja os manifestos e os ajustes finos, não todos os ficheiros transferidos

Faça uma cópia de segurança das informações necessárias para reconstruir a biblioteca: URL de origem ou ID do repositório, revisão exata, nome do ficheiro, quantização, soma de verificação, notas sobre a licença, configuração do runtime e o caminho utilizado em produção. Esse manifesto é pequeno, pesquisável e mais útil durante uma recuperação do que um diretório cheio de ficheiros com nomes ambíguos.

Faça cópias de segurança dos adaptadores únicos, dos modelos combinados, dos dados de calibração e dos resultados de avaliação, com a retenção versionada habitual. No caso dos pesos de base públicos, decida se o tempo de recuperação justifica manter outra cópia. Uma ligação lenta à Internet ou o risco de um modelo deixar de estar disponível podem justificar a proteção de determinados pesos, mas replicar todas as experiências costuma desperdiçar capacidade de cópia de segurança.

Se ainda não decidiu sobre a camada mais abrangente de ficheiros de IA, a comparação da ZimaSpace entre uma nuvem pessoal e o armazenamento local no PC para ficheiros de IA é o passo seguinte no planeamento. Distingue os dados de origem persistentes e os índices da máquina que executa a inferência.

Valide o tempo de carregamento, o comportamento offline e o critério de expansão

Teste três cenários com o serviço de modelos parado: carregamento local de um modelo usado frequentemente, carregamento a frio a partir do NAS e indisponibilidade do NAS. Registe o tempo até à primeira resposta utilizável, o débito máximo da rede, o espaço livre na estação de trabalho antes e depois e se alguma ferramenta cria um diretório de recurso no disco de arranque. Repita após reiniciar para testar a ordem de montagem, em vez de a presumir.

A configuração é aprovada quando os modelos diários são carregados localmente dentro do tempo esperado, os modelos não utilizados recentemente podem ser preparados sem alterações manuais aos caminhos, os artefactos únicos podem ser restaurados a partir de uma cópia de segurança e a ausência do NAS provoca um erro claro, em vez de uma nova transferência silenciosa. Adicione uma rede mais rápida ou um nível local de maior capacidade apenas quando o atraso medido no carregamento a frio interromper o trabalho; aumente a capacidade do NAS quando a biblioteca canónica se aproximar do limite mínimo de espaço livre definido.

Deixe de usar leituras diretas pela rede para uma carga de trabalho que acede repetidamente a diferentes partes dos fragmentos dos modelos, exige uma latência inicial previsivelmente baixa ou tem de funcionar quando o NAS está offline. Nesse caso, mantenha o NAS como biblioteca e copie os modelos completos para um SSD local dedicado de maior capacidade antes de iniciar.

Regra de configuração final

Mantenha a biblioteca canónica de modelos no armazenamento partilhado, fixe o conjunto de trabalho diário no NVMe local, isole as caches descartáveis e proteja apenas os artefactos e manifestos que não podem ser recriados. Expanda quando o tempo de carregamento medido ou a capacidade ultrapassar um limite definido por escrito.

Configuração de NAS e servidor

Mais para ler

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.