Como implementar um LLM local sem comprometer o armazenamento nem as aplicações

Eva Wong é a redatora técnica e entusiasta residente na ZimaSpace. Uma geek desde sempre, apaixonada por homelabs e software de código aberto, dedica-se a traduzir conceitos técnicos complexos em guias práticos. A Eva acredita que a auto-hospedagem deve ser divertida, não intimidante. Através dos seus tutoriais, ajuda a comunidade a desmistificar configurações de hardware, desde montar o primeiro NAS até dominar os contentores Docker.

Implementar um LLM local num NAS doméstico não é difícil porque o primeiro comando seja complicado. É difícil porque o modelo, a cache, o contentor, o servidor de API e as tarefas em segundo plano competem pelo mesmo armazenamento e pelos recursos do sistema que o NAS já utiliza para ficheiros, cópias de segurança, multimédia, bases de dados e aplicações.

O objetivo mais seguro não é tornar o LLM o mais rápido possível logo no primeiro dia. O mais seguro é definir um caminho de armazenamento, limites de recursos rigorosos, paralelismo limitado e uma rotina de verificação. Um modelo local um pouco mais lento é, regra geral, preferível a um modelo rápido que encha a unidade do sistema, provoque pressão sobre a memória ou torne menos fiáveis as outras aplicações autoalojadas.

Em resumo: dê ao LLM espaço e limites próprios

Um LLM local deve ter o seu próprio espaço antes de receber o primeiro modelo. Isso significa que deve saber onde ficarão os ficheiros do modelo, as caches, os índices, os registos e os dados da aplicação antes de transferir um modelo ou ligar uma interface Web. Se esses ficheiros forem parar a um caminho oculto do Docker ou a uma pequena unidade de arranque, a implementação pode parecer bem-sucedida enquanto consome silenciosamente o espaço necessário ao próprio NAS.

Também precisa de limites. Os ambientes de execução de LLM podem utilizar muita RAM, VRAM, threads de CPU e memória de contexto, sobretudo quando estão ativos vários modelos ou pedidos paralelos. As restrições de recursos do Docker explicam que, caso contrário, os contentores podem utilizar os recursos do anfitrião conforme permitido pelo escalonador do kernel, e que a pressão sobre a memória pode levar à falta de memória, afetando outros processos.

Num NAS partilhado, isso é mais importante do que os resultados máximos em testes de desempenho. Plex, Jellyfin, Home Assistant, bases de dados, tarefas de sincronização, cópias de segurança e partilha de ficheiros não devem tornar-se instáveis só porque um servidor de modelos está a tentar responder a um pedido longo. Uma implementação segura de um LLM local começa pelo mapeamento do armazenamento, pelos limites de recursos, pela escolha do modelo e pela verificação.

O que confirmar antes de instalar o primeiro modelo

Antes de transferir o primeiro modelo, defina a primeira tarefa. Um LLM local utilizado para conversas simples tem requisitos diferentes dos de um assistente RAG, um processo de geração de embeddings, um assistente de programação ou um agente de automatização capaz de ler e escrever ficheiros. Se não definir primeiro o caso de utilização, é fácil instalar um modelo demasiado grande, demasiado lento ou demasiado exigente para o servidor.

Comece por estas verificações:

  • Caso de utilização: chat, RAG, embeddings, sumarização, automatização, programação ou assistência à pesquisa.
  • Tamanho do modelo: qual é o tamanho do ficheiro do modelo e se irá manter várias variantes.
  • Quantização: se o modelo está suficientemente comprimido para o servidor.
  • Caminho de armazenamento: onde os ficheiros dos modelos e a cache serão guardados no anfitrião.
  • Caminho no contentor: como o caminho no anfitrião é mapeado para o contentor.
  • RAM e VRAM: quanta memória fica disponível para as outras aplicações.
  • Capacidade disponível da CPU: quantos threads o modelo pode utilizar sem sobrecarregar o NAS.
  • Paralelismo: quantos pedidos ou modelos carregados podem ser executados em simultâneo.
  • Carga de trabalho existente: cópias de segurança, transmissão de multimédia, bases de dados, sincronização e partilha de ficheiros.
  • Plano de verificação: como irá confirmar que o NAS continua a funcionar corretamente depois.

Esta verificação prévia não é trabalho desnecessário. Evita o problema mais comum na implementação de LLMs locais num NAS: o modelo responde, mas o sistema à sua volta torna-se menos fiável.

Mantenha os ficheiros dos modelos fora da unidade do sistema

Os ficheiros dos modelos podem ocupar mais espaço do que o esperado. Um único modelo pode ser fácil de gerir, mas vários modelos, variantes quantizadas, embeddings, índices, dados da WebUI e registos podem rapidamente ocupar dezenas ou centenas de gigabytes. Se estes ficheiros forem guardados na unidade do sistema ou na raiz do Docker, o NAS pode ficar sem espaço crítico, mesmo quando o conjunto de armazenamento principal ainda parece estar em boas condições.

As perguntas frequentes do Ollama indicam as localizações predefinidas dos modelos nos diferentes sistemas operativos e explicam que o diretório de armazenamento de modelos pode ser alterado com a variável de ambiente OLLAMA_MODELS. Num NAS ou servidor doméstico, este pormenor é importante porque o caminho predefinido pode não ser o local onde pretende guardar ficheiros de modelos a longo prazo.

Se executar o Ollama ou outro executor de modelos no Docker, lembre-se de que um caminho no contentor não é o mesmo que um caminho no anfitrião. Um diretório como /root/.ollama dentro do contentor tem de ser mapeado para uma localização deliberada no anfitrião, se quiser um armazenamento previsível. Sem um mapeamento de volume, os ficheiros dos modelos podem permanecer no armazenamento gerido pelo Docker, dificultando a monitorização do crescimento e a limpeza.

Um padrão mais seguro consiste em criar um diretório de modelos dedicado antes da implementação, como uma pasta de armazenamento de IA num conjunto de dados ou num volume de armazenamento de aplicações. Mantenha-o separado dos destinos das cópias de segurança, das bases de dados críticas e dos dados de aplicações insubstituíveis. O diretório de modelos deve ter espaço suficiente, ser fácil de inspecionar e estar documentado, para que possa remover modelos antigos mais tarde.

Decida também onde ficarão os ficheiros relacionados. Os índices RAG, os embeddings, as bases de dados vetoriais, os registos e os documentos carregados podem tornar-se consumidores de armazenamento independentes. Se planear apenas o ficheiro do modelo, o resto da infraestrutura de IA ainda o pode surpreender.

Defina limites para a memória, a CPU e o paralelismo

Limites de memória

Os LLM locais consomem muita memória. Precisam de memória para os pesos do modelo, o contexto, a sobrecarga do ambiente de execução e, por vezes, vários modelos carregados. Se o servidor também estiver a executar bases de dados, serviços multimédia, sincronização de ficheiros, contentores e tarefas de cópia de segurança, o LLM não deve poder consumir toda a memória disponível.

O Docker suporta limites de memória dos contentores que podem impedir um contentor de se apoderar do anfitrião. Num NAS partilhado, isto não serve tanto para tornar o modelo mais rápido, mas sim para proteger o resto do sistema. Se o contentor do LLM atingir o seu próprio limite, isso é geralmente preferível a deixar todo o servidor ficar sujeito a pressão de memória.

Reserve margem para os serviços essenciais. Se o NAS tiver 32 GB de RAM e as aplicações normais utilizarem 8 GB a 12 GB durante os períodos de maior utilização, não disponibilize o restante ao LLM. Reserve espaço para a cache do sistema de ficheiros, tarefas de cópia de segurança, bases de dados e picos momentâneos de utilização. Um modelo que só funciona quando não há mais nada em execução não é uma opção segura por predefinição para um servidor doméstico partilhado.

A VRAM também é importante quando se utiliza inferência por GPU. As FAQ do Ollama explicam que a inferência por CPU utiliza a memória do sistema, enquanto a inferência por GPU utiliza VRAM, e que o carregamento simultâneo de modelos depende da memória ou VRAM disponível. Isso significa que uma GPU pode ajudar bastante, mas não elimina a necessidade de planear a memória.

Limites de CPU

Os limites de CPU protegem a capacidade de resposta. Um LLM local pode utilizar muitas threads durante o processamento do prompt ou a geração de tokens. Se saturar a CPU, o painel do NAS pode ficar lento, as transmissões multimédia podem sofrer interrupções, as automatizações podem atrasar-se e as bases de dados podem responder lentamente.

O Docker disponibiliza controlos de CPU como --cpus, --cpu-quota e --cpuset-cpus. Nem sempre são necessários limites rigorosos, mas deve decidir que quantidade de CPU o LLM pode utilizar durante a atividade normal do NAS. Um modelo que demora um pouco mais a responder, mas mantém o servidor reativo, é geralmente uma opção mais adequada do que um que consome todas as threads.

A inferência apenas com CPU é especialmente sensível a limites. Sem uma GPU ou NPU, o LLM compete diretamente com todos os outros serviços que utilizam a CPU. Se o NAS já processa transcodificação de conteúdos multimédia, indexação, compressão, cópias de segurança ou bases de dados, o LLM não deve funcionar sem restrições nas horas de maior utilização.

Contagem de modelos e pedidos em paralelo

É fácil não ter em conta o paralelismo. Um único modelo a responder a um único pedido pode funcionar bem. Vários utilizadores, uma WebUI, um fluxo de trabalho de automação e uma ferramenta RAG podem rapidamente acumular pedidos. Cada pedido pode aumentar a memória de contexto e a carga da CPU.

A FAQ do Ollama descreve pedidos paralelos e o comportamento dos modelos carregados, incluindo definições como OLLAMA_MAX_LOADED_MODELS, OLLAMA_NUM_PARALLEL e OLLAMA_MAX_QUEUE. Estas definições são importantes num NAS porque a concorrência pode transformar uma implementação estável para um único utilizador num pico de consumo de recursos.

Para um servidor doméstico partilhado, comece com limites conservadores. Um modelo carregado e um pedido ativo constituem um ponto de partida mais seguro. Só aumente estes limites depois de confirmar que o armazenamento, a memória, a CPU e os outros serviços continuam estáveis.

Escolha um modelo adequado ao servidor, não ao entusiasmo

O primeiro modelo certo não é o maior que consegue descarregar. É o modelo mais pequeno que consegue realizar a tarefa com qualidade aceitável. Num NAS, a escolha do modelo faz parte da proteção do sistema.

Os modelos quantizados são muitas vezes um ponto de partida prático. A documentação do llama.cpp explica como os modelos quantizados reduzem a precisão dos pesos do modelo, por exemplo, convertendo ficheiros de modelos GGUF de maior precisão em formatos mais pequenos. Isto pode reduzir o tamanho do modelo e melhorar a inferência na prática, mas também pode implicar compromissos na qualidade.

Este compromisso é geralmente aceitável para muitos casos de utilização de NAS doméstico: chat simples, resumos, embeddings, assistência RAG, organização de ficheiros e pequenas ferramentas de automação. É menos aceitável se a tarefa exigir raciocínio aprofundado, contexto extenso, desempenho multiutilizador ou elevada precisão na programação.

Use a condição do servidor como ponto de partida:

Condição do servidor Ponto de partida mais seguro Evitar inicialmente
8 GB–16 GB de RAM, apenas CPU Modelo pequeno quantizado, embeddings, chat ligeiro Modelos grandes, contexto extenso, vários utilizadores
16 GB–32 GB de RAM, iGPU / NPU Chat simples, RAG, assistente de pesquisa Geração de imagens, assistente de programação intensivo
GPU com VRAM suficiente Modelo maior ou inferência mais rápida Acumular modelos sem limites
NAS partilhado com muitas aplicações Tarefas de IA agendadas, um modelo, um utilizador Inferência intensiva sempre ativa
NAS mais máquina GPU separada O NAS armazena os dados; a máquina de IA executa a inferência Forçar todo o processamento no NAS

Uma implementação segura começa por pouco, pois proporciona uma base estável. Depois, pode testar um modelo maior, um contexto mais extenso ou uma integração com uma WebUI. Se o sistema ficar lento, saberá que alteração causou o problema.

Mantenha o LLM afastado das aplicações críticas e das cópias de segurança

Um LLM local não deve partilhar limites de falha com os serviços de que mais depende. Se o armazenamento dos modelos de IA, as cópias de segurança, as bases de dados das aplicações e os ficheiros temporários estiverem todos numa localização mal planeada, uma tarefa pode causar problemas aos restantes serviços.

Mantenha a cache dos modelos e os dados temporários de IA afastados dos destinos das cópias de segurança. Normalmente, é possível recriar um diretório de modelos; um repositório de cópias de segurança, não. Encher um destino de cópias de segurança com ficheiros de modelos ou dados temporários de IA pode resultar em cópias de segurança não efetuadas, falhas nas tarefas de sincronização ou pontos de restauro confusos.

Mantenha as bases de dados das aplicações separadas sempre que possível. O Home Assistant, os servidores multimédia, as bibliotecas de fotografias, os gestores de palavras-passe e outras aplicações autoalojadas podem depender de bases de dados pequenas, que não lidam bem com picos repentinos de operações de I/O ou com pouco espaço em disco. Não deixe que a transferência de um modelo de grandes dimensões ou uma tarefa de indexação RAG sobrecarregue a mesma área de armazenamento sem planeamento.

Tenha também em conta os horários. Se as cópias de segurança forem executadas à noite, não agende uma indexação intensiva para o mesmo período. Se o streaming de multimédia ocorrer à noite, não execute nessa altura inferências com contexto longo apenas com CPU. Um NAS tem muitas vezes capacidade para executar várias tarefas, mas não todas no seu pico.

Para fluxos de trabalho com LLM que possam escrever ficheiros ou chamar ferramentas, adicione proteções. Use caminhos isolados, etapas de confirmação e registos. Deixe o modelo sugerir ações, mas use código determinístico ou a confirmação do utilizador para escrever, eliminar, mover e alterar aplicações. Uma implementação segura de LLM protege não só os recursos do sistema, mas também os dados a que pode aceder.

Sinais de alerta de que o LLM está a deixar outros serviços sem recursos

Uma implementação mal configurada nem sempre falha de imediato. Mais frequentemente, provoca sintomas que, à primeira vista, parecem não estar relacionados.

Um sinal de alerta é o crescimento repentino do espaço em disco. Se a unidade do sistema, a raiz do Docker ou o armazenamento das aplicações aumentar rapidamente após a transferência dos modelos, o caminho do modelo poderá não estar mapeado para o local esperado. Verifique o caminho real no anfitrião, não apenas o caminho no contentor.

Os reinícios de contentores são outro sinal. Se o contentor do LLM, a base de dados, o Home Assistant, o servidor multimédia ou a interface Web estiverem sempre a reiniciar, verifique a pressão sobre a memória, os registos de OOM e a saturação da CPU. O LLM pode continuar a funcionar enquanto os outros serviços ficam sem recursos.

Um painel de controlo do NAS lento também é importante. Se a interface Web ficar lenta durante as solicitações, o LLM local poderá estar a usar demasiados threads de CPU, demasiada memória ou demasiadas operações de I/O em disco. O facto de o modelo responder corretamente não significa que a implementação esteja a funcionar bem.

A colocação em buffer de conteúdos multimédia, as automatizações atrasadas, as partilhas de ficheiros lentas e as janelas de cópia de segurança perdidas são sinais mais fortes. Estas são funções essenciais de um NAS. Se o desempenho destas tarefas piorar após a implementação do LLM, este precisa de um modelo mais pequeno, limites mais rigorosos, uma melhor calendarização ou um anfitrião de computação separado.

Monitorize também o comportamento da API. Se a API do LLM deixar de responder, ficar numa fila indefinidamente ou se tornar pouco fiável quando uma WebUI, uma ferramenta RAG ou um sistema de automatização se liga, o paralelismo poderá ser excessivo para o servidor. Limite os modelos carregados, os pedidos ativos e o tamanho da fila antes de adicionar mais integrações.

Uma ordem de implementação mais segura para um LLM local num NAS

Não comece por instalar todas as ferramentas de IA de uma só vez. Comece com um serviço LLM local, um modelo, um caminho de armazenamento e um caso de utilização para teste. Assim, será mais fácil compreender a implementação e diagnosticar problemas em segurança.

Uma ordem de implementação mais segura seria:

  1. Escolha um caso de utilização, como conversação simples, embeddings ou testes de RAG.
  2. Escolha o modelo mais pequeno capaz de realizar a tarefa.
  3. Crie um diretório dedicado aos modelos num caminho de armazenamento conhecido.
  4. Associe esse diretório ao contentor ou configure o executor para o utilizar.
  5. Defina limites de memória e CPU.
  6. Limite os pedidos paralelos e os modelos carregados.
  7. Comece com um pedido de teste ou um índice RAG pequeno.
  8. Durante a execução, monitorize o disco, a RAM, a CPU, a GPU, os registos e o tempo de resposta.
  9. Confirme se as aplicações existentes e as cópias de segurança continuam a funcionar normalmente.
  10. Só depois adicione integrações, como o Open WebUI, ferramentas RAG ou fluxos de trabalho automatizados.

Esta ordem pode parecer mais lenta do que a de um guia de instalação rápida, mas reduz as surpresas. Se algo falhar, saberá se o problema teve origem no modelo, no caminho, nos limites de recursos, na WebUI, no índice RAG ou noutra integração.

Como verificar se o armazenamento e as aplicações continuam seguros

A verificação não deve ficar-se por «o modelo respondeu». Um LLM local pode responder a um pedido e, ainda assim, encher o disco errado, deixar outros contentores sem recursos ou atrasar as tarefas de cópia de segurança.

Comece pela verificação do armazenamento. Confirme se os ficheiros do modelo foram guardados no caminho esperado no anfitrião. Verifique se ainda há espaço livre na unidade do sistema. Confirme que o diretório raiz do Docker não cresceu inesperadamente. Verifique se a cache do modelo, os registos, os índices e os dados da aplicação não estão misturados com cópias de segurança ou bases de dados críticas.

Em seguida, verifique os recursos. A CPU deverá voltar ao normal após os pedidos ou a indexação. A utilização da memória deverá manter-se abaixo do limite definido. A utilização da swap não deverá aumentar com uma utilização normal. Se a inferência por GPU estiver ativada, confirme se o modelo está realmente a utilizar a GPU e se a pressão sobre a VRAM é aceitável.

Em seguida, verifique a estabilidade das aplicações. Abra partilhas de ficheiros, reproduza conteúdos multimédia em fluxo contínuo, acione uma automatização do Home Assistant, navegue no painel do NAS e confirme que as bases de dados ou os painéis das aplicações continuam a responder. Se estes serviços só abrandarem enquanto o LLM está ativo, precisa de limites mais rigorosos para o CPU, a memória ou o agendamento.

Verifique os registos. Procure ciclos de reinício, mensagens de falta de memória (OOM), falhas ao carregar modelos, erros de permissões, falta de acesso à GPU, falhas na montagem de volumes e tempos limite repetidos da API. Muitas vezes, é nos registos que uma implementação aparentemente «funcional» revela ser apenas minimamente estável.

Por fim, verifique o limite do ponto final. Se o servidor do modelo expuser uma API, saiba onde está acessível. Um ponto final de LLM local não deve ficar público por acidente. Mantenha-o na rede interna, a menos que o tenha colocado intencionalmente atrás de autenticação, regras de proxy inverso, acesso por VPN ou outro limite controlado.

Como a pesquisa de IA do ZimaOS demonstra um padrão controlado de implementação de IA

Um fluxo de trabalho de IA controlado no NAS deve ter um percurso do modelo, requisitos de recursos, expectativas de execução e um método de verificação definidos. Não deve comportar-se como um serviço em segundo plano ilimitado que descarrega modelos, consome tempo de GPU e grava dados onde quiser.

O ZimaOS-AI é um exemplo útil deste padrão controlado. O guia do ZimaSpace para a pesquisa de IA explica que o módulo foi concebido para servir a pesquisa do ZimaOS, utilizando um LLM local para extrair características de imagens, áudio e vídeo. Esse enquadramento é importante: a carga de trabalho de IA apoia a pesquisa e a extração de características, em vez de transformar o NAS num servidor de chat sem restrições.

O mesmo guia torna visível o limite de recursos. Descreve percursos de instalação separados para sistemas com GPU dedicada NVIDIA e sistemas com GPU integrada Intel. O percurso NVIDIA depende do suporte de GPU compatível com CUDA, enquanto o percurso da GPU integrada Intel requer pelo menos 8 GB de RAM livre e recomenda um CPU i5-1235U ou superior com gráficos integrados. Também indica pelo menos 20 GB de espaço livre no sistema e refere que os ficheiros do modelo são armazenados em /media/ZimaOS-HD/AppData/.models, a menos que o AppData tenha sido migrado.

É esse tipo de informação que uma implementação segura de LLM precisa de ter antes de começar. Um dispositivo de nuvem privada, como o ZimaCube 2 AI NAS, pode suportar fluxos de trabalho de IA local mais avançados quando o percurso do modelo, o suporte de GPU ou iGPU, a RAM, o espaço de armazenamento e o agendamento são adequados à carga de trabalho. Mas a lição importante é o limite, não o nome da marca: saiba onde está o modelo, que percurso de hardware utiliza e quando lhe é permitido consumir recursos.

Os detalhes de resolução de problemas também mostram como verificar uma implementação. Se a pesquisa com IA não apresentar resultados relacionados com IA, o modelo pode ainda estar a ser transferido, a extração de funcionalidades pode ainda estar em curso, o acesso ao Hugging Face pode não estar disponível ou a VRAM pode ser insuficiente, obrigando a recorrer à CPU e à memória. O guia também recomenda verificar o Call-History, o tráfego de rede e journalctl -xef -u zimaos-ai para consultar o estado.

Este é um padrão útil para qualquer implementação local de LLM num NAS: definir o caminho, definir os recursos, acompanhar os registos, confirmar que a funcionalidade funciona realmente e programar as tarefas mais exigentes para que o NAS continue a ser utilizável.

Perguntas frequentes

Onde devo guardar os ficheiros de modelos de LLM locais num NAS?

Guarde os ficheiros do modelo num diretório específico e documentado para modelos, num volume de dados ou numa localização de armazenamento de aplicações com espaço suficiente. Evite que os modelos acabem, sem que se aperceba, na unidade de arranque, na raiz do Docker ou num destino de cópia de segurança. O caminho deve ser fácil de inspecionar, limpar e migrar.

Devo executar o Ollama diretamente ou no Docker?

Ambas as opções podem funcionar. O Docker facilita o isolamento e a implementação, mas é necessário mapear corretamente o armazenamento do modelo e definir limites de recursos. A instalação direta pode ser mais simples em alguns sistemas, mas continua a ser necessário confirmar o diretório do modelo, as permissões, a utilização de memória e os limites do serviço.

Quanta RAM devo reservar para as outras aplicações?

Reserve RAM suficiente para o sistema operativo do NAS, a cache do sistema de ficheiros, as bases de dados, os serviços multimédia, as cópias de segurança e os contentores habituais antes de atribuir memória ao LLM. Não dimensione o modelo com base na RAM total. Dimensione-o com base na RAM disponível depois de reservar margem para os serviços essenciais.

Um LLM local pode avariar os meus outros contentores Docker?

Pode afetá-los se consumir demasiada memória, CPU, E/S de disco ou espaço de armazenamento. Pode não os «avariar» diretamente, mas pode causar lentidão, ciclos contínuos de reinício, eventos OOM, perda das janelas de cópia de segurança ou falhas em operações da base de dados se for implementado sem limites.

Quando devo passar o LLM para uma máquina separada?

Passe o LLM para uma máquina separada quando precisar de modelos maiores, contexto longo, vários utilizadores, cargas de trabalho que exijam muito da GPU ou respostas rápidas que tornem o NAS lento. Nessa configuração, o NAS pode continuar a servir como armazenamento e fonte de dados, enquanto um computador de secretária com GPU, um mini PC ou um servidor de IA trata da inferência.

Uma implementação local segura de LLM num NAS começa com limites, não com exageros sobre o modelo. Defina um caminho conhecido para o modelo, estabeleça limites de recursos para o contentor, proteja as aplicações críticas e as cópias de segurança e verifique todo o servidor depois do primeiro pedido. A implementação só é bem-sucedida quando o LLM funciona e o NAS continua a comportar-se como um NAS fiável.

Assistência e dicas

Mais para ler

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.