É possível armazenar fragmentos de um modelo num NAS e executá-los noutro computador doméstico?

Sim, os fragmentos do modelo podem estar num NAS enquanto outro computador doméstico os executa, desde que o ambiente de execução consiga ler um checkpoint completo e consistente.

Uma estação de trabalho com GPU não precisa de ser o local permanente de todos os ficheiros do modelo. Pode montar uma partilha NAS, carregar o checkpoint solicitado para a RAM do sistema ou para a VRAM e executar a inferência localmente, enquanto o NAS permanece como biblioteca persistente. A distinção importante é temporal: o armazenamento fornece bytes durante o carregamento e a paginação ocasional, enquanto o processador e o acelerador do computador executam operações sobre tensores depois de esses bytes estarem acessíveis.

Os fragmentos dividem o armazenamento, não a computação automaticamente

Um checkpoint fragmentado divide os tensores de um modelo por vários ficheiros, para que nenhum ficheiro se torne demasiado grande. Um índice regista a que fragmento pertence cada tensor. Isto facilita a transferência, o armazenamento e o carregamento, mas não significa que cada disco NAS ou computador doméstico execute um fragmento. A distribuição em repouso e a execução paralela são decisões arquiteturais distintas.

Os Transformers podem carregar checkpoints fragmentados, lendo o índice e carregando cada ficheiro de pesos para o modelo. O nó de computação continua a precisar de um mapa de dispositivos que coloque os tensores na CPU, na GPU ou no disco. Colocar simplesmente os ficheiros dos fragmentos em pastas diferentes não cria paralelismo de tensores nem combina a VRAM de várias máquinas sem relação entre si.

Num sistema doméstico, o NAS deve ser entendido principalmente como o repositório do modelo e a fonte de proveniência. Mantenha a configuração, os ficheiros do tokenizador, os índices dos fragmentos, as somas de verificação e os metadados da licença junto dos pesos. A estação de trabalho é o nó de execução. Esta separação entre armazenamento e computação também surge num sistema com NAS e nó de computação, no qual os conteúdos multimédia ou documentos permanecem centralizados enquanto hardware especializado trata da inferência.

O arranque a frio depende dos bytes que atravessam a rede

Antes da inferência, o nó de computação tem de ler uma quantidade suficiente do checkpoint para criar a disposição de execução. Um modelo de 40 GB não pode arrancar como se fosse um pequeno ficheiro de configuração: esses bytes têm de atravessar a rede local, exceto quando já existe uma cache local válida. Uma ligação de 1 GbE tem um limite teórico próximo de 125 MB/s antes da sobrecarga dos protocolos, pelo que grandes carregamentos a frio podem demorar vários minutos.

Os ambientes de execução podem utilizar ficheiros de modelos mapeados em memória, permitindo que o sistema operativo obtenha páginas quando necessário e as mantenha na cache de páginas. Num sistema de ficheiros de rede, uma falha de cache pode transformar-se numa leitura da rede durante a inferência. Isto pode reduzir o carregamento inicial, mas também transferir a latência para os primeiros prompts e tornar o desempenho sensível à expulsão da cache ou à contenção no NAS.

Uma cache NVMe local altera a experiência sem duplicar a propriedade. A estação de trabalho pode copiar uma versão verificada do modelo a partir do NAS uma vez, executá-la a partir do armazenamento local e eliminá-la ou atualizá-la de acordo com um manifesto. O NAS continua a ser a fonte de autoridade; a cache absorve as leituras repetidas. Mais largura de banda de rede ajuda no arranque a frio, mas não aumenta a velocidade de geração de tokens depois de os pesos ativos e a cache estarem residentes.

A consistência e a semântica dos ficheiros definem o limite das falhas

Um carregador espera que todos os fragmentos e o respetivo índice descrevam a mesma revisão do modelo. Se uma tarefa de sincronização substituir ficheiros enquanto outro computador está a carregar, o resultado pode combinar fragmentos antigos e novos ou falhar uma soma de verificação. Bloqueios de ficheiros, trocas atómicas de diretórios, pastas de versões imutáveis e um manifesto concluído impedem que os leitores observem um checkpoint publicado apenas parcialmente.

As estruturas distribuídas têm explicitamente em conta a coordenação do armazenamento. A API de checkpoints distribuídos do PyTorch suporta leitores de armazenamento e a redistribuição de fragmentos durante o carregamento para aplicações distribuídas compatíveis. Isto é diferente de montar uma partilha genérica e esperar que qualquer ambiente de execução consiga interpretar fragmentos de treino. Os formatos de inferência, os nomes dos tensores, a quantização e a colocação dos dispositivos também têm de corresponder ao motor selecionado.

A afirmação de que o NAS pode executar o modelo deixa de ser válida quando o ambiente de execução exige ficheiros locais, os bloqueios de rede se comportam de forma diferente do esperado, uma ligação Wi-Fi falha durante as falhas de página ou o conjunto de trabalho excede repetidamente a RAM. Também falha quando os “fragmentos” estão associados a uma topologia de treino, em vez de serem um checkpoint de inferência portátil. Converta ou consolide o modelo antes da implementação, em vez de tratar todos os esquemas de checkpoint como intercambiáveis.

-15% OFF

ZimaBoard 2 - Mini Servidor Doméstico para a Sua Grande Ideia

Single board computer zimaboard2

$339.00 - $519.00

Buy Now

Utilize um teste de armazenamento com três execuções

Meça uma execução de rede a frio depois de limpar a cache da estação de trabalho, uma execução a quente a partir da cache do sistema operativo e uma execução a partir da cache local no SSD. Registe o tempo até o modelo estar pronto, o tempo até ao primeiro token, os tokens por segundo sustentados, os bytes de rede lidos após o arranque e se outras cargas de trabalho do NAS alteram o resultado. Estas três execuções isolam o tempo de transferência da velocidade de execução.

Uma discussão dedicada ao armazenamento durante o arranque a frio de modelos explica por que motivo o formato, o mapeamento de memória, a cache de páginas e a E/S concorrente são importantes antes do início da geração. Combine esse teste ao nível do modelo com somas de verificação dos ficheiros no repositório. Um carregamento rápido da revisão errada é um resultado pior do que um carregamento mais lento, mas reproduzível.

Utilize a execução direta a partir do NAS quando os arranques a frio forem raros, a rede for estável e o conjunto de trabalho permanecer em cache. Utilize a cache local quando os modelos arrancarem frequentemente ou a latência for importante. Se as leituras de rede continuarem durante toda a geração, reduza a pressão sobre a paginação ou copie o modelo localmente antes de atualizar a rede local. A condição de sucesso não é o modelo abrir; é o carregamento ser repetível, sem dependência a meio da execução de um acesso frágil ao armazenamento.

Perguntas frequentes

Dois computadores podem utilizar os mesmos ficheiros do modelo ao mesmo tempo?

Sim, quando abrem uma versão imutável do modelo em modo só de leitura. Cada computador continua a carregar o seu próprio estado de execução e a sua própria cache KV. Os leitores concorrentes não partilham automaticamente a RAM, a VRAM nem o contexto gerado.

Uma ligação 10GbE torna a inferência mais rápida?

Pode encurtar grandes carregamentos a frio e reduzir o atraso causado por falhas de página. Depois de os pesos estarem residentes, a geração é normalmente limitada pela computação e pela largura de banda da memória do nó de execução, e não pelo débito do NAS.

Os ficheiros divididos GGUF são iguais aos fragmentos de treino?

Não. Ambos dividem os dados por vários ficheiros, mas os respetivos metadados, regras de carregamento e ambientes de execução previstos são diferentes. Verifique se o motor de inferência suporta exatamente o formato dividido antes de considerar a cópia no NAS executável.