Velocidade de Cópia SMB Cai Com Milhares de Ficheiros Pequenos: O Que Deve Testar Primeiro?

Eva Wong é a Redatora Técnica e e entusiasta residente na ZimaSpace. Uma geek de longa data com paixão por homelabs e software de código aberto, ela é especialista em traduzir conceitos técnicos complexos em guias acessíveis e práticos . Eva acredita que o auto-hospedagem deve ser divertida, não intimidante. Através dos seus tutoriais, ela capacita a comunidade adesmistificar configurações de hardware , desde a construção do seu primeiro NAS até dominar os contêineres Docker., from building their first NAS to mastering Docker containers.

Teste se a contagem de ficheiros, e não a velocidade da ligação, é o gatilho antes de alterar as definições SMB ou de rede.

Numa NAS doméstica, milhares de pequenos ficheiros obrigam o cliente e o servidor a repetir a procura do caminho, verificações de permissões, aberturas, criações, atualizações de metadados, fechamentos e varreduras do lado da aplicação para cada objeto. Uma ligação gigabit ou 2.5GbE pode permanecer maioritariamente ociosa enquanto a cópia ainda arrasta, por isso o primeiro passo útil é um teste A/B que mantém os bytes totais semelhantes mas altera a contagem de objetos, seguido de testes de armazenamento, cliente e ferramenta de cópia numa ordem fixa.

Compare Um Ficheiro Grande Com os Mesmos Bytes em Pequenos Ficheiros

Crie dois conjuntos de teste no mesmo armazenamento de origem: um ficheiro grande e uma pasta contendo milhares de pequenos ficheiros com aproximadamente o mesmo tamanho total. Copie ambos para a mesma partilha NAS usando o mesmo cliente, caminho SMB e janela temporal.

Um relatório de um utilizador TrueNAS mostra o padrão característico de desaceleração SMB com pequenos ficheiros enquanto os ficheiros grandes mantinham uma velocidade de rede quase normal. Esse contraste é mais útil do que um único número de velocidade porque prova que a forma da carga de trabalho altera o gargalo.

Registe o tempo decorrido, total de ficheiros, total de bytes, ficheiros por segundo, média de MB/s e se a desaceleração começa imediatamente ou apenas depois de um cache encher. Se ambos os conjuntos forem lentos, investigue primeiro o caminho geral da rede ou armazenamento; se apenas o conjunto de pequenos ficheiros colapsar, continue com testes focados em metadados.

Separe a Capacidade da Rede do Trabalho Por Ficheiro

Execute um teste de rede memória-a-memória entre o mesmo cliente e NAS, depois compare-o com o resultado SMB do ficheiro grande. Um teste de rede limpo e uma cópia rápida de ficheiro grande mostram que a ligação pode transportar dados mesmo que a carga de trabalho de pequenos ficheiros não consiga mantê-la cheia.

Pequenos ficheiros convertem a cópia em trabalho repetido de pedido e resposta. O Eclectic Light documentou como backups SMB pesados em metadados podem demorar inesperadamente muito mesmo quando poucos dados de carga útil se movem.

Não responda a esse resultado alterando primeiro MTU, duplex ou agregação de ligação. Em vez disso, acompanhe ficheiros por segundo e latência carregada; a próxima questão útil é se o trabalho repetido está à espera da origem, do destino NAS ou da inspeção do lado do cliente.

Teste Separadamente a Latência de Metadados da Origem e do Destino

Copie o conjunto de pequenos ficheiros da origem para outra pasta local no cliente, depois crie ou extraia o mesmo conjunto localmente no NAS. Estes dois testes isolam as leituras da origem e as criações no NAS sem o SMB entre eles.

Uma discussão direta no Unraid mediu operações lentas por ficheiro que não eram visíveis durante transferências de ficheiros grandes. O sinal importante é se a criação local no destino já é lenta antes da rede estar envolvida.

Se a cópia local no cliente for lenta, inspecione o disco de origem, sistema de ficheiros, encriptação e disposição dos ficheiros. Se a criação local no NAS for lenta, inspecione o pool de destino, camada de cache, caminho de paridade, fragmentação do espaço livre, dispositivo de metadados e comportamento de escrita síncrona antes de ajustar o SMB.

-15% OFF

Meça a Varredura de Segurança e Indexação em Ambos os Pontos

Antivírus, proteção de endpoint, geração de miniaturas, indexação de conteúdo, observadores de sincronização e scanners de mídia podem inspecionar cada novo ficheiro. O seu custo fixo por objeto pode dominar uma carga de trabalho que cria milhares de itens rapidamente.

Execute um teste controlado com a varredura e indexação em tempo real temporariamente excluídas apenas para a pasta de teste dedicada, depois restaure a proteção imediatamente. O objetivo não é deixar a segurança desativada, mas determinar se a desaceleração segue a inspeção por ficheiro.

Se os ficheiros por segundo aumentarem acentuadamente, crie uma exclusão de longo prazo mais segura apenas para dados confiáveis de preparação de backup ou cache gerado, ou agende a varredura após a transferência. Se o resultado não mudar, restaure as definições originais e passe para o comportamento da ferramenta de cópia em vez de acumular exceções inexplicadas.

Compare Ferramentas de Cópia e Concorrência Sem Alterar o Conjunto de Dados

File Explorer, Finder, Robocopy, rsync, clientes de backup e ferramentas de arquivo podem usar diferentes profundidades de fila, chamadas de metadados, regras de repetição e paralelismo. Compare duas ferramentas contra a mesma árvore de origem e destino em vez de comparar cargas de trabalho não relacionadas.

A discussão da Resilio sobre escaneamentos de grande contagem de ficheiros ilustra porque um trabalho pode permanecer limitado por metadados mesmo quando pouco conteúdo muda. Mais threads podem esconder alguma latência, mas também podem sobrecarregar o NAS com criações concorrentes.

Aumente a concorrência um passo de cada vez e pare quando os ficheiros por segundo deixarem de melhorar, a latência subir acentuadamente ou o NAS começar a enfileirar escritas. Mantenha a configuração que melhora consistentemente a carga de trabalho real, não o valor mais alto que a ferramenta permite.

Use o Padrão do Resultado para Escolher a Correção Mais Pequena

O diagnóstico deve apontar para uma etapa dominante: capacidade da rede, leituras da origem, criações no NAS, varredura no endpoint, comportamento de pedidos SMB ou a ferramenta de cópia. Não combine todas as afinações possíveis num único experimento porque a alteração final da velocidade já não explicará a causa.

A explicação da ZimaSpace sobre como a contagem de ficheiros aumenta o trabalho na NAS fornece a razão subjacente pela qual ficheiros por segundo podem importar mais do que MB/s para esta carga de trabalho.

Aceite a correção apenas quando o mesmo conjunto de pequenos ficheiros melhorar em execuções repetidas sem prejudicar a velocidade de ficheiros grandes, permissões, comportamento de restauro ou a capacidade de resposta da NAS. Quando a recuperação individual não for necessária, empacotar pequenos ficheiros imutáveis num arquivo pode reduzir a sobrecarga de objetos, mas isso é uma decisão de fluxo de trabalho e não uma reparação universal do SMB.

Suporte e Dicas

Mais para Ler

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.