A velocidade de cópia por SMB cai com milhares de ficheiros pequenos: o que deve testar primeiro?

Eva Wong é a redatora técnica e entusiasta residente na ZimaSpace. Uma geek desde sempre, apaixonada por homelabs e software de código aberto, dedica-se a traduzir conceitos técnicos complexos em guias práticos. A Eva acredita que a auto-hospedagem deve ser divertida, não intimidante. Através dos seus tutoriais, ajuda a comunidade a desmistificar configurações de hardware, desde montar o primeiro NAS até dominar os contentores Docker.

Verifique se o fator desencadeante é o número de ficheiros, e não a velocidade da ligação, antes de alterar as definições de SMB ou da rede.

Num NAS doméstico, milhares de ficheiros pequenos obrigam o cliente e o servidor a repetir a procura de caminhos, as verificações de permissões, as operações de abertura, criação, atualização de metadados e fecho, bem como a análise do lado da aplicação, para cada objeto. Uma ligação gigabit ou 2,5 GbE pode permanecer praticamente inativa enquanto a cópia avança a passo de caracol; por isso, o primeiro passo útil é um teste A/B que mantenha um volume total de dados semelhante, mas altere o número de objetos, seguido de testes de armazenamento, cliente e ferramenta de cópia, por uma ordem fixa.

Compare um ficheiro grande com o mesmo volume de dados em ficheiros pequenos

Crie dois conjuntos de teste no mesmo armazenamento de origem: um com um ficheiro grande e outro com uma pasta que contenha milhares de ficheiros pequenos, com aproximadamente o mesmo tamanho total. Copie ambos para a mesma partilha NAS, usando o mesmo cliente, percurso SMB e intervalo de tempo.

O relato de um utilizador do TrueNAS mostra o padrão característico de desempenho lento de SMB com ficheiros pequenos, enquanto os ficheiros grandes mantiveram uma velocidade de rede quase normal. Este contraste é mais útil do que um único valor de velocidade, pois comprova que o formato da carga de trabalho altera o estrangulamento.

Registe o tempo decorrido, o número total de ficheiros, o total de bytes, os ficheiros por segundo, a média de MB/s e se a lentidão começa imediatamente ou apenas depois de a cache ficar cheia. Se ambos os conjuntos forem lentos, investigue primeiro a rede ou o percurso de armazenamento em geral; se apenas o conjunto de ficheiros pequenos tiver um desempenho muito fraco, continue com testes centrados nos metadados.

Separe a capacidade da rede do trabalho por ficheiro

Execute um teste de rede entre a memória do cliente e a memória do NAS e compare o resultado com o da cópia SMB de ficheiros grandes. Um teste de rede sem problemas e uma cópia rápida de ficheiros grandes mostram que a ligação consegue transportar dados, embora não consiga manter-se totalmente ocupada com a carga de trabalho de ficheiros pequenos.

Os ficheiros pequenos transformam a cópia num trabalho repetido de pedidos e respostas. A Eclectic Light documentou como as cópias de segurança SMB com muitos metadados podem demorar inesperadamente, mesmo quando são transferidos poucos dados.

Não responda a esse resultado alterando primeiro o MTU, o modo duplex ou a agregação de ligações. Acompanhe os ficheiros por segundo e a latência sob carga; a próxima questão útil é saber se o trabalho repetido está à espera da origem, do destino no NAS ou da inspeção no cliente.

Teste separadamente a latência dos metadados de origem e de destino

Copie o conjunto de ficheiros pequenos da origem para outra pasta local no cliente e, em seguida, crie ou extraia localmente o mesmo conjunto no NAS. Estes dois testes isolam as leituras da origem e as criações no NAS, sem o SMB pelo meio.

Uma discussão em primeira mão sobre Unraid mediu operações lentas por ficheiro que não eram visíveis durante as transferências de ficheiros grandes. O sinal importante é perceber se a criação local no destino já é lenta antes de a rede entrar em jogo.

Se a cópia no cliente for lenta, verifique o disco de origem, o sistema de ficheiros, a encriptação e a organização dos ficheiros. Se a criação local no NAS for lenta, verifique o conjunto de discos de destino, a camada de cache, o percurso de paridade, a fragmentação do espaço livre, o dispositivo de metadados e o comportamento das escritas síncronas antes de ajustar o SMB.

Avalie a análise de segurança e a indexação em ambos os dispositivos

O antivírus, a proteção de endpoints, a geração de miniaturas, a indexação de conteúdo, os serviços de monitorização da sincronização e os analisadores de multimédia podem inspecionar cada ficheiro novo. O custo fixo por objeto pode dominar uma operação que cria milhares de itens rapidamente.

Faça um teste controlado com a análise em tempo real e a indexação temporariamente excluídas apenas para a pasta de teste dedicada e, em seguida, reponha imediatamente a proteção. O objetivo não é deixar a segurança desativada, mas determinar se a lentidão está relacionada com a inspeção de cada ficheiro.

Se o número de ficheiros por segundo aumentar acentuadamente, crie uma exclusão mais segura e duradoura apenas para os dados de preparação de cópias de segurança fidedignos ou os dados de cache gerados, ou agende a análise para depois da transferência. Se o resultado não mudar, reponha as definições originais e investigue o comportamento da ferramenta de cópia, em vez de acumular exceções sem explicação.

Compare ferramentas de cópia e níveis de concorrência sem alterar o conjunto de dados

O Explorador de Ficheiros, o Finder, o Robocopy, o rsync, os clientes de cópia de segurança e as ferramentas de arquivo podem usar diferentes profundidades de fila, chamadas de metadados, regras de repetição e níveis de paralelismo. Compare duas ferramentas com a mesma árvore de origem e o mesmo destino, em vez de comparar cargas de trabalho sem relação entre si.

A análise da Resilio sobre análises de grandes quantidades de ficheiros ilustra porque é que uma tarefa pode continuar limitada pelos metadados mesmo quando há poucas alterações no conteúdo. Mais threads podem disfarçar parte da latência, mas também podem sobrecarregar o NAS com criações simultâneas.

Aumente a concorrência um nível de cada vez e pare quando os ficheiros por segundo deixarem de aumentar, a latência subir acentuadamente ou o NAS começar a colocar gravações em fila. Mantenha a configuração que melhora de forma consistente a carga de trabalho real, não o valor mais elevado permitido pela ferramenta.

Use o padrão dos resultados para escolher a solução mais simples

O diagnóstico deve apontar para uma única etapa dominante: capacidade da rede, leituras da origem, criação de ficheiros no NAS, análise pelo sistema do dispositivo, comportamento dos pedidos SMB ou ferramenta de cópia. Não combine todos os ajustes possíveis numa só experiência, pois a alteração final da velocidade deixará de permitir identificar a causa.

A explicação da ZimaSpace sobre como o número de ficheiros aumenta o trabalho do NAS apresenta a razão subjacente pela qual os ficheiros por segundo podem ser mais importantes do que os MB/s para esta carga de trabalho.

Aceite a solução apenas quando o mesmo conjunto de ficheiros pequenos apresentar melhorias em execuções repetidas, sem prejudicar a velocidade com ficheiros grandes, as permissões, o comportamento de restauro ou a capacidade de resposta do NAS. Quando não é necessário recuperar ficheiros individuais, agrupar ficheiros minúsculos e imutáveis num arquivo pode reduzir a sobrecarga por objeto, mas essa é uma decisão de fluxo de trabalho, não uma solução universal para problemas de SMB.

Assistência e dicas

Mais para ler

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.