La velocità di copia SMB cala con migliaia di file piccoli: cosa dovresti testare per prima cosa?

Eva Wong è la redattrice tecnica e appassionata di tecnologia di ZimaSpace. Geek da sempre, appassionata di homelab e software open source, è specializzata nel tradurre concetti tecnici complessi in guide pratiche. Eva crede che l’hosting autonomo debba essere divertente, non intimidatorio. Attraverso i suoi tutorial, aiuta la community a comprendere meglio le configurazioni hardware, dalla costruzione del primo NAS alla padronanza dei container Docker.

Verifica se il fattore scatenante è il numero di file, non la velocità del collegamento, prima di modificare le impostazioni SMB o di rete.

Su un NAS domestico, migliaia di file piccoli costringono client e server a ripetere per ogni elemento la ricerca del percorso, i controlli delle autorizzazioni, le operazioni di apertura e creazione, gli aggiornamenti dei metadati, la chiusura e l'analisi lato applicazione. Un collegamento Gigabit o 2,5 GbE può rimanere perlopiù inattivo mentre la copia procede a rilento: perciò, il primo passo utile è un test A/B che mantenga simile la quantità totale di dati ma modifichi il numero di elementi, seguito da test in un ordine prestabilito su archiviazione, client e strumenti di copia.

Confronta un file grande con gli stessi byte suddivisi in file piccoli

Crea due set di test sulla stessa unità di archiviazione di origine: un file grande e una cartella contenente migliaia di file piccoli, con una dimensione totale all'incirca uguale. Copiali entrambi nella stessa condivisione NAS usando lo stesso client, lo stesso percorso SMB e lo stesso intervallo di tempo.

La segnalazione di un utente di TrueNAS mostra il tipico rallentamento di SMB con file piccoli, mentre i file grandi mantenevano una velocità vicina a quella normale della rete. Questo confronto è più utile di un singolo valore di velocità perché dimostra che la struttura del carico di lavoro cambia il collo di bottiglia.

Registra il tempo trascorso, il numero totale di file, il numero totale di byte, i file al secondo, la velocità media in MB/s e se il rallentamento inizia subito o solo quando si riempie la cache. Se entrambi i set sono lenti, verifica prima la rete o il percorso di archiviazione in generale; se rallenta solo il set di file piccoli, prosegui con test incentrati sui metadati.

Distingui la capacità della rete dalle operazioni per file

Esegui un test di rete da memoria a memoria tra lo stesso client e lo stesso NAS, poi confrontalo con il risultato del trasferimento SMB di un file grande. Un test di rete pulito e una copia rapida di un file grande dimostrano che il collegamento può trasportare dati, anche se il carico di lavoro con file piccoli non riesce a sfruttarne tutta la capacità.

I file piccoli trasformano la copia in una serie di operazioni ripetute di richiesta e risposta. Eclectic Light ha documentato come i backup SMB con molti metadati possano richiedere tempi insolitamente lunghi anche quando viene trasferita poca quantità di dati.

Non reagire a questo risultato modificando subito MTU, duplex o aggregazione dei collegamenti. Tieni traccia dei file al secondo e della latenza sotto carico; la domanda successiva utile è se le operazioni ripetute sono in attesa della sorgente, della destinazione sul NAS o dei controlli eseguiti sul client.

Verifica separatamente la latenza dei metadati di origine e di destinazione

Copia l’insieme di file di piccole dimensioni dalla sorgente a un’altra cartella locale sul client, poi crea o estrai localmente lo stesso insieme sul NAS. Questi due test isolano le letture dalla sorgente e la creazione dei file sul NAS, senza SMB nel mezzo.

Una discussione di prima mano su Unraid ha misurato operazioni lente per singolo file, non visibili durante i trasferimenti di file di grandi dimensioni. Il dato importante è verificare se la creazione locale sul dispositivo di destinazione è già lenta prima che entri in gioco la rete.

Se la copia locale sul client è lenta, controlla il disco di origine, il filesystem, la crittografia e la disposizione dei file. Se la creazione locale sul NAS è lenta, controlla il pool di destinazione, il livello di cache, il percorso di parità, la frammentazione dello spazio libero, il dispositivo dei metadati e il comportamento delle scritture sincrone prima di modificare SMB.

Misura la scansione di sicurezza e l’indicizzazione su entrambi gli endpoint

Antivirus, protezione degli endpoint, generazione di miniature, indicizzazione dei contenuti, processi di sincronizzazione e scanner multimediali possono esaminare ogni nuovo file. Il loro costo fisso per elemento può incidere più di ogni altro fattore su un carico di lavoro che crea rapidamente migliaia di elementi.

Esegui un test controllato con la scansione in tempo reale e l’indicizzazione temporaneamente escluse solo per la cartella di test dedicata, quindi ripristina subito la protezione. Lo scopo non è lasciare la sicurezza disattivata, ma determinare se il rallentamento dipende dall’ispezione di ogni singolo file.

Se i file al secondo aumentano bruscamente, crea un’esclusione a lungo termine più sicura solo per le aree di staging dei backup attendibili o per i dati della cache generati, oppure pianifica la scansione dopo il trasferimento. Se il risultato non cambia, ripristina le impostazioni originali e passa a esaminare il comportamento dello strumento di copia, invece di accumulare eccezioni senza una motivazione chiara.

Confronta gli strumenti di copia e la concorrenza senza modificare il set di dati

Esplora file, Finder, Robocopy, rsync, i client di backup e gli strumenti di archiviazione possono usare profondità di coda, chiamate ai metadati, regole di ripetizione e livelli di parallelismo diversi. Confronta due strumenti sulla stessa struttura di origine e destinazione, invece di confrontare carichi di lavoro non correlati.

La discussione di Resilio sulle scansioni di un numero elevato di file mostra perché un’attività può restare limitata dai metadati anche quando cambia poco contenuto. Più thread possono compensare parte della latenza, ma possono anche sovraccaricare il NAS con creazioni simultanee.

Aumenta la concorrenza di un livello alla volta e fermati quando il numero di file al secondo smette di migliorare, la latenza aumenta bruscamente o il NAS inizia ad accodare le scritture. Mantieni l’impostazione che migliora costantemente il carico di lavoro reale, non il valore più alto consentito dallo strumento.

Usa lo schema dei risultati per scegliere la soluzione più semplice

La diagnosi dovrebbe individuare una fase predominante: capacità di rete, letture dalla sorgente, creazione di file sul NAS, scansione dell’endpoint, comportamento delle richieste SMB o strumento di copia. Non combinare tutte le ottimizzazioni possibili in un unico esperimento, altrimenti la variazione finale della velocità non permetterà più di identificare la causa.

La spiegazione di ZimaSpace su come il numero di file aumenta il carico sul NAS chiarisce perché, per questo carico di lavoro, i file al secondo possono contare più dei MB/s.

Accetta la modifica solo se, nelle esecuzioni ripetute, le prestazioni dello stesso insieme di file piccoli migliorano senza compromettere la velocità con i file grandi, i permessi, il ripristino o la reattività del NAS. Se non serve recuperare i singoli file, raggruppare i piccoli file immutabili in un archivio può ridurre il sovraccarico degli oggetti, ma è una scelta di flusso di lavoro, non una soluzione universale per i problemi SMB.

Assistenza e consigli

Altre letture

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.