SMB-kopiesnelheid daalt bij duizenden kleine bestanden: wat moet je eerst testen?

Eva Wong is de Technisch Schrijver en en vaste knutselaar bij ZimaSpace. Een levenslange geek met een passie voor homelabs en open-source software, zij is gespecialiseerd in het vertalen van complexe technische concepten naar toegankelijke, praktische handleidingen. Eva gelooft dat zelf-hosting leuk moet zijn, niet intimiderend. Met haar tutorials stelt ze de community in staat om hardware-setup te ontrafelen, van het bouwen van hun eerste NAS tot het beheersen van Docker-containers.

Test of het aantal bestanden, en niet de linksnelheid, de trigger is voordat je SMB- of netwerkinstellingen wijzigt.

Op een thuis-NAS dwingen duizenden kleine bestanden de client en server om herhaaldelijk padopzoekingen, permissiecontroles, openen, aanmaken, metadata-updates, sluiten en applicatie-zijde scanning uit te voeren voor elk object. Een gigabit- of 2,5GbE-verbinding kan grotendeels inactief blijven terwijl de kopie nog steeds kruipt, dus de nuttige eerste stap is een A/B-test die het totale aantal bytes vergelijkbaar houdt maar het aantal objecten verandert, gevolgd door opslag-, client- en kopieerhulpmiddeltests in een vaste volgorde.

Vergelijk Eén Groot Bestand Met Hetzelfde Aantal Bytes in Kleine Bestanden

Maak twee testsets op dezelfde bronopslag: één groot bestand en één map met duizenden kleine bestanden met ongeveer dezelfde totale grootte. Kopieer beide naar dezelfde NAS-share met dezelfde client, SMB-pad en tijdsvenster.

Een TrueNAS-gebruikersrapport toont het kenmerkende patroon van SMB-vertraging bij kleine bestanden terwijl grote bestanden bijna normale netwerksnelheid behielden. Dat contrast is nuttiger dan één enkele snelheidswaarde omdat het bewijst dat de vorm van de werklast de bottleneck verandert.

Noteer verstreken tijd, totaal aantal bestanden, totaal aantal bytes, bestanden per seconde, gemiddelde MB/s, en of de vertraging onmiddellijk begint of pas nadat een cache vol raakt. Als beide sets traag zijn, onderzoek dan eerst het algemene netwerk- of opslagpad; als alleen de set met kleine bestanden instort, ga dan verder met metadata-gerichte tests.

Scheiding van Netwerkcapaciteit en Werk Per Bestand

Voer een geheugen-naar-geheugen netwerktest uit tussen dezelfde client en NAS, en vergelijk dit vervolgens met het resultaat van de grote-bestand SMB-kopie. Een schone netwerktest en een snelle grote-bestand kopie tonen aan dat de verbinding data kan dragen, ook al kan de kleine-bestand werklast deze niet volledig benutten.

Kleine bestanden veranderen de kopie in herhaaldelijke verzoek-en-antwoord werkzaamheden. Eclectic Light documenteerde hoe SMB metadata-intensieve backups onverwacht lang kunnen duren, zelfs als er weinig payload data wordt verplaatst.

Reageer niet op dat resultaat door eerst MTU, duplex of linkaggregatie te wijzigen. Volg in plaats daarvan bestanden per seconde en geladen latency; de volgende nuttige vraag is of het herhaalde werk wacht op de bron, de NAS-bestemming, of client-zijde inspectie.

Test Bron- en Bestemmingsmetadata Latentie Apart

Kopieer de set met kleine bestanden van de bron naar een andere lokale map op de client, en maak of pak vervolgens dezelfde set lokaal op de NAS uit. Deze twee tests isoleren bronlezingen en NAS-aanmaken zonder SMB ertussen.

Een directe Unraid-discussie mat langzame per-bestand operaties die niet zichtbaar waren tijdens grote-bestand overdrachten. Het belangrijke signaal is of lokale bestemmingscreatie al traag is voordat het netwerk betrokken is.

Als de client-lokale kopie traag is, inspecteer dan de bron-schijf, het bestandssysteem, encryptie en bestandsindeling. Als NAS-lokale creatie traag is, inspecteer dan de bestemmingspool, cache-laag, pariteitspad, vrije-ruimte fragmentatie, metadata-apparaat en synchroon schrijfgedrag voordat je SMB afstemt.

-15% OFF
Single board computer zimaboard2

Meet Beveiligingsscanning en Indexering op Beide Eindpunten

Antivirus, endpointbescherming, thumbnailgeneratie, inhoudsindexering, synchronisatiebewakers en mediascanners kunnen elk nieuw bestand inspecteren. Hun vaste kosten per object kunnen een werklast domineren die duizenden items snel aanmaakt.

Voer één gecontroleerde test uit waarbij realtime scanning en indexering tijdelijk worden uitgeschakeld alleen voor de speciale testmap, en herstel de bescherming onmiddellijk daarna. Het doel is niet om beveiliging uit te schakelen, maar om te bepalen of de vertraging volgt op per-bestand inspectie.

Als bestanden per seconde sterk stijgen, maak dan een veiligere langetermijnuitsluiting alleen voor vertrouwde backup staging of gegenereerde cachedata, of plan de scan na de overdracht. Als het resultaat niet verandert, herstel dan de oorspronkelijke instellingen en ga verder met het gedrag van het kopieerhulpmiddel in plaats van onverklaarde uitzonderingen te verzamelen.

Vergelijk Kopieerhulpmiddelen en Gelijktijdigheid Zonder de Dataset te Wijzigen

File Explorer, Finder, Robocopy, rsync, backupclients en archiefhulpmiddelen kunnen verschillende wachtrijdieptes, metadata-aanroepen, retry-regels en parallelisme gebruiken. Vergelijk twee hulpmiddelen met dezelfde bronboom en bestemming in plaats van ongerelateerde werklasten te vergelijken.

Resilio’s bespreking van scans met grote aantallen bestanden illustreert waarom een taak metadata-gebonden kan blijven, zelfs als er weinig inhoud verandert. Meer threads kunnen wat latency verbergen, maar kunnen ook de NAS overbelasten met gelijktijdige aanmaken.

Verhoog gelijktijdigheid stap voor stap en stop wanneer bestanden per seconde niet meer verbeteren, latency scherp stijgt, of de NAS begint met het in de wachtrij zetten van schrijfbewerkingen. Houd de instelling aan die de echte werklast consistent verbetert, niet de hoogste waarde die het hulpmiddel toestaat.

Gebruik het Resultaatpatroon om de Kleinste Oplossing te Kiezen

De diagnose moet wijzen op één dominante fase: netwerkcapaciteit, bronlezingen, NAS-aanmaken, eindpunt-scanning, SMB-verzoekgedrag, of het kopieerhulpmiddel. Combineer niet alle mogelijke afstellingen in één experiment, want de uiteindelijke snelheidsverandering verklaart dan de oorzaak niet meer.

ZimaSpace’s uitleg over hoe aantal bestanden het NAS-werk verhoogt geeft de onderliggende reden waarom bestanden per seconde belangrijker kunnen zijn dan MB/s voor deze werklast.

Accepteer de oplossing alleen wanneer dezelfde set met kleine bestanden verbetert over herhaalde runs zonder de snelheid van grote bestanden, permissies, herstelgedrag of NAS-responsiviteit te schaden. Wanneer individueel herstel niet nodig is, kan het verpakken van onveranderlijke kleine bestanden in een archief de objectoverhead verminderen, maar dat is een workflowbeslissing en geen universele SMB-oplossing.

Ondersteuning & Tips

Meer om te lezen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.