SMB-kopieersnelheid daalt bij duizenden kleine bestanden: wat moet u als eerste testen?

Eva Wong is de technisch schrijver en vaste knutselaar bij ZimaSpace. Als levenslange geek met een passie voor homelabs en open-sourcesoftwareis ze gespecialiseerd in het vertalen van complexe technische concepten naar toegankelijke, praktische handleidingen. Eva vindt dat self-hosting leuk moet zijn en niet intimiderend. Met haar tutorials helpt ze de community om hardware-installaties te doorgronden, van het bouwen van hun eerste NAS tot het beheersen van Docker-containers.

Test of het aantal bestanden, en niet de verbindingssnelheid, de oorzaak is voordat je SMB- of netwerkinstellingen wijzigt.

Op een thuis-NAS dwingen duizenden kleine bestanden de client en server om voor elk object telkens opnieuw het pad op te zoeken, machtigingen te controleren, bestanden te openen en aan te maken, metagegevens bij te werken, bestanden te sluiten en scans aan de applicatiekant uit te voeren. Een gigabit- of 2.5GbE-verbinding kan grotendeels ongebruikt blijven terwijl het kopiëren toch tergend langzaam gaat. Een nuttige eerste stap is daarom een A/B-test waarbij de totale hoeveelheid gegevens ongeveer gelijk blijft, maar het aantal objecten verandert, gevolgd door opslag-, client- en kopieerprogramma-tests in een vaste volgorde.

Vergelijk één groot bestand met dezelfde hoeveelheid gegevens verdeeld over kleine bestanden

Maak op dezelfde bronopslag twee testsets: één groot bestand en één map met duizenden kleine bestanden met ongeveer dezelfde totale omvang. Kopieer beide naar dezelfde NAS-share met dezelfde client, hetzelfde SMB-pad en binnen hetzelfde tijdvenster.

Een gebruikersmelding op TrueNAS laat het kenmerkende patroon zien van vertraging bij SMB-overdracht van kleine bestanden, terwijl grote bestanden bijna de normale netwerksnelheid behielden. Dat verschil is nuttiger dan één enkele snelheidsmeting, omdat het bewijst dat de vorm van de werklast het knelpunt verandert.

Noteer de verstreken tijd, het totale aantal bestanden, het totale aantal bytes, het aantal bestanden per seconde, de gemiddelde MB/s en of de vertraging meteen begint of pas nadat een cache vol raakt. Als beide sets traag zijn, onderzoek dan eerst het algemene netwerk- of opslagpad; als alleen de set met kleine bestanden vastloopt, ga dan verder met tests gericht op metagegevens.

Scheid netwerkcapaciteit van werk per bestand

Voer een netwerkmeting van geheugen naar geheugen uit tussen dezelfde client en NAS en vergelijk die vervolgens met het SMB-resultaat voor grote bestanden. Een probleemloze netwerktest en een snelle kopie van grote bestanden laten zien dat de verbinding gegevens kan verwerken, ook al kan de werklast met kleine bestanden de verbinding niet volledig benutten.

Kleine bestanden veranderen het kopieerproces in herhaaldelijke aanvraag-en-antwoordverzoeken. Eclectic Light heeft gedocumenteerd hoe SMB-back-ups met veel metagegevens onverwacht lang kunnen duren, zelfs als er weinig gegevens worden overgedragen.

Reageer niet op die uitkomst door als eerste de MTU, duplexinstelling of linkaggregatie te wijzigen. Houd het aantal bestanden per seconde en de latentie onder belasting bij; de volgende nuttige vraag is of het herhaalde werk wacht op de bron, de NAS-bestemming of inspectie aan clientzijde.

Test de latentie van bron- en bestemmingsmetadata afzonderlijk

Kopieer de verzameling kleine bestanden van de bron naar een andere lokale map op de client en maak of pak vervolgens dezelfde verzameling lokaal uit op de NAS. Met deze twee tests worden het lezen van de bron en het aanmaken op de NAS afzonderlijk getest, zonder SMB ertussen.

In een Unraid-discussie uit eerste hand werden trage bewerkingen per bestand gemeten die niet zichtbaar waren bij overdrachten van grote bestanden. De belangrijkste aanwijzing is of het aanmaken van bestanden op de lokale bestemming al traag verloopt voordat het netwerk een rol speelt.

Is het kopiëren op de client traag, controleer dan de bronschijf, het bestandssysteem, de versleuteling en de bestandsindeling. Gaat het aanmaken op de NAS traag, controleer dan de bestemmingspool, de cachelaag, het pariteitspad, de fragmentatie van vrije ruimte, het metadatadevice en het gedrag bij synchrone schrijfbewerkingen voordat je SMB bijstelt.

Single board computer zimaboard2

Meet beveiligingsscans en indexering op beide eindpunten

Antivirus, endpointbeveiliging, het genereren van miniaturen, contentindexering, synchronisatiebewaking en mediascanners inspecteren mogelijk elk nieuw bestand. De vaste kosten per object kunnen een werklast domineren waarbij snel duizenden items worden aangemaakt.

Voer één gecontroleerde test uit waarbij realtime scannen en indexeren tijdelijk alleen voor de speciale testmap worden uitgesloten, en herstel de beveiliging daarna onmiddellijk. Het doel is niet om de beveiliging uitgeschakeld te laten, maar om vast te stellen of de vertraging samenhangt met inspectie van afzonderlijke bestanden.

Als het aantal bestanden per seconde sterk toeneemt, maak dan alleen voor vertrouwde back-upstaging of gegenereerde cachegegevens een veiligere uitsluiting voor de lange termijn, of plan de scan na de overdracht. Verander het resultaat niet? Herstel dan de oorspronkelijke instellingen en onderzoek het gedrag van de kopieertool in plaats van steeds meer onverklaarde uitzonderingen toe te voegen.

Vergelijk kopieertools en gelijktijdigheid zonder de dataset te wijzigen

Verkenner, Finder, Robocopy, rsync, back-upclients en archieftools kunnen verschillende wachtrijdieptes, metadataverzoeken, regels voor opnieuw proberen en mate van parallelisme gebruiken. Vergelijk twee tools met dezelfde bronmap en bestemming, in plaats van niet-gerelateerde workloads te vergelijken.

Resilio’s bespreking van scans van grote aantallen bestanden laat zien waarom een taak aan metadata gebonden kan blijven, zelfs als er weinig inhoud verandert. Meer threads kunnen een deel van de latentie opvangen, maar ze kunnen de NAS ook overbelasten met gelijktijdige aanmaakbewerkingen.

Verhoog de gelijktijdigheid stap voor stap en stop zodra het aantal bestanden per seconde niet meer toeneemt, de latentie sterk stijgt of de NAS schrijfbewerkingen begint te bufferen. Kies de instelling die de echte workload consequent verbetert, niet de hoogste waarde die de tool toestaat.

Gebruik het resultaatpatroon om de kleinste oplossing te kiezen

De diagnose moet één dominante fase aanwijzen: netwerkcapaciteit, bronleesbewerkingen, aanmaakbewerkingen op de NAS, scannen door eindpuntbeveiliging, SMB-aanvraaggedrag of de kopieertool. Combineer niet alle mogelijke optimalisaties in één experiment, want dan zegt de uiteindelijke snelheidsverandering niets meer over de oorzaak.

De uitleg van ZimaSpace over hoe het aantal bestanden het werk voor de NAS verhoogt maakt duidelijk waarom het aantal bestanden per seconde voor deze workload belangrijker kan zijn dan MB/s.

Accepteer de oplossing alleen als dezelfde set kleine bestanden bij herhaalde runs sneller wordt verwerkt zonder dat dit ten koste gaat van de snelheid bij grote bestanden, machtigingen, herstelgedrag of de responsiviteit van de NAS. Als afzonderlijk herstel niet nodig is, kan het bundelen van onveranderlijke kleine bestanden in een archief de overhead per object verminderen. Dat is echter een keuze voor de workflow, geen universele oplossing voor SMB-problemen.

Ondersteuning en tips

Meer om te lezen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.