SMB-kopieringshastigheten sjunker med tusentals små filer: Vad bör du testa först?

Eva Wong är teknisk skribent och händig hemmabyggare på ZimaSpace. Som tekniknörd sedan barnsben med ett brinnande intresse för hemlabb och programvara med öppen källkodspecialiserar hon sig på att göra komplexa tekniska koncept begripliga genom praktiska, praktiska guider. Eva tycker att självhosting ska vara roligt, inte avskräckande. Genom sina handledningar hjälper hon communityn att göra hårdvaruinstallationer mindre mystiska, från att bygga sin första NAS till att bemästra Docker-containrar.

Testa om det är antalet filer, inte länkhastigheten, som utlöser problemet innan du ändrar SMB- eller nätverksinställningar.

På en hem-NAS tvingar tusentals små filer klienten och servern att upprepa sökvägsuppslagningar, behörighetskontroller, öppningar, skapanden, metadatauppdateringar, stängningar och skanningar på applikationssidan för varje objekt. En gigabit- eller 2,5GbE-länk kan förbli till största delen obelastad trots att kopieringen går trögt. Därför är ett A/B-test som håller den totala datamängden ungefär densamma men ändrar antalet objekt ett bra första steg, följt av tester av lagring, klient och kopieringsverktyg i en fast ordning.

Jämför en stor fil med samma datamängd fördelad på små filer

Skapa två testuppsättningar på samma källagring: en stor fil och en mapp med tusentals små filer med ungefär samma sammanlagda storlek. Kopiera båda till samma NAS-resurs med samma klient, SMB-väg och tidsperiod.

En TrueNAS-användares rapport visar det typiska mönstret med långsam SMB-överföring av små filer, medan stora filer höll sig nära den normala nätverkshastigheten. Den kontrasten är mer användbar än en enda hastighetssiffra, eftersom den visar att arbetsbelastningens utformning ändrar flaskhalsen.

Anteckna förfluten tid, totalt antal filer, totala byte, filer per sekund, genomsnittlig MB/s och om långsamheten börjar omedelbart eller först när en cache fylls. Om båda uppsättningarna är långsamma bör du först undersöka den allmänna nätverks- eller lagringsvägen. Om bara uppsättningen med små filer går trögt kan du fortsätta med tester som fokuserar på metadata.

Skilj nätverkskapacitet från arbete per fil

Kör ett minne-till-minne-nätverkstest mellan samma klient och NAS och jämför sedan med SMB-resultatet för den stora filen. Ett rent nätverkstest och en snabb kopiering av en stor fil visar att länken kan överföra data, även om den inte kan hållas fullt belastad av arbetet med små filer.

Små filer gör kopieringen till ett upprepat arbete med förfrågningar och svar. Eclectic Light dokumenterade hur SMB-säkerhetskopior med mycket metadata kan ta oväntat lång tid även när lite nyttolastdata överförs.

Reagera inte på det resultatet genom att först ändra MTU, duplex eller länkaggregering. Följ i stället antalet filer per sekund och latensen under belastning; nästa användbara fråga är om det upprepade arbetet väntar på källan, NAS-destinationen eller inspektion på klientsidan.

Testa metadatafördröjningen för källa och destination separat

Kopiera uppsättningen med små filer från källan till en annan lokal mapp på klienten och skapa eller packa sedan upp samma uppsättning lokalt på NAS:en. De här två testerna isolerar läsningar från källan och skapande på NAS:en utan att SMB hamnar emellan.

En förstahandsdiskussion om Unraid mätte långsamma operationer per fil som inte märktes vid överföring av stora filer. Den viktiga signalen är om skapandet av filer lokalt på destinationen redan går långsamt innan nätverket är inblandat.

Om den lokala kopieringen på klienten går långsamt undersöker du källdisken, filsystemet, krypteringen och filernas layout. Om den lokala skapandet av filer på NAS:en går långsamt undersöker du destinationspoolen, cachelagret, paritetsvägen, fragmenteringen av ledigt utrymme, metadataenheten och beteendet vid synkrona skrivningar innan du finjusterar SMB.

Single board computer zimaboard2

Mät säkerhetsskanning och indexering på båda ändpunkterna

Antivirus, endpoint-skydd, generering av miniatyrbilder, innehållsindexering, synkroniseringsbevakare och medieskannrar kan granska varje ny fil. Deras fasta kostnad per objekt kan dominera en arbetsbelastning som skapar tusentals objekt på kort tid.

Kör ett kontrollerat test där realtidsskanning och indexering tillfälligt undantas endast för den särskilda testmappen, och återställ sedan skyddet omedelbart. Syftet är inte att låta säkerheten vara avstängd, utan att avgöra om fördröjningen beror på inspektion av varje fil.

Om antalet filer per sekund ökar kraftigt kan du skapa ett säkrare långsiktigt undantag, men bara för betrodd backupförberedelse eller genererade cachedata, eller schemalägga genomsökningen efter överföringen. Om resultatet inte förändras återställer du de ursprungliga inställningarna och undersöker kopieringsverktygets beteende i stället för att samla på dig oförklarade undantag.

Jämför kopieringsverktyg och samtidighet utan att ändra datamängden

Filutforskaren, Finder, Robocopy, rsync, säkerhetskopieringsklienter och arkiveringsverktyg kan använda olika ködjup, metadatas anrop, regler för nya försök och grader av parallellism. Jämför två verktyg med samma källträd och mål i stället för att jämföra orelaterade arbetsbelastningar.

Resilios diskussion om genomsökningar av stora filantal visar varför ett jobb kan vara begränsat av metadata även när bara lite innehåll ändras. Fler trådar kan dölja en del av latensen, men de kan också överbelasta NAS-enheten med samtidiga filskapanden.

Öka samtidigheten ett steg i taget och sluta när antalet filer per sekund inte längre ökar, latensen stiger kraftigt eller NAS-enheten börjar köa skrivningar. Behåll den inställning som konsekvent förbättrar den verkliga arbetsbelastningen, inte det högsta värde som verktyget tillåter.

Använd resultatmönstret för att välja den minsta åtgärden

Diagnosen bör peka ut ett dominerande steg: nätverkskapacitet, källäsningar, skapande av filer på NAS-enheten, genomsökning av slutpunkter, SMB-förfrågningarnas beteende eller kopieringsverktyget. Kombinera inte alla möjliga justeringar i ett enda experiment, eftersom den slutliga hastighetsförändringen då inte längre visar vad som orsakade den.

ZimaSpaces förklaring av hur antalet filer ökar arbetsbelastningen för NAS-enheten visar varför filer per sekund kan vara viktigare än MB/s för den här arbetsbelastningen.

Acceptera bara korrigeringen när samma uppsättning små filer går snabbare vid upprepade körningar utan att hastigheten för stora filer, behörigheter, återställningsbeteende eller NAS-respons försämras. När individuell återställning inte behövs kan det minska objektomkostnaderna att paketera oföränderliga små filer i ett arkiv, men det är ett arbetsflödesbeslut och inte en universallösning för SMB.

Support och tips

Mer att läsa

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.