Varför fördröjer stora NAS-filkopieringar interaktiva självhostade appar?

Stora NAS-filkopior fördröjer interaktiva självhostade appar eftersom en kontinuerlig bulköverföring kan upptaga samma disk-köer, cacheminnen, minnesbandbredd, CPU-tid, nätverksväg och skrivbuffert som används av databaser, mediatjänster, instrumentpaneler, sökindex och automationscontainrar.

Kopieringen kan rapportera utmärkt sekventiell genomströmning medan apparna blir långsamma eller inkonsekventa. Bulköverföringshastighet mäter hur mycket data NAS:en flyttar över tid; interaktiv prestanda beror på hur snabbt små och ofta synkrona förfrågningar slutförs medan bulkbelastningen är aktiv.

Varför kan en snabb sekventiell kopiering ändå påverka interaktiv latens negativt?

Sekventiella överföringar är effektiva eftersom de flyttar stora intilliggande områden med relativt lite sök- eller förfrågningsöverhuvud. Men bulkgenomströmning och interaktiv latens är olika mål. En enhet kan förbli produktiv i MB/s medan små databas- eller metadataoperationer får vänta längre.

Ett kopieringsverktyg håller vanligtvis flera läs- och skrivoperationer pågående så att lagring och nätverk förblir upptagna. Interaktiva appar skickar mindre förfrågningar som använder lite bandbredd men ofta blockerar ett användargränssnitt tills en specifik läsning, loggskrivning eller transaktionsbekräftelse är klar.

Genomsnittlig kopieringshastighet kan därför förbli jämn medan appens svanslatens stiger kraftigt. NAS:en är inte ledig tillräckligt länge mellan kopieringsoperationer för att omedelbart hantera den lilla förfrågan.

Hur upptar en lång kopiering lagringskön?

En stor fil eller katalogträd kan skicka I/O kontinuerligt i minuter eller timmar. stora överföringar kan hålla lagringsköerna kontinuerligt upptagna, vilket gör att latenskänsliga förfrågningar hamnar i en kö som redan innehåller bulkjobb.

På HDD-pooler kan sammanflätning av små slumpmässiga app-I/O med en sekventiell kopiering tvinga aktuatormovement och minska effektiviteten för båda mönstren. På SSD:er kan kontrollern bearbeta mer arbete parallellt, men ändliga köer, NAND-kanaler, skräpinsamling och firmware-schemaläggning sätter fortfarande en latensgräns.

Djupa köer kan maximera enhetsutnyttjandet men öka vistelsetiden. En databasläsning på fyra kilobyte kan ta lite servicetid när den väl valts, men spendera större delen av sin livstid väntande bakom megabyte kopieringstrafik.

Varför kan kopieringstrafik tränga ut användbar cachedata?

Operativsystemet och lagringsstacken cachar nyligen åtkomna data för att undvika långsammare enhetsläsningar. En lång skanning eller kopiering berör ett stort adressområde, så storskaliga läsningar kan tränga ut cacheposter som är känsliga för latens när cachen inte skiljer på bortkastningsbar strömningsdata och den aktiva applikationens arbetsmängd.

En databas, fotoindex, mediakatalog eller webbapplikation kan ha förlitat sig på att varm metadata och index finns kvar i RAM. Efter att kopian ersätter dessa sidor måste nästa interaktiva förfrågan hämta dem från långsammare lagring.

Nedgången kan kvarstå efter att den synliga kopieringshastigheten sjunker eftersom den användbara arbetsmängden måste värmas upp igen. Kopieringen är klar, men dess cacheavtryck ändrades vilket data som får låg latensåtkomst.

Vilket extra arbete uppstår utöver att läsa och skriva filen?

En NAS kan bekräfta skrivningar till minne eller flash innan de skrivs till de slutgiltiga diskarna. write-back flyttar arbetet till en senare flush, så en snabb initial kopia kan följas av en kontinuerlig skrivning av smutsiga data.

Filsystem uppdaterar också allokeringskartor, kataloger, tidsstämplar, kontrollsummor, journaler och copy-on-write-metadata. RAID eller raderingskodning kan lägga till paritetsarbete, medan snapshots kan bevara gamla block som annars skulle frigöras.

Kopiering inom samma NAS kan vara dyrare än vad framstegsfältet antyder när data läses från och skrivs tillbaka till samma pool. Server-sidokopiering eller reflink-stöd kan undvika fysisk förflyttning, men bara när protokollet, filsystemet och kopieringsverktyget använder dessa funktioner.

Hur når nätverks- och minnesbelastning containerappar?

Verktyg med hög genomströmning använder ofta samtidighet för att hålla pipelinen full, och parallella överföringar ökar trycket på delade resurser. På en hemmabaserad server kan samma metod konsumera fler socketbuffertar, sidcache, minneskopior, CPU-cykler och SMB- eller NFS-förfrågningsplatser.

Smutsiga sidor kan växa tills kärnan börjar med skrivning i för- eller bakgrund. Vid den tidpunkten kan orelaterade containers konkurrera om minnesåtervinning, filsystemslås, I/O-schemaläggning och CPU-tid som behövs för att bearbeta sina egna förfrågningar.

app-cachar konkurrerar redan med hållbar lagring. En stor kopia lägger till en kontinuerlig kapacitetsorienterad arbetsbelastning på en I/O-väg som kanske redan hanterar loggar, miniatyrbilder, databaser och containerstatus.

Hur kan en hemmabaserad NAS skydda interaktiva arbetsbelastningar?

Det starkaste skyddet är att hålla applikationens aktiva arbetsmängd på en lägre latensnivå. en cache med låg latens skyddar den aktiva arbetsmängden när cachen är dimensionerad och placerad för den data som måste förbli responsiv.

Andra kontroller inkluderar kopieringshastighetsbegränsningar, I/O-prioriteringar, cgroup-vikter, gränser per dataset, schemalagda migrationsfönster, separata SSD- och HDD-pooler samt lokala applikationsdatabaser med NAS som används för kapacitet och backup.

Mät applikationslatens medan kopian körs, inte bara kopians MB/s. Målet är inte nödvändigtvis att sakta ner varje överföring; det är att lämna tillräckligt med kö-, cache-, CPU- och skrivvägskapacitet för de självhostade tjänster som användarna förväntar sig ska svara omedelbart.

Vanliga frågor

Varför är kopian snabb om den saktar ner apparna?

Kopian är optimerad för ihållande genomströmning, medan appar är beroende av slutförandetiden för små förfrågningar. Hög genomströmning och låg latens är relaterade men olika prestandamål.

Kommer NVMe att eliminera detta problem?

Det minskar servicetiden och stödjer större parallellism, men NVMe har fortfarande begränsade köer, styrenhetsbandbredd, NAND-resurser, cache, CPU och termiska gränser.

Är en stor fil mindre skadlig än många små filer?

En enda stor fil är vanligtvis mer sekventiell och metadataeffektiv. Många små filer lägger till katalog-, allokerings-, behörighets-, öppna-, stänga- och metadataoperationer, men båda arbetsbelastningarna kan skapa ihållande kö- och cachetryck.

Bör självhostade appdatabaser ligga på NAS:en?

De kan, men latenskänsliga databaser gynnas av lagring med förutsägbar prestanda för små I/O. En separat SSD-pool eller lokal applikationslagring kan ge en renare gräns från bulk-kopior.

Slutlig slutsats

Stora NAS-filkopior fördröjer interaktiva appar när en kapacitetsinriktad arbetsbelastning upptar den delade kön, cache, minne, nätverk och skrivväg. Kopian kan förbli snabb eftersom den mäts i genomströmning, medan användarorienterade förfrågningar blir långsamma eftersom de mäts i slutförandelatens. Tiering, hastighetsbegränsningar, I/O-prioriteringar, separata pooler och schemaläggning utanför rusningstid bevarar bulköverföringskapacitet utan att offra svarstiden för varje applikation.