Perché l'aumento del numero di file rallenta il backup e le snapshot anche quando un NAS domestico ha spazio libero?

Il numero di file aumenta il lavoro di backup e snapshot perché ogni oggetto aggiunge operazioni che non scompaiono quando il file è piccolo. Il NAS deve comunque enumerare un nome, leggere i metadati, confrontare lo stato, registrare l'inclusione, aggiornare gli indici e successivamente eliminare o ripristinare quell'oggetto anche quando i byte totali memorizzati lasciano molta capacità libera.

La capacità libera risponde se possono essere allocati più blocchi di dati. Non misura quanti record di namespace, transazioni, controlli, relazioni di versione o passaggi di ripristino un flusso di lavoro di backup deve elaborare.

Perché ogni file aggiunge lavoro fisso al backup?

Un lavoro di backup non può trattare una directory contenente un milione di file come un unico oggetto. ogni oggetto aggiunge operazioni fisse di backup inclusi scoperta, lettura degli attributi, controlli di policy, voci di catalogo e creazione della destinazione.

Per un file grande, quel costo fisso di configurazione si ammortizza su molti megabyte o gigabyte. Per file minuscoli, apertura, chiusura, permessi, registro e lavoro di protocollo possono richiedere più tempo del trasferimento del payload.

Il collo di bottiglia può quindi essere nelle operazioni al secondo piuttosto che nella larghezza di banda. Un grafico di rete può rimanere quasi vuoto mentre dischi, servizi di metadati o un database di backup elaborano continuamente record di oggetti.

Perché un albero invariato può comunque richiedere molto tempo per la scansione?

Gli strumenti incrementali devono determinare cosa è cambiato prima di poter saltare i dati invariati. gli alberi invariati richiedono comunque un confronto per file, quindi un backup con quasi nulla da trasferire può comunque attraversare l'intero albero selezionato.

Il confronto utilizza comunemente dimensione, data di modifica, tipo di file, percorso e stato del catalogo precedente. La lettura di questi campi su milioni di oggetti crea I/O di metadati e viaggi di rete anche quando non vengono trasferiti contenuti di file.

I registri delle modifiche e gli snapshot del filesystem possono restringere il set di candidati, ma solo quando il sistema di backup si fida e conserva la cronologia necessaria. Una gamma di registri mancante o un catalogo ricostruito possono costringere a una scansione più ampia.

Come fanno i checksum e il confronto incrementale a moltiplicare i costi?

Il confronto dei metadati è relativamente economico ma non può rilevare ogni cambiamento di contenuto. la modalità checksum legge ogni file selezionato, e la verifica del contenuto può richiedere la lettura di dati che un confronto di timestamp avrebbe saltato.

I checksum aggiungono carico alla CPU e letture di storage per ogni oggetto selezionato. Il costo è particolarmente evidente quando un lavoro verifica archivi immutabili, deduplica chunk o ricontrolla i dati dopo un’interruzione.

Una rete veloce non elimina questo lavoro perché la sorgente deve comunque localizzare e leggere i file. Il backup può diventare limitato da piccole letture casuali, blocchi sui metadati, throughput di hashing o aggiornamenti del catalogo di destinazione.

Perché gli snapshot e le versioni conservate aumentano il lavoro sui metadati?

Gli snapshot possono preservare i blocchi modificati in modo efficiente, ma uno strumento di backup o gestione deve comunque identificare versioni e relazioni. le versioni conservate moltiplicano le relazioni dei metadati man mano che si accumulano oggetti correnti, versioni precedenti, percorsi e record di policy.

Un browser di snapshot a livello di file può elencare diverse voci storiche per ogni percorso attivo. La potatura della conservazione deve decidere quali versioni rimangono referenziate prima che i metadati, i record di directory o i blocchi possano essere rilasciati.

La creazione di snapshot a livello di blocco può essere veloce, mentre la successiva replica, catalogazione, eliminazione e selezione per il ripristino rimangono sensibili al numero di file. La velocità dello snapshot da sola non misura il costo completo del ciclo di vita.

Perché le operazioni di eliminazione e ripristino sono anche limitate dal numero di file?

Eliminare o ripristinare molti file piccoli ripete il lavoro sul namespace e sulle transazioni. ripristinare molti file piccoli ripete il lavoro di configurazione invece di trasmettere un unico flusso continuo.

Un ripristino deve ricreare directory, nomi, permessi, timestamp, attributi estesi, collegamenti e metadati delle applicazioni. La destinazione può anche registrare ogni operazione nel journal e aggiornare antivirus, indicizzatori o watcher di sincronizzazione.

Eliminare un albero di grandi dimensioni può essere altrettanto lento perché ogni nome e relazione tra oggetti deve essere rimosso in modo sicuro. Liberare un terabyte in un unico file può essere più semplice che eliminare pochi gigabyte distribuiti su milioni di oggetti.

Come dovrebbe un NAS domestico ridurre il sovraccarico a livello di oggetto?

il conteggio dei file e la capacità in byte sono dimensioni separate. La pianificazione della capacità dovrebbe quindi monitorare il numero di oggetti, la durata della scansione del backup, la dimensione del catalogo, il numero di versioni e il tasso di ripristino.

Usa il tracciamento incrementale delle modifiche dove affidabile, escludi le cache generate, raggruppa oggetti minuscoli immutabili in archivi quando il ripristino individuale non è necessario e conserva i cataloghi di backup su storage progettato per I/O casuale piccolo.

Testa la velocità di ripristino in file al secondo oltre che in MB/s. Il design giusto preserva i requisiti di accesso e recupero riducendo la gestione ripetuta degli oggetti; impacchettare tutto in archivi può rendere più difficili gli aggiornamenti individuali e i ripristini parziali.

FAQ

Un backup può essere lento anche trasferendo quasi nessun dato?

Sì. Potrebbe passare la maggior parte del tempo a enumerare e confrontare milioni di oggetti non modificati.

Gli snapshot eliminano il sovraccarico del conteggio dei file?

Possono rendere veloce la cattura a un punto nel tempo, ma la navigazione tra le versioni, la replica delle modifiche, la potatura della conservazione e il ripristino dei file elaborano comunque i metadati.

I file piccoli dovrebbero sempre essere archiviati insieme?

No. Gli archivi riducono il sovraccarico degli oggetti ma rendono più complessi i cambiamenti individuali, i permessi, la deduplicazione, la ricerca e il ripristino parziale.

Quale metrica conta oltre a MB/s?

Monitora i file scansionati al secondo, gli oggetti modificati, la latenza dei metadati, la crescita del catalogo, il numero di snapshot, il tasso di eliminazione e gli oggetti ripristinati al secondo.

Conclusione finale

L'aumento del numero di file incrementa il lavoro di backup e snapshot perché ogni oggetto genera operazioni fisse di scoperta, confronto, catalogazione, versione, eliminazione e ripristino. Lo spazio libero protegge l'allocazione futura dei byte ma non elimina il lavoro a livello di oggetto. Misura i file al secondo e il comportamento del ripristino insieme alla capacità e alla larghezza di banda.