Come influisce la dimensione del blocco su foto, database e archivi in un NAS domestico?

La dimensione del blocco cambia il comportamento del NAS domestico perché foto, database e archivi richiedono allo storage di spostare e riscrivere i dati in forme fondamentalmente diverse.

Il termine può indicare un blocco di allocazione del filesystem, un record copy-on-write, una pagina di database o un record di trasferimento di un programma di archiviazione. Queste unità interagiscono, ma non sono intercambiabili. Una configurazione che riduce il lavoro sui metadati per grandi archivi fotografici può aumentare il costo di lettura-modifica-scrittura per un database che cambia pochi kilobyte alla volta.

La dimensione del blocco determina l'unità di allocazione e riscrittura

Un filesystem ha bisogno di un'unità minima per assegnare spazio. Se un file usa solo una parte del suo blocco finale, il resto diventa spazio inutilizzato. Blocchi più piccoli riducono questo spreco per file minuscoli, mentre blocchi più grandi richiedono meno record di allocazione per descrivere lo stesso file grande. Il layout dei blocchi ext4 dimostra come numeri di blocco, cluster e gruppi di allocazione modellano la descrizione fisica dei dati memorizzati.

I filesystem copy-on-write aggiungono una seconda preoccupazione: il record massimo può diventare l'unità letta, compressa, controllata o riscritta. Può ridursi per file piccoli, ma una modifica in loco a un record grande può comunque causare più I/O di quanto richiesto dall'applicazione. Per questo la dimensione del blocco deve essere abbinata al modello di accesso e non scelta solo in base alla capacità del file.

Le foto favoriscono estensioni lunghe ma richiedono comunque metadati

Immagini JPEG, HEIC e RAW sono normalmente scritte come file completi e lette in lunghe sequenze. Record più grandi possono ridurre i metadati indiretti e l'overhead dei comandi I/O per questi payload. Una discussione pratica su grandi record per file multimediali spiega perché contenuti sequenziali stabili di solito ne beneficiano più di file riscritti frequentemente.

Tuttavia, una libreria fotografica non è puramente sequenziale. La navigazione nelle cartelle legge voci di directory, miniature, file sidecar e indici di database. Migliaia di piccoli file associati possono rendere l'efficienza di allocazione e la latenza dei metadati più evidenti rispetto alle immagini originali. Il design corretto può quindi separare i grandi originali dai dati di lavoro più piccoli dell'applicazione invece di imporre una sola politica di blocco a entrambi.

Le pagine di database evidenziano una discrepanza di lettura-modifica-scrittura

I database aggiornano pagine e indici di dimensione fissa invece di riscrivere l'intero file di database per ogni transazione. Se il record di storage è molto più grande della pagina di database, un piccolo aggiornamento logico può richiedere la lettura, il controllo e la scrittura di una regione più ampia. La relazione tra pagina di database e dimensione del record mostra perché l'allineamento è importante sia per la latenza che per l'amplificazione della scrittura.

I record piccoli non sono automaticamente più veloci. Creano più metadati, riducono la portata della compressione e possono frammentare un file in crescita in più estensioni. L'obiettivo è mantenere l'unità di storage ragionevolmente vicina all'I/O dominante del database senza presumere che ogni query usi la stessa pagina o che ogni motore di database abbia lo stesso percorso di scrittura.

Gli archivi NAS scambiano lavoro per file con I/O più grossolano

Combinare molti file piccoli in un archivio elimina aperture di rete ripetute, controlli di permessi e aggiornamenti di directory durante il trasferimento. Una volta memorizzato, l'archivio appare come un unico oggetto sequenziale lungo, che può lavorare efficientemente con record di filesystem più grandi. Concentrando anche i danni, rende meno comodi gli aggiornamenti di singoli file.

Il software di archiviazione ha la sua dimensione di record. Il fattore di blocco tar controlla come i record dell'archivio sono raggruppati, ma non riformatta il filesystem NAS. Mantenere separate queste due cose previene un errore comune di ottimizzazione: cambiare il buffer di un'applicazione pensando che l'unità di allocazione del disco sia cambiata di conseguenza.

La dimensione migliore corrisponde allo strato attivo, non all'estensione

Inizia identificando quale unità è configurabile e quale operazione è lenta. Lo spreco di capacità indica la granularità di allocazione. L'alto costo di lettura parziale indica la dimensione del record. I blocchi di commit indicano pagine di database, logging e scritture sincrone. La velocità di archiviazione può invece dipendere dall'I/O sequenziale e dalla dimensione delle richieste di rete.

Effettua benchmark su un dataset più grande della RAM che includa il mix reale di originali, miniature, query ed estrazioni. L'analisi generale della frammentazione spiega perché il numero di estensioni e la località sono importanti, ma frammentazione interna ed esterna sono costi diversi. Ricerche su grandi oggetti e storage di database mostrano inoltre che il confine migliore dipende dalla dimensione dell'oggetto e dal carico di lavoro, non da un valore universale di blocco.

FAQ

Una dimensione del blocco più grande è sempre migliore per le foto?

No. I grandi originali fotografici spesso beneficiano di un I/O sequenziale più grossolano, ma cataloghi, miniature e file sidecar rimangono piccoli e casuali. Tratta il payload della libreria e i metadati di lavoro come carichi di lavoro separati.

La dimensione del blocco del filesystem dovrebbe essere uguale a quella della pagina del database?

L'uguaglianza esatta non è una regola universale. L'allineamento può ridurre I/O inutili, ma caching, journaling, compressione, comportamento copy-on-write e modello di accesso del motore di database influenzano anche il risultato.

Cambiare il fattore di blocco di un archivio cambia l'allocazione NAS?

No. Cambia come il programma di archiviazione raggruppa i dati per input e output. L'allocazione del filesystem rimane controllata dalla configurazione del filesystem o del dataset sotto l'archivio.