Come ottimizzare la dimensione dei pacchetti Restic per un repository NAS locale

Eva Wong è la redattrice tecnica e appassionata di tecnologia di ZimaSpace. Geek da sempre, appassionata di homelab e software open source, è specializzata nel tradurre concetti tecnici complessi in guide pratiche. Eva crede che l’hosting autonomo debba essere divertente, non intimidatorio. Attraverso i suoi tutorial, aiuta la community a comprendere meglio le configurazioni hardware, dalla costruzione del primo NAS alla padronanza dei container Docker.

Per un repository su NAS locale, mantieni il valore predefinito di 16 MiB di restic, a meno che le misurazioni non dimostrino che il throughput è limitato dall'overhead dei file del repository o dal comportamento di ricerca dell'HDD. Se il NAS archivia un repository di diversi terabyte su dischi rotazionali, 32 MiB o 64 MiB sono valori ragionevoli da confrontare nei test prima di valutare dimensioni maggiori.

La dimensione dei pack non coincide con quella dei chunk usati da restic per la deduplicazione. Restic prima suddivide i dati dei file in blob basati sul contenuto, poi raggruppa i blob nei file pack. Modificando la dimensione obiettivo dei pack cambia il modo in cui i blob vengono raggruppati nel repository; non cambiano il polinomio del chunker né gli hash dei contenuti.

Inizia con il valore predefinito di 16 MiB

Le attuali indicazioni sull'ottimizzazione di restic indicano che la dimensione predefinita dei pack è 16 MiB. Segnalano inoltre che i file pack più grandi possono ridurre il numero di file del repository e migliorare le prestazioni del backup in alcuni repository archiviati su HDD locali.

restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data

Prima di apportare modifiche, annota la versione di restic, le dimensioni del repository, il numero di snapshot, il tipo di storage e la durata attuale del backup. Se il repository viene già completato entro la finestra prevista per il backup, una dimensione dei pack maggiore potrebbe aggiungere complessità senza offrire vantaggi concreti.

Scopri cosa cambia davvero con le dimensioni dei pack

La progettazione del formato del repository di restic spiega che il contenuto dei file viene suddiviso in blob basati sul contenuto e poi raggruppato in file pack.

File sorgente
   |
suddivisione in chunk basata sul contenuto
   |
blob deduplicati
   |
raggruppamento dei pack
   |
file di dati del repository

In genere, un obiettivo di dimensione dei pack maggiore comporta un numero inferiore di file del repository, ma di dimensioni maggiori. Questo può ridurre il tempo che un disco rotazionale dedica ai metadati e all'apertura dei file. Non migliora la deduplicazione di contenuti identici.

Verifica se il NAS è davvero limitato dalle dimensioni dei pack

Prima di apportare modifiche, controlla l'attività del disco del repository durante un normale backup incrementale. Un repository su HDD locale molto impegnato in numerose brevi operazioni di ricerca e di metadati, ma con un throughput basso, è un candidato migliore rispetto a un repository su SSD che scrive già in sequenza ad alta velocità.

iostat -xz 2

Controlla che l’utilizzo del disco rimanga costantemente elevato, che i tempi di attesa siano alti e che il throughput sia basso rispetto a una scrittura sequenziale di grandi dimensioni. Verifica anche l’uso della CPU e la velocità di lettura dei dati sorgente. Se il collo di bottiglia è la compressione, l’hashing, l’I/O della sorgente o la rete, aumentare la dimensione dei pack non risolverà il problema.

Confronta 16, 32 e 64 MiB usando repository comparabili

Il confronto più accurato si ottiene usando repository temporanei creati appositamente per il test. Usa lo stesso set di dati sorgente, volume NAS, versione di restic e numero di connessioni al backend.

restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata

restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata

restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata

Misura il tempo trascorso, il throughput del disco del repository, l’uso dello spazio temporaneo e il numero di file di dati risultanti. Se possibile, ripeti i test, in modo che gli effetti della page cache non falsino i risultati.

Tieni conto dello spazio temporaneo prima di aumentare la dimensione dei pack

Restic documenta il requisito di spazio temporaneo come segue:

dimensione del pack × (connessioni al backend + 1)

Con cinque connessioni al backend e un target di 64 MiB, servono almeno 384 MiB di spazio temporaneo. Attualmente il backend locale usa per impostazione predefinita meno connessioni rispetto alla maggior parte dei backend remoti, ma la stessa regola continua ad applicarsi.

df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"

Pack temporanei più grandi possono anche aumentare l’uso della memoria e far sì che più scritture temporanee raggiungano l’SSD invece di restare nella cache.

Mantieni la stessa impostazione della dimensione dei pack nei comandi che scrivono nel repository

Restic indica che l’impostazione della dimensione dei pack va specificata per ogni comando che modifica il repository. Usa una variabile d’ambiente per l’intero processo:

export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password

restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune

Modificare la dimensione dei pack non ridefinisce il chunking della deduplicazione, ma può lasciare pack di dimensioni diverse. Mantenere la coerenza facilita l’interpretazione delle future attività di manutenzione e dei confronti delle prestazioni.

Non aspettarti che i pack esistenti si ridimensionino automaticamente

Una nuova impostazione della dimensione dei pack si applica ai dati creati o sottoposti a repacking successivamente. I file pack esistenti non vengono riscritti solo perché cambia RESTIC_PACK_SIZE.

Se vuoi intenzionalmente che prune effettui il repacking dei pack esistenti più piccoli, la versione attuale di restic offre --repack-smaller-than. Consulta prima le opzioni di repacking di prune.

restic prune --dry-run --repack-smaller-than 32M

Inizia con un'esecuzione di prova. Non forzare un repacking completo solo per rendere uniformi tutti i file pack.

Verifica l'integrità dopo la configurazione

restic check
restic check --read-data-subset=5%

Scegli una pianificazione delle verifiche adatta alle dimensioni del repository. Le indicazioni per la risoluzione dei problemi del repository di restic considerano le verifiche d'integrità fondamentali per diagnosticare i danni al repository.

Per una strategia di backup più completa, abbina il repository locale a un'altra copia indipendente. La strategia di backup 3-2-1 di ZimaOS spiega perché la ridondanza locale e una destinazione separata proteggono da diversi tipi di guasto.

Segui questa regola decisionale

  • Mantieni 16 MiB se i backup rientrano già nella finestra prevista o il collo di bottiglia è altrove.
  • Prova 32 MiB se un repository di grandi dimensioni su HDD impiega molto tempo per le operazioni sui metadati e sui file piccoli.
  • Prova 64 MiB se 32 MiB dà risultati migliori e l'uso dello spazio temporaneo resta gestibile.
  • Smetti di aumentarla quando i vantaggi diminuiscono o l'I/O temporaneo aumenta.

La dimensione dei pack migliore è il valore più basso che riduce in modo misurabile l'overhead del repository senza creare un nuovo collo di bottiglia.

FAQ sulla dimensione dei pack di restic

Una dimensione dei pack maggiore migliora la deduplicazione di restic?

No. La deduplicazione avviene a livello di blob/chunk prima che i blob vengano raggruppati nei file pack.

La modifica della dimensione dei pack riscriverà i vecchi file pack?

No. I pack esistenti restano invariati finché le normali operazioni di pulizia o repacking non li riscrivono.

Quale dimensione dei pack dovrei provare per prima su un NAS con HDD locale?

Usa 16 MiB come valore di riferimento, poi confronta 32 MiB e 64 MiB con lo stesso carico di lavoro.

Assistenza e consigli

Altre letture

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.