Per un repository su NAS locale, mantieni il valore predefinito di 16 MiB di restic, a meno che le misurazioni non dimostrino che il throughput è limitato dall'overhead dei file del repository o dal comportamento di ricerca dell'HDD. Se il NAS archivia un repository di diversi terabyte su dischi rotazionali, 32 MiB o 64 MiB sono valori ragionevoli da confrontare nei test prima di valutare dimensioni maggiori.
La dimensione dei pack non coincide con quella dei chunk usati da restic per la deduplicazione. Restic prima suddivide i dati dei file in blob basati sul contenuto, poi raggruppa i blob nei file pack. Modificando la dimensione obiettivo dei pack cambia il modo in cui i blob vengono raggruppati nel repository; non cambiano il polinomio del chunker né gli hash dei contenuti.
Inizia con il valore predefinito di 16 MiB
Le attuali indicazioni sull'ottimizzazione di restic indicano che la dimensione predefinita dei pack è 16 MiB. Segnalano inoltre che i file pack più grandi possono ridurre il numero di file del repository e migliorare le prestazioni del backup in alcuni repository archiviati su HDD locali.
restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data
Prima di apportare modifiche, annota la versione di restic, le dimensioni del repository, il numero di snapshot, il tipo di storage e la durata attuale del backup. Se il repository viene già completato entro la finestra prevista per il backup, una dimensione dei pack maggiore potrebbe aggiungere complessità senza offrire vantaggi concreti.
Scopri cosa cambia davvero con le dimensioni dei pack
La progettazione del formato del repository di restic spiega che il contenuto dei file viene suddiviso in blob basati sul contenuto e poi raggruppato in file pack.
File sorgente
|
suddivisione in chunk basata sul contenuto
|
blob deduplicati
|
raggruppamento dei pack
|
file di dati del repository
In genere, un obiettivo di dimensione dei pack maggiore comporta un numero inferiore di file del repository, ma di dimensioni maggiori. Questo può ridurre il tempo che un disco rotazionale dedica ai metadati e all'apertura dei file. Non migliora la deduplicazione di contenuti identici.
Verifica se il NAS è davvero limitato dalle dimensioni dei pack
Prima di apportare modifiche, controlla l'attività del disco del repository durante un normale backup incrementale. Un repository su HDD locale molto impegnato in numerose brevi operazioni di ricerca e di metadati, ma con un throughput basso, è un candidato migliore rispetto a un repository su SSD che scrive già in sequenza ad alta velocità.
iostat -xz 2
Controlla che l’utilizzo del disco rimanga costantemente elevato, che i tempi di attesa siano alti e che il throughput sia basso rispetto a una scrittura sequenziale di grandi dimensioni. Verifica anche l’uso della CPU e la velocità di lettura dei dati sorgente. Se il collo di bottiglia è la compressione, l’hashing, l’I/O della sorgente o la rete, aumentare la dimensione dei pack non risolverà il problema.
Confronta 16, 32 e 64 MiB usando repository comparabili
Il confronto più accurato si ottiene usando repository temporanei creati appositamente per il test. Usa lo stesso set di dati sorgente, volume NAS, versione di restic e numero di connessioni al backend.
restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata
restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata
restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata
Misura il tempo trascorso, il throughput del disco del repository, l’uso dello spazio temporaneo e il numero di file di dati risultanti. Se possibile, ripeti i test, in modo che gli effetti della page cache non falsino i risultati.
Tieni conto dello spazio temporaneo prima di aumentare la dimensione dei pack
Restic documenta il requisito di spazio temporaneo come segue:
dimensione del pack × (connessioni al backend + 1)
Con cinque connessioni al backend e un target di 64 MiB, servono almeno 384 MiB di spazio temporaneo. Attualmente il backend locale usa per impostazione predefinita meno connessioni rispetto alla maggior parte dei backend remoti, ma la stessa regola continua ad applicarsi.
df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"
Pack temporanei più grandi possono anche aumentare l’uso della memoria e far sì che più scritture temporanee raggiungano l’SSD invece di restare nella cache.
Mantieni la stessa impostazione della dimensione dei pack nei comandi che scrivono nel repository
Restic indica che l’impostazione della dimensione dei pack va specificata per ogni comando che modifica il repository. Usa una variabile d’ambiente per l’intero processo:
export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password
restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune
Modificare la dimensione dei pack non ridefinisce il chunking della deduplicazione, ma può lasciare pack di dimensioni diverse. Mantenere la coerenza facilita l’interpretazione delle future attività di manutenzione e dei confronti delle prestazioni.
Non aspettarti che i pack esistenti si ridimensionino automaticamente
Una nuova impostazione della dimensione dei pack si applica ai dati creati o sottoposti a repacking successivamente. I file pack esistenti non vengono riscritti solo perché cambia RESTIC_PACK_SIZE.
Se vuoi intenzionalmente che prune effettui il repacking dei pack esistenti più piccoli, la versione attuale di restic offre --repack-smaller-than. Consulta prima le opzioni di repacking di prune.
restic prune --dry-run --repack-smaller-than 32M
Inizia con un'esecuzione di prova. Non forzare un repacking completo solo per rendere uniformi tutti i file pack.
Verifica l'integrità dopo la configurazione
restic check
restic check --read-data-subset=5%
Scegli una pianificazione delle verifiche adatta alle dimensioni del repository. Le indicazioni per la risoluzione dei problemi del repository di restic considerano le verifiche d'integrità fondamentali per diagnosticare i danni al repository.
Per una strategia di backup più completa, abbina il repository locale a un'altra copia indipendente. La strategia di backup 3-2-1 di ZimaOS spiega perché la ridondanza locale e una destinazione separata proteggono da diversi tipi di guasto.
Segui questa regola decisionale
- Mantieni 16 MiB se i backup rientrano già nella finestra prevista o il collo di bottiglia è altrove.
- Prova 32 MiB se un repository di grandi dimensioni su HDD impiega molto tempo per le operazioni sui metadati e sui file piccoli.
- Prova 64 MiB se 32 MiB dà risultati migliori e l'uso dello spazio temporaneo resta gestibile.
- Smetti di aumentarla quando i vantaggi diminuiscono o l'I/O temporaneo aumenta.
La dimensione dei pack migliore è il valore più basso che riduce in modo misurabile l'overhead del repository senza creare un nuovo collo di bottiglia.
FAQ sulla dimensione dei pack di restic
Una dimensione dei pack maggiore migliora la deduplicazione di restic?
No. La deduplicazione avviene a livello di blob/chunk prima che i blob vengano raggruppati nei file pack.
La modifica della dimensione dei pack riscriverà i vecchi file pack?
No. I pack esistenti restano invariati finché le normali operazioni di pulizia o repacking non li riscrivono.
Quale dimensione dei pack dovrei provare per prima su un NAS con HDD locale?
Usa 16 MiB come valore di riferimento, poi confronta 32 MiB e 64 MiB con lo stesso carico di lavoro.
Assistenza e consigli
Altre letture

Come tenere nascosti i video per adulti sul tuo NAS ai tuoi familiari
Tieni privati i video per adulti su un NAS familiare. Controlla le autorizzazioni delle cartelle, l’accesso alle librerie di Plex e Jellyfin, le miniature,...

Cosa controllare prima di caricare un modello della community in Transformers
Usa l’aggiornamento della sandbox Jinja di Transformers per esaminare la provenienza dei modelli, i template di chat, il codice remoto, i pesi serializzati e...

Esegui Mirage in locale: OCR e rilevamento degli oggetti da una sola immagine
Prova il piccolo modello di visione locale di Cactus Compute, verifica l’OCR e l’estrazione degli oggetti con input reali e comprendi i limiti di...



