So optimieren Sie die Restic-Paketgröße für ein lokales NAS-Repository

Eva Wong ist die technische Redakteurin und begeisterte Tüftlerin bei ZimaSpace. Als lebenslanger Geek mit einer Leidenschaft für Homelabs und Open-Source-Softwarehat sie sich darauf spezialisiert, komplexe technische Konzepte in verständliche, praxisnahe Anleitungenzu übersetzen. Eva ist überzeugt, dass Self-Hosting Spaß machen sollte und nicht einschüchternd sein darf. Mit ihren Tutorials hilft sie der Community dabei, Hardware-Setups zu durchschauen, vom Bau des ersten NAS bis zum sicheren Umgang mit Docker-Containern.

Für ein lokales NAS-Repository solltest du beim restic-Standardwert von 16 MiB bleiben, sofern Messungen nicht zeigen, dass der Overhead der Repository-Dateien oder das Suchverhalten der HDD den Durchsatz begrenzt. Wenn das NAS ein mehrere Terabyte großes Repository auf rotierenden Festplatten speichert, sind Packs mit 32 MiB oder 64 MiB sinnvolle Werte, die du testen solltest, bevor du noch größere Werte in Betracht ziehst.

Die Pack-Größe ist nicht dasselbe wie die Chunk-Größe für die Deduplizierung in restic. Zunächst teilt restic Dateidaten in inhaltsdefinierte Blobs auf und gruppiert diese anschließend in Pack-Dateien. Eine Änderung der Ziel-Pack-Größe verändert, wie diese Blobs im Repository gebündelt werden. Das Polynom des Chunkers und die Inhaltshashes des Repositorys bleiben unverändert.

Mit dem Standardwert von 16 MiB beginnen

Die aktuellen Empfehlungen zur Leistungsoptimierung von restic besagen, dass die standardmäßige Ziel-Pack-Größe 16 MiB beträgt. Außerdem wird darauf hingewiesen, dass größere Pack-Dateien die Anzahl der Repository-Dateien reduzieren und die Backup-Leistung bei manchen Repositorys auf lokalen HDDs verbessern können.

restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data

Notiere vor der Anpassung die restic-Version, die Repository-Größe, die Anzahl der Snapshots, den Speichertyp und die aktuelle Backup-Dauer. Wenn das Repository bereits innerhalb des Backup-Zeitfensters fertig wird, kann eine größere Pack-Größe zusätzliche Komplexität verursachen, ohne einen nennenswerten Vorteil zu bringen.

Verstehen, was sich durch die Pack-Größe tatsächlich ändert

Das Design des Repository-Formats von restic erklärt, dass Dateiinhalte in inhaltsdefinierte Blobs aufgeteilt und diese Blobs in Pack-Dateien gruppiert werden.

Quelldateien
   |
Inhaltsdefiniertes Chunking
   |
Deduplizierte Blobs
   |
Pack-Gruppierung
   |
Repository-Datendateien

Ein größeres Pack-Ziel bedeutet in der Regel weniger, dafür größere Repository-Dateien. Dadurch kann eine rotierende Festplatte weniger Zeit für Metadaten- und Dateiöffnungs-Overhead aufwenden. Identische Dateiinhalte lassen sich dadurch nicht besser deduplizieren.

Prüfen, ob das NAS tatsächlich durch die Pack-Größe begrenzt ist

Beobachte vor einer Anpassung die Festplattenaktivität des Repositorys während eines normalen inkrementellen Backups. Ein lokales HDD-Repository, das bei niedrigem Durchsatz mit vielen kurzen Suchvorgängen und Metadatenoperationen beschäftigt ist, eignet sich eher als Kandidat als ein SSD-Repository, das bereits mit hoher Geschwindigkeit sequenziell schreibt.

iostat -xz 2

Achte auf anhaltend hohe Festplattenauslastung, erhöhte Wartezeiten und geringen Durchsatz im Vergleich zu einem großen sequenziellen Schreibvorgang. Prüfe auch die CPU-Auslastung und die Lesegeschwindigkeit der Quelle. Sind Komprimierung, Hashing, Quell-E/A oder Netzwerk der Engpass, wird eine Erhöhung der Packgröße das Problem nicht beheben.

16, 32 und 64 MiB mit vergleichbaren Repositories vergleichen

Am aussagekräftigsten ist der Vergleich mit entbehrlichen Repositories, die für den Test erstellt wurden. Verwende denselben Quelldatensatz, dasselbe NAS-Volume, dieselbe restic-Version und dieselbe Anzahl an Backend-Verbindungen.

restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata

restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata

restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata

Miss die Laufzeit, den Datendurchsatz auf dem Repository-Datenträger, den temporären Speicherplatzverbrauch und die Anzahl der resultierenden Datendateien. Wiederhole die Durchläufe nach Möglichkeit, damit sich die Auswirkungen des Seiten-Caches nicht auf das Ergebnis auswirken.

Vor der Erhöhung der Packgröße den temporären Speicherplatz berücksichtigen

Laut Restic beträgt der erforderliche temporäre Speicherplatz ungefähr:

Packgröße × (Backend-Verbindungen + 1)

Bei fünf Backend-Verbindungen und einem Zielwert von 64 MiB sind das mindestens 384 MiB temporärer Speicherplatz. Das lokale Backend verwendet derzeit standardmäßig weniger Verbindungen als die meisten Remote-Backends, aber dieselbe Regel gilt weiterhin.

df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"

Größere temporäre Packs können außerdem den Speicherverbrauch erhöhen und dazu führen, dass mehr temporäre Schreibvorgänge den SSD-Speicher erreichen, statt im Cache zu bleiben.

Dieselbe Packgrößeneinstellung für alle Befehle verwenden, die in das Repository schreiben

Laut Restic sollte die Einstellung für die Packgröße bei jedem Befehl angegeben werden, der das Repository verändert. Verwende für den gesamten Auftrag eine Umgebungsvariable:

export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password

restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune

Eine Änderung der Packgröße definiert die Deduplizierungs-Chunks nicht neu, kann aber zu unterschiedlich großen Packs führen. Einheitliche Einstellungen erleichtern die spätere Wartung und die Interpretation von Leistungsvergleichen.

Erwarten Sie nicht, dass bestehende Packs automatisch ihre Größe ändern

Eine neue Packgrößeneinstellung wirkt sich auf neu erstellte oder neu gepackte Daten aus. Bestehende Packdateien werden nicht allein deshalb neu geschrieben, weil sich RESTIC_PACK_SIZE ändert.

Wenn prune kleinere bestehende Packs gezielt neu packen soll, bietet die aktuelle restic-Version die Option --repack-smaller-than. Prüfen Sie zuerst die Repack-Optionen von prune.

restic prune --dry-run --repack-smaller-than 32M

Beginnen Sie mit einem Probelauf. Erzwingen Sie keinen vollständigen Repack-Vorgang, nur damit alle Packdateien einheitlich aussehen.

Überprüfen Sie die Integrität nach der Optimierung

restic check
restic check --read-data-subset=5%

Wählen Sie einen Prüfplan, der zur Größe des Repositorys passt. Die Anleitung zur Fehlerbehebung bei Repositorys von restic betrachtet Integritätsprüfungen als Grundlage für die Diagnose von Repository-Schäden.

Ergänzen Sie für ein umfassenderes Sicherungskonzept das lokale Repository um eine weitere unabhängige Kopie. Die 3-2-1-Backup-Strategie von ZimaOS erklärt, warum lokale Redundanz und ein separates Ziel unterschiedliche Ausfallszenarien abdecken.

Verwenden Sie diese Entscheidungsregel

  • Bleiben Sie bei 16 MiB, wenn Backups bereits innerhalb des Zeitfensters abgeschlossen werden oder der Engpass anderswo liegt.
  • Testen Sie 32 MiB, wenn ein großes HDD-Repository viel Zeit für Metadaten- und Dateizugriffe auf kleine Dateien benötigt.
  • Testen Sie 64 MiB, wenn 32 MiB helfen und der Verbrauch an temporärem Speicher unproblematisch bleibt.
  • Erhöhen Sie den Wert nicht weiter, wenn die Verbesserungen nachlassen oder die temporäre I/O-Last steigt.

Die beste Packgröße ist der kleinste Wert, der den Repository-Overhead messbar reduziert, ohne einen neuen Engpass zu verursachen.

FAQ zur restic-Packgröße

Verbessert eine größere Packgröße die Deduplizierung von restic?

Nein. Die Deduplizierung erfolgt auf Blob-/Chunk-Ebene, bevor Blobs zu Packdateien zusammengefasst werden.

Werden durch eine Änderung der Packgröße meine alten Packdateien neu geschrieben?

Nein. Bestehende Packs bleiben erhalten, bis sie durch reguläre Prune- oder Repack-Vorgänge neu geschrieben werden.

Welche Packgröße sollte ich zuerst auf einem lokalen HDD-NAS ausprobieren?

Verwenden Sie 16 MiB als Ausgangswert und testen Sie anschließend 32 MiB und 64 MiB unter derselben Arbeitslast.

Support und Tipps

Mehr zum Lesen

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.