長時間バックアップが途切れないように Borg の Prune と Compact を設定する方法

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

Borgバックアップの長い中断を避けるには、バックアップが正常に完了した後に保持対象のプルーニングを実行し、リポジトリのコンパクションは頻度を抑えて、通常のバックアップ時間帯を外してスケジュールしてください。Borg 1.4ではアーカイブの削除と物理的な領域の回収が分離されているため、borg pruneのたびにborg compactを実行する必要はありません。

このガイドは、現行のBorg 1.4.x安定版のコマンドモデルを対象としています。Borg 2では複数の領域でリポジトリとアーカイブの仕様が変更されているため、別のメジャーリリース向けの自動化をコピーする前に、インストールされているバージョンを確認してください。

Borgのバージョンとリポジトリを確認する

borg --version
borg info /mnt/backup/borg-repo
borg list /mnt/backup/borg-repo

Borg FAQによると、Borgはリポジトリ全体にロックをかけ、一度に書き込みアクセスできるプロセスは1つだけです。長時間のcompactが次のバックアップ予定と重なると、バックアップはロックが解除されるまで待機するか、ロックのタイムアウトが切れた時点で失敗します。

まずドライランで保持ルールを定義する

borg pruneはアーカイブの履歴を破壊的に変更します。Borgのpruneのドキュメントでは、--dry-runと--listを使ったテストを強く推奨しています。

borg prune   --dry-run   --list   --keep-daily 7   --keep-weekly 4   --keep-monthly 6   --glob-archives '{hostname}-*'   /mnt/backup/borg-repo

1つのリポジトリに複数のマシンやデータセットのバックアップが含まれる場合、アーカイブフィルターは不可欠です。制限の厳しいフィルターを指定しないと、Borg 1.4はリポジトリ内のすべてのアーカイブを、同じ保持ルールの対象として扱います。

バックアップが正常に完了した後にのみPruneを実行する

#!/bin/sh
set -eu
REPO=/mnt/backup/borg-repo
ARCHIVE='{hostname}-{now:%Y-%m-%d_%H-%M}'

borg create --stats "$REPO::$ARCHIVE" /srv/data

borg prune   --list   --keep-daily 7   --keep-weekly 4   --keep-monthly 6   --glob-archives '{hostname}-*'   "$REPO"

スケジューラーが起動したからという理由でプルーニングするのではなく、新しいバックアップが正常に完了し、保持ポリシーがすでに検証されている場合にプルーニングしてください。

Pruneですぐに領域が解放されない理由を理解する

Borg 1.2以降、コンパクションは通常のリポジトリ書き込みコマンドとは分離されています。Borgのコンパクションの個別解説によると、アーカイブを削除またはプルーニングしても、リポジトリのディスク領域がすぐにすべて回収されるわけではありません。

borg create
    |
新しいアーカイブを確定
    |
borg prune
    |
古いアーカイブを保持対象から削除
    |
borg compact
    |
未使用セグメントの空き領域を回収

日次バックアップで、部分的に使用されているリポジトリセグメントを書き換える全コストを負担する必要がなくなるため、これはスケジュール設定に役立ちます。

Compactの実行頻度はPruneより低くする

  • backup: 毎晩実行。
  • prune: バックアップが正常に完了するたび、または週に数回実行。
  • compact: 週に1回、負荷の低い時間帯に実行。
  • リポジトリ全体のチェック: 別の、頻度の低いスケジュールで実行。
# 毎日のバックアップ + プルーニング
0 1 * * * /usr/local/sbin/borg-backup

# 毎週のcompact
0 4 * * 0 /usr/local/sbin/borg-compact

バックアップに数時間かかることが多い場合は、compactの実行をさらに後ろにずらすか、明示的な依存関係を設定したタイマーを使用してください。

強制的な最大限の書き換えを行う前に、compactのデフォルトしきい値を使う

現行のcompactのドキュメントでは、デフォルトのしきい値は10%です。

borg compact --progress /mnt/backup/borg-repo

短いメンテナンス時間を優先する場合、このデフォルト値は適切な出発点です。--threshold 0を安易に使わないでください。少しでも容量を節約できる場合に常に書き換えが行われるため、大規模なリポジトリでは大幅に処理が遅くなることがあります。

メンテナンスと次のバックアップの重複を防ぐ

別のBorgプロセスの終了を待つことが正当な場合は、上限を設けたロック待ち時間を設定します。

borg --lock-wait 1800 create   /mnt/backup/borg-repo::'{hostname}-{now}'   /srv/data

適切なスケジュールを組まずに、ロック待ち時間を極端に長く設定しないでください。バックアップの実際の開始時刻と終了時刻を監視しましょう。

複数のクライアントで1つのリポジトリを共有する場合は、実行時間をずらしてください。BorgのFAQによると、クライアント間の重複排除が重要でなければ、複数のリポジトリを使うことでロック競合を減らせます。

pruneの処理が遅くなったらクイック統計を使う

Borg 1.4.5では、create、delete、pruneに--quick-statsが追加され、リポジトリ全体の統計が不要な場合に、時間のかかる統計処理を避けられるようになりました。

borg prune   --quick-stats   --keep-daily 7   --keep-weekly 4   --keep-monthly 6   --glob-archives '{hostname}-*'   /mnt/backup/borg-repo

compactが必要になる前に空き容量を確保する

リポジトリのファイルシステムの空き容量がゼロになるまで待たないでください。ファイルシステムが完全に満杯の状態では、Borgは通常のリポジトリ書き込み処理を確実に実行できません。

df -h /mnt/backup
borg info /mnt/backup/borg-repo

より包括的なNASバックアップ計画を立てる際は、ZimaOSの3-2-1バックアップガイドが、リポジトリの保持設定はバックアップ設計の一要素にすぎないことを思い出させてくれます。

スケジュールを信頼する前に検証する

  • バックアップのたびに新しいアーカイブが作成されましたか?
  • バックアップが成功した後にのみpruneを実行しましたか?
  • 保持対象のセットはドライランの計画と一致していましたか?
  • 毎週のcompactは次のバックアップ開始前に完了しましたか?
  • compact後に空き容量は増えましたか?
  • Borgロック待ちに予想外の時間がかかったジョブはありましたか?

compactが次のバックアップと繰り返し重なる場合は、compactの頻度を下げ、デフォルトのしきい値を維持し、より負荷の少ない時間帯に移動するか、無関係なワークロードを別々のリポジトリに分けてください。

バックアップ間隔を短く保つBorgメンテナンスパターン

毎日
01:00  borg create
        |
        +-- 成功 --> borg prune
        |
        +-- 失敗 --> 古いアーカイブを保持し、アラートを送信

毎週
04:00  borg compact

定期
        borg check
        選択したファイルを復元する

基本ルールはシンプルです。pruneは保持ポリシーを守り、compactはストレージを再利用できるようにします。両者を同じ頻度で実行する必要はありません。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.