ローカルNASリポジトリ向けにResticのパックサイズを最適化する方法

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

ローカルNASのリポジトリでは、リポジトリファイルのオーバーヘッドやHDDのシーク動作がスループットを制限していることが測定で確認されない限り、resticのデフォルトである16 MiBを維持してください。NASが回転ディスク上に数テラバイトのリポジトリを保存している場合は、それ以上を検討する前に、32 MiBまたは64 MiBのパックサイズをベンチマークするのが妥当です。

パックサイズは、resticの重複排除チャンクサイズとは異なります。resticはまずファイルデータをコンテンツ定義ブロブに分割し、その後、ブロブをパックファイルにまとめます。パックサイズの目標値を変更すると、リポジトリ内でブロブがどのようにまとめられるかが変わりますが、リポジトリのチャンク分割多項式やコンテンツハッシュは変わりません。

まずはデフォルトの16 MiBから始める

現在のresticの調整ガイドによると、パックサイズのデフォルトの目標値は16 MiBです。また、パックファイルを大きくするとリポジトリ内のファイル数を減らせるため、ローカルHDD上に保存された一部のリポジトリではバックアップ性能が向上する場合があると記されています。

restic version
restic -r /mnt/nas/restic-repo snapshots
restic -r /mnt/nas/restic-repo stats --mode raw-data

調整の前に、resticのバージョン、リポジトリのサイズ、スナップショット数、ストレージの種類、現在のバックアップ所要時間を記録してください。リポジトリのバックアップがすでに所定の時間内に完了している場合、パックサイズを大きくしても、実用的な効果が得られず複雑さが増す可能性があります。

パックサイズによって実際に何が変わるかを理解する

resticのリポジトリ形式の設計では、ファイルの内容をコンテンツ定義ブロブに分割し、それらのブロブをパックファイルにまとめる仕組みが説明されています。

ソースファイル
   |
コンテンツ定義チャンク分割
   |
重複排除されたブロブ
   |
パックのグループ化
   |
リポジトリのデータファイル

通常、パックの目標サイズを大きくすると、リポジトリ内のファイル数が減り、ファイルが大きくなります。これにより、回転ディスクでメタデータ処理やファイルを開く際のオーバーヘッドに費やす時間を短縮できる場合があります。同一のファイル内容の重複排除が向上するわけではありません。

NASが本当にパックサイズで制限されているか確認する

調整の前に、通常の増分バックアップ中にリポジトリディスクの動作を確認してください。スループットが低いまま、ローカルHDD上のリポジトリが頻繁な短いシークやメタデータ操作で忙しく動いている場合は、高速なシーケンシャル書き込みがすでに行われているSSD上のリポジトリよりも、調整の効果が期待できます。

iostat -xz 2

ディスク使用率が高い状態の継続、await時間の増加、大容量のシーケンシャル書き込みと比べたスループットの低さを確認します。CPU使用率とソースの読み取り速度も確認してください。ボトルネックが圧縮、ハッシュ計算、ソースのI/O、ネットワークにある場合、パックサイズを大きくしても解決しません。

条件をそろえたリポジトリで16、32、64 MiBを比較する

最も適切に比較するには、テスト用に使い捨てのリポジトリを作成します。同じソースデータセット、NASボリューム、resticのバージョン、バックエンド接続数を使用してください。

restic --pack-size 16 -r /mnt/nas/test-restic-16 init
restic --pack-size 16 -r /mnt/nas/test-restic-16 backup /srv/testdata

restic --pack-size 32 -r /mnt/nas/test-restic-32 init
restic --pack-size 32 -r /mnt/nas/test-restic-32 backup /srv/testdata

restic --pack-size 64 -r /mnt/nas/test-restic-64 init
restic --pack-size 64 -r /mnt/nas/test-restic-64 backup /srv/testdata

経過時間、リポジトリディスクのスループット、一時領域の使用量、生成されたデータファイル数を測定します。可能であれば、ページキャッシュの影響で結果が左右されないよう、測定を繰り返してください。

パックサイズを大きくする前に一時領域を確保する

Resticのドキュメントによると、必要な一時領域はおよそ次のとおりです。

パックサイズ × (バックエンド接続数 + 1)

バックエンド接続が5つで目標サイズが64 MiBの場合、最低でも384 MiBの一時領域が必要です。現在、ローカルバックエンドのデフォルト接続数はほとんどのリモートバックエンドより少なく設定されていますが、同じルールが適用されます。

df -h "${TMPDIR:-/tmp}"
export TMPDIR=/mnt/fast-temp/restic
mkdir -p "$TMPDIR"

一時パックを大きくすると、メモリ使用量も増える可能性があります。また、一時書き込みがキャッシュに収まらず、SSDストレージに書き込まれる量が増えることもあります。

リポジトリを書き込むコマンドではパックサイズの設定を統一する

Resticの説明によると、リポジトリを変更するすべてのコマンドでパックサイズの設定を指定する必要があります。ジョブ全体で同じ環境変数を使います。

export RESTIC_REPOSITORY=/mnt/nas/restic-repo
export RESTIC_PACK_SIZE=64
export RESTIC_PASSWORD_FILE=/root/.config/restic/password

restic backup /srv/data
restic forget --keep-daily 7 --keep-weekly 4 --keep-monthly 6
restic prune

パックサイズを変更しても重複排除のチャンク分割方式は変わりませんが、サイズの異なるパックが混在することがあります。設定を統一すると、今後のメンテナンスやパフォーマンス比較を判断しやすくなります。

既存のパックが自動的にサイズ変更されるとは考えないでください。

新しいパックサイズ設定は、新たに作成または再パックされるデータに適用されます。RESTIC_PACK_SIZEを変更しただけで、既存のパックファイルが書き換えられることはありません。

既存の小さなパックをpruneで再パックしたい場合、現在のresticでは--repack-smaller-thanを利用できます。まずpruneの再パックオプションを確認してください。

restic prune --dry-run --repack-smaller-than 32M

まずドライランを実行します。すべてのパックファイルを均一に見せるためだけに、フル再パックを強制しないでください。

調整後に整合性を検証する

restic check
restic check --read-data-subset=5%

リポジトリのサイズに合った検証スケジュールを選びましょう。resticのリポジトリのトラブルシューティングガイダンスでは、整合性チェックをリポジトリの破損を診断するための基礎として扱っています。

より幅広いバックアップ設計では、ローカルリポジトリに別の独立したコピーを組み合わせましょう。ZimaOSの3-2-1バックアップ戦略では、ローカルの冗長化と別の保存先が、それぞれ異なる障害に対処する理由を解説しています。

この判断基準を使う

  • バックアップがすでに所定の時間内に完了している場合や、ボトルネックが別の場所にある場合は、16 MiBのままにしましょう。
  • 大容量のHDDリポジトリで、メタデータ処理や小さなファイルの操作にかなりの時間がかかる場合は、32 MiBを試しましょう。
  • 32 MiBで効果があり、一時的な容量の使用にも余裕がある場合は、64 MiBを試しましょう。
  • 効果が頭打ちになったり、一時的なI/Oが増えたりしたら、サイズを大きくするのをやめましょう。

最適なパックサイズは、新たなボトルネックを生まずに、リポジトリのオーバーヘッドを測定可能なほど減らせる最小の値です。

resticのパックサイズに関するよくある質問

パックサイズを大きくすると、resticの重複排除の効果は向上しますか?

いいえ。重複排除は、blobがパックファイルにまとめられる前に、blob/chunkレイヤーで行われます。

パックサイズを変更すると、古いパックファイルは書き換えられますか?

いいえ。既存のパックは、通常のプルーンまたは再パック処理で書き換えられるまで残ります。

ローカルHDDのNASでは、最初にどのパックサイズを試せばよいですか?

16 MiBを基準にして、同じワークロードで32 MiBと64 MiBをベンチマークします。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.