サイズと表示日時が一致しているのに、Rsyncがファイルを再コピーするのはなぜですか?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

未加工の更新日時、比較ルール、転送オプションが異なる場合、Rsync は表示上のサイズと日付が一致するファイルを再コピーすることがあります。

ファイルブラウザーではサブ秒単位のタイムスタンプが隠され、丸められた現地日時しか表示されないことがよくあります。一方、Rsync は各エンドポイントが公開するメタデータを比較し、時間の一致を無視する、チェックサムを比較する、メタデータを更新するといった指示を受けることもあります。そのため、人が読めるサイズと日付が同じでも、ナノ秒単位で異なる、いずれかのファイルシステムが時刻を丸める、SMB クライアントがタイムスタンプを書き換える、またはコマンドが通常のクイックチェックを明示的に迂回するといった理由で、ジョブがそのファイルを選択する場合があります。

Rsync がファイルをデータ転送対象として選択していることを確認する

項目別変更を表示するドライランとしてジョブを実行し、正確なコマンド、送信元パス、送信先パス、Rsync のバージョン、代表的なファイル名を保存してください。

公式のRsync マニュアルでは、デフォルトのクイックチェックがファイルサイズと更新日時を比較し、項目別出力によって更新の原因となった属性を特定できると説明されています。

項目別コードに権限、所有者、グループ、ACL、拡張属性の変更のみが示されている場合、ファイル本体を再転送せずに再処理されている可能性があります。

表示日付ではなく、未加工の更新日時を比較する

送信側と受信側を実行するシステムで、送信元と送信先の更新日時をナノ秒精度で読み取り、数値のエポック値を比較してください。

Linux の stat 構造体はナノ秒タイムスタンプに対応しています。そのため、同じ秒として表示される2つのファイルでも、実際の値が異なる場合があります。

分または秒までしか表示されないブラウザーでは、実際の更新日時が一致しているとは証明できません。ファイルに再度触れる前に、未加工の値を記録してください。

タイムスタンプ精度と Modify Window を確認する

FAT、exFAT、NTFS、SMB、NFS、アーカイブの展開先、リムーバブルなステージング用ボリュームなど、パス上のすべてのファイルシステムを特定してください。

Debian の Rsync マニュアルでは、同一のタイムスタンプ精度を保存できないファイルシステムに対する許容範囲など、modify-window の動作について説明しています。

差を測定してから、ゼロ以外のウィンドウを使用してください。ウィンドウが広すぎると、サイズが同じでも実際に変更されたファイルを見落とすおそれがあります。

通常のクイックチェックを上書きするフラグを監査する

オプションを追加するスケジュール済みコマンド全体と、ラッパースクリプト、NASインターフェース、環境変数、インクルードファイル、プリセットをすべて確認してください。

UbuntuのRsyncリファレンスによると、ignore-timesを指定すると強制的に更新され、チェックサムモードでは時刻によるテストが置き換えられ、size-onlyでは更新時刻が無視されます。

原因と確認できたフラグだけを削除してください。チェックサムモードでは、ネットワークを通過するデータが少なくても大量の読み取りが発生することがあります。

SMBまたはWindowsによって宛先の時刻が書き換えられていないか確認する

転送直後、SMBセッションを閉じた後、別のクライアントから再度開いた後に、宛先のハッシュとタイムスタンプを確認してください。

Microsoftの説明によると、アプリケーションはファイルのタイムスタンプを設定および取得できます。また、ファイルシステムやアプリケーションによって、個々の項目が異なるタイミングで更新されることがあります。

インデクサー、メディアアプリ、クラウドクライアント、SMBの処理によって宛先の時刻が変わった場合は、Rsyncではなく、その時刻を書き換える処理を修正してください。

更新時刻とその他のメタデータを区別する

更新時刻、ステータス変更時刻、アクセス権、所有権、ACL、拡張属性、ハードリンク、シンボリックリンクを比較してください。

NetBSDのstatユーティリティでは生のファイルステータス項目を確認できます。これにより、内容の更新時刻とその他のメタデータ変更を区別しやすくなります。

アーカイブ、ACL、拡張属性、所有者、グループに関するオプションによって、メタデータの処理が発生することがあります。パスが表示されるたびにファイル本体がすべて転送されたと考えず、項目別のコードを確認してください。

ファイルを1つ使ってテストし、証明できた最小限の差異を修正する

閉じた状態のテストファイルを1つコピーし、意図したメタデータを保持したうえで、同じコマンドを再実行します。項目別の出力、転送バイト数、生のタイムスタンプを比較してください。

ZimaSpaceの記事増分バックアップが予想以上に大きくなるでは、バックアップチェーン全般の原因を取り上げています。この記事では、Rsyncのファイル選択ルールに焦点を絞っています。

変更なしで再実行した際にテストファイルがスキップされるか、意図して設定したメタデータ更新だけが行われれば、問題は解決しています。

よくある質問

ファイルブラウザーでは日付が同じに見えるのはなぜですか?

ブラウザーでは秒や分単位に丸めて現地時刻で表示される一方、Rsyncはより精度の高い更新タイムスタンプを受け取る場合があります。

チェックサムモードで不要なコピーを防げますか?

時刻が異なっていても内容が一致すれば転送を回避できますが、両側の同じサイズのファイルを読み取ってハッシュを計算する必要があります。

タイムゾーンが原因でRsyncの転送が繰り返されることはありますか?

タイムゾーン表示だけでは数値のタイムスタンプは変わりませんが、タイムスタンプを変換または丸めるアプリケーションやファイルシステムでは変わることがあります。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.