1回の連続転送で最初の50GBを超えると、USBバックアップの速度が急激に低下するのはなぜ?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

USBバックアップの速度は、高速キャッシュがいっぱいになるか、持続的な処理によってストレージ、温度、または転送経路のより低い上限が表面化すると、数十ギガバイトの転送後に急落することがよくあります。

最初の50GBは、すべての環境に共通するしきい値ではありません。転送がバースト動作から定常状態に移行した、別のファイル群に達した、SSDキャッシュがいっぱいになった、SMRのクリーンアップが始まった、エンクロージャーが高温になった、またはUSBのリトライが発生したことを示す手がかりです。正確な原因を特定するには、同じソースデータを使って大容量ファイルと小容量ファイルのテストを制御された条件で比較し、転送先のレイテンシー、温度、リンクエラー、実際の書き込みバイト数を記録します。

速度低下がバイト数、経過時間、ファイル数のどれに連動するか確認する

対象を絞ったバックアップを再実行し、経過時間、転送バイト数、ファイル数、平均ファイルサイズ、ソースの読み取り速度、転送先の書き込み速度、スループットが低下する正確な時点を記録します。

Fioではシーケンシャルとランダムのワークロードを区別できます。そのため、一定量のデータを書き込んだ後に転送先が遅くなるのか、バックアップ対象が多数の小さなファイルに達したときだけ遅くなるのかを検証するのに適しています。

ファイルの構成にかかわらず、書き込んだギガバイト数がほぼ同じところで速度が急落する場合は、キャッシュと温度の上限を調べます。ファイル数やディレクトリの階層に応じて発生する場合は、メタデータやアプリケーションのオーバーヘッドが原因である可能性が高くなります。

SSDのバーストキャッシュがいっぱいになったか確認する

転送先のメディアを特定し、モデル、空き容量、温度、ファームウェア、持続的な書き込み動作を記録します。最初の1分間の速度と、低下後の速度を比較します。

Crucialは、バックグラウンドでガベージコレクションにクリーンアップの時間が必要になるとSSDの性能が低下する場合があると説明しています。そのため、短時間の高速バーストはドライブの長時間にわたる書き込み速度を示すものではありません。

ドライブが冷え、バックグラウンドのクリーンアップが行われるまでワークロードを一時停止し、その後、同じデータで再開します。一時的な回復はキャッシュまたは熱による負荷の問題を示しますが、温度とレイテンシーのデータがなければ、どちらかは特定できません。

ドライブ管理型SMRのクリーンアップの可能性を除外する

USB接続先にドライブ管理型SMRディスクが搭載されているか確認します。大容量データを1回連続して書き込む処理と、多数の小さなファイルを繰り返し更新または作成するバックアップを比較してください。

Seagateによると、SMRは予測可能な書き込みで最も性能を発揮します。一方、断片化した更新やランダム更新では、内部で追加のデータ移動が発生し、安定時の転送速度が低下することがあります。

容量やブランドだけでSMRだと判断しないでください。正確なモデルを確認し、頻繁な差分バックアップやメタデータ負荷の高いバックアップに適さない特性のドライブは避けてください。

USBのリセット、オートサスペンド、リンクの再試行を確認する

バックアップ開始前から速度低下までのホストログを保存します。デバイスのリセット、UASエラー、コマンドの中断、ネゴシエートされた速度の変化、切断、オートサスペンドへの遷移がないか確認します。

LinuxカーネルのUSBランタイム電源管理のドキュメントを参照すると、持続的な負荷のもとでストレージの転送経路が繰り返しサスペンド、レジューム、リセットされているのか、ストレージメディア自体が速度低下しているのかを切り分けられます。

USBリンクが接続されたままでも、再試行によって実効スループットが低下することがあります。ファイルシステムやバックアップの設定を変更する前に、背面のポートに直接接続し、正常動作が確認された短いケーブルと適切な電源アダプターを使って、別のホストでも試してください。

バックアップが小さなファイルを扱うワークロードに切り替わるか確認する

速度低下の前後のバックアップログを確認し、平均ファイルサイズ、ファイル作成速度、メタデータ操作、ACL処理、チェックサム、圧縮、暗号化を比較します。

Red Hatは、小さなファイルを扱うストレージをメタデータ負荷の高いワークロードと説明しています。そのため、バックアップ対象が大容量ファイルから、多数のファイルの作成、クローズ、stat、ディレクトリ更新に切り替わると、MB/sの値が低くなるのは正常な場合があります。

メガバイト/秒だけでなく、1秒あたりのファイル数も測定しましょう。小さなファイルを処理する段階では、ストレージスタックが稼働して応答していても、バイトスループットが低くなることがあります。

空き容量、discard、書き込み増幅を確認する

保存先の空き容量、スナップショットの保持設定、ごみ箱の使用状況、シンプロビジョニングの割り当て状況、さらにUSBブリッジとファイルシステムを通じてSSDにdiscardが届いているかを記録します。

fstrimのマニュアルでは、未使用ブロックを効率よく再利用するには、対応するストレージにその情報を通知する必要があると説明しています。

安全にパススルーできないエンクロージャ経由で、discardを有効にしないでください。まず十分な空き容量を意図的に確保し、サポートされているクリーンアップの後で同じバックアップ区間を比較してください。

ハードウェアを交換する前に、条件を1つだけ変えたA/Bバックアップテストを実行する

大容量ファイルのテストセットと、合計サイズが同じ小容量ファイルのテストセットをそれぞれ1つ作成します。冷却後、同じ保存先に対して各セットを実行し、その後、温度とエラーを記録しながら、別のUSB接続経路または保存先でも繰り返します。

ZimaSpaceのガイド大規模な初回バックアップを段階的に実行するでは、バックアップのスケジュール設定やネットワークの飽和と、保存先の定常時パフォーマンスを切り分けるための関連手法を紹介しています。

速度低下が、キャッシュの枯渇、SMRのクリーンアップ、ファイル構成、発熱、USBの再試行、再利用可能な空き容量の不足のいずれか、測定可能な一つの条件に対応し、改善後の経路で期待される定常速度が持続することを確認できれば、原因の特定は完了です。

よくある質問

50GB後に速度が低下したら、ドライブのキャッシュが50GBだと証明できますか?

いいえ。そのしきい値は、経過時間、温度、ファイル構成、空き容量の圧迫、内部クリーンアップを反映している場合もあります。キャッシュ容量を推定する前に、異なるデータ構成で繰り返しテストしてください。

バックアップを一時停止すると、なぜ速度が一時的に回復するのですか?

一時停止によって、SSDがキャッシュ内のデータを整理したり、SMRディスクが書き込みを再編成したり、エンクロージャが冷却されたり、USB接続が回復したりすることがあります。原因を切り分けるには、温度とレイテンシのログが必要です。

バックアップのパフォーマンスは初速で判断すべきですか?

いいえ。容量計画では、キャッシュが満たされ、データ、メタデータ、検証、保持処理が通常の構成に達した後の安定した速度を基準にしてください。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.