なぜSSDプールは持続的なホームNAS書き込み中に一時停止することがあるのか？

SSDプールは、持続的なホームNASの書き込み中に、ダーティページ、ファイルシステムトランザクション、プールメンバー、およびSSDコントローラが耐久的な作業を完了できる速度を超えてデータが流入するとスタールすることがあります。バッファリングが限界に達すると、バックプレッシャーが新しい書き込みを遅延させ、十分なキューイングされたデータが排出されるまで待機します。

このプールレベルのメカニズムは、1つのSSDの疑似SLCキャッシュの充填やガベージコレクションよりも広範です。目に見える一時停止は、ホストの書き戻し、コピーオンライトトランザクションの同期、フラッシュの遅延、遅いメンバー、デバイスのハウスキーピング、または複数の層が同時に整合することに起因する可能性があります。

プールレベルの書き込みスタールとは何を意味するのか？

スタールはスループットが正確にゼロのままである必要はありません。急激なレイテンシのスパイク、短時間のほぼゼロの間隔、ノコギリ波状の転送グラフ、またはバックグラウンドのスループットが他で続いている間にアプリケーションが同期書き込みを待つ状態として現れることがあります。テールレイテンシは、長期的なスループット平均よりも先にこの状態を明らかにすることがよくあります。

プールは複数のキューを通じて作業を受け入れます。アプリケーションは書き込みを送信し、カーネルはキャッシュされたページをダーティ化し、ファイルシステムはトランザクションとメタデータの更新を形成し、アレイはメンバーに操作を割り当て、各SSDは論理書き込みをフラッシュ活動に変換します。複数の層でキュー占有率が同時に上昇することがあるため、1つの総合的なキュー深度の値で最初に飽和したリソースを特定することはほとんどありません。

下位層が受け入れ速度で作業を処理できない場合、バックプレッシャーは上方に移動します。デバイスの完了が遅くなり、プールのキューが増え、ダーティデータが限界に近づき、アプリケーションの書き込みが最終的に待機します。待機が見える層は必ずしも遅延の原因となった層ではありません。ファイルコピーのウィンドウは、RAMやコントローラバッファに数秒間隠れて蓄積された後にのみ一時停止することがあります。

なぜ転送はプールの排出よりも速く開始できるのか？

短い書き込みバーストは、最終的なメディア処理が完了する前にRAM、ファイルシステムバッファ、コントローラメモリ、または高速フラッシュ領域に完了することがあります。その期間中に表示される速度は、パイプラインへの取り込みを反映しており、持続可能なエンドツーエンドの排出速度ではありません。より長いテストでは、パイプラインが平衡に達するか、有限のバッファを満たしたり排出したりを繰り返すかが明らかになります。

Linuxは別々のダーティデータの書き戻し閾値を文書化しています：バックグラウンドのフラッシュはある境界で開始される一方、書き込みを生成するプロセスは別の境界で書き戻しを強制されることがあります。これにより、最初は非同期の経路が持続的な圧力下でフォアグラウンドの待機に変わります。

NASはユーザーペイロード以上の書き込みも行います。コピーオンライトのメタデータ、チェックサム、割り当て更新、パリティやミラー、スナップショット、ログ、データベースカタログが操作を追加します。比率はファイルシステム、プールレイアウト、ブロックサイズ、空き容量、ワークロードに依存するため、ホストのバイト数をメディアのバイト数として測定なしに扱うことはできません。小さなランダム上書きは、同じ総サイズの大きな整列された連続書き込みとは非常に異なる排出コストを生み出すことがあります。

書き込みパスを通じてバックプレッシャーはどのように移動するのか？

以下の段階は重複することがありますが、分けることでスタールがプールの上位で始まるのか、トランザクション同期中か、1つ以上のデバイス内で始まるのかを特定しやすくなります。

この表は診断モデルであり、すべてのレイヤーがすべての書き込みを同じ方法でバッファリングしている証明ではありません。ダイレクトI/O、同期セマンティクス、ファイルシステム設計、コントローラキャッシュポリシー、電源喪失保護はパスを変える可能性があります。同期ワークロードは、バッファリングされたファイルコピーの長いバーストフェーズを享受する代わりに、すぐにデバイスやログの遅延に遭遇するかもしれません。

レイヤー間のタイムスタンプを相関させます。汚れたメモリの増加に一致する転送の低下は、ホストの汚れたデータがすでに減少している間に一方のメンバーの完了遅延で始まる低下とは異なる境界を示唆します。共通のクロックとサンプリング間隔を使用してください。そうでなければ、短いデバイスのスパイクがトリガーしたアプリケーションの一時停止と無関係に見えることがあります。

なぜトランザクションの同期はノコギリ波パターンを作るのか？

コピーオンライトファイルシステムは汚れたトランザクションデータを蓄積し、後でそれを調整されたバッチとしてコミットすることができます。コミットは非同期書き込みのバーストを発行し、メタデータを更新し、汚れた予算が再び利用可能になる前に必要な順序付けや耐久性を待ちます。もし受信作業が排出能力を超え続けると、各新しいサイクルはより少ない余裕で始まり、前景の遅延がより起こりやすくなります。

OpenZFSは、汚れたデータがその制限に近づくと新しい書き込みを遅延させる汚れたデータ書き込みスロットルを文書化しています。そのZIOスケジューラのドキュメントでは、トランザクショングループが定期的に同期状態に入り、非同期書き込みのバーストを生成することも説明されています。

これらの情報源はOpenZFSの挙動を示しており、普遍的なZFSのチューニング値やBtrfsの挙動ではありません。メモリ、レイテンシ、リカバリの影響を測定せずにトランザクションタイミングやダーティリミットを変更すると、停止が大きくなったり、耐久性作業が遅れたり、圧力が別の層に移動したりする可能性があります。バッファを増やすと一時停止を遅らせることができますが、その分後で一度に排出しなければならないデータ量が増えます。

一つのSSDがプール全体を遅くするのはなぜか？

ミラーまたはストライプ操作は複数のメンバーの完了に依存することがあります。もし一つのSSDが長い書き込みレイテンシの尾を持つと、他のドライブが高速でも論理操作は待機することになります。集計されたデバイス帯域幅はその単一メンバーの遅延を隠すことがあります。異なるSSDモデル、ファームウェア、ウェアレベル、温度が混在するホームビルドのプールでは、メンバー単位の比較が特に重要です。

コンシューマー向けSSDは、内部マッピング、ガベージコレクション、ウェアレベリング、キャッシュ折りたたみ、熱制御がホスト書き込みと競合するため、持続的な書き込みレイテンシが変動することがあります。ガベージコレクションレイテンシに関する研究はフラッシュ管理とSSD性能の関係を示していますが、特定の市販ドライブを予測するものではありません。ファームウェアの更新や残りの空き容量により、同じドライブのレイテンシプロファイルは時間とともに変化します。

この記事の境界はプールにあります：デバイスのレイテンシがどのように上位に伝播し、バックプレッシャーを引き起こすかです。SLCの枯渇やガベージコレクションに関する以前の単一ドライブの問題は別途評価すべきであり、同じメカニズムをすべてのプール停止の説明に使うべきではありません。健全な単一ドライブのテストでも、複数のメンバーが同時に協調して書き込みを受ける場合と同じレイテンシが保証されるわけではありません。

持続的な書き込み停止はどのように測定すべきか？

一時的なバッファリングを超える十分に長い転送を使用し、短い間隔でのスループットとレイテンシのパーセンタイルを報告します。ダーティメモリ、ライトバック、ファイルシステムのトランザクションタイミング、プールのキュー深度、メンバーごとのレイテンシ、デバイス温度、空き容量、バックグラウンドジョブを記録します。ワークロードのブロックサイズ、同期動作、圧縮性、ファイル数パターンは、それぞれが書き込み増幅やトランザクションのオーバーヘッドを変える可能性があるため、保持してください。

LinuxのブロックI/O統計は進行中のリクエスト、読み書きに費やした時間、蓄積するバックログを反映する加重I/O時間を示します。プールの平均では遅いメンバーが隠れるため、デバイスごとのカウンターが不可欠です。

バックグラウンドタスクを一時停止してから、スナップショット、スクラブ、レプリケーション、コンテナ、メディアインデックスを1つずつ再導入してください。プールの空き容量状態を安定させておくことが重要です。クリーンアップの余裕が持続的な挙動を変える可能性があるためです。ネットワークが速く見えてもプールが停止する場合は、10GbE NASボトルネックチェックリストがパス診断の補助になりますが、ストレージ層の原因を証明するものではありません。

よくある質問

SSDプールの停止はSLCキャッシュの枯渇と同じですか？

いいえ。SLCの枯渇は持続的な書き込み速度低下のデバイスレベルの原因の1つです。プールの停止はホストのライトバック、ファイルシステムのスロットリング、トランザクション同期、フラッシュレイテンシ、または遅いメンバーの1つからも発生します。

より高速なネットワークはより多くの目に見える停止を引き起こしますか？

はい。より高速なネットワークは書き込みをストレージパスにより速く供給でき、バッファリングを早く使い果たし、プールの持続的な排出速度を露呈させます。これは境界を明らかにするもので、根本的なストレージ制限を作り出すわけではありません。

このバックプレッシャーモデルはZFSにのみ適用されますか？

いいえ。バッファリングされたライトバックや下位レイヤーのキューはZFSの外側にも存在しますが、トランザクションのセマンティクスや制御は異なります。ここで述べたダーティデータのスロットルやトランザクショングループの詳細は、特にOpenZFSの挙動です。

冷却で持続的な書き込みの停止を解消できますか？

デバイスのレイテンシに熱スロットリングが影響している場合にのみ効果があります。ダーティデータの制限、トランザクション同期の圧力、持続的なNAND性能不足、または故障しているプールメンバーは修正できません。

最初にテストすべき変更は何ですか？

まずレイテンシが上昇するレイヤーを特定します：ホストのライトバック、ファイルシステムの同期、プールメンバー、またはデバイスの温度です。その後、1つの制限された変数を変更します。ドライブのアップグレードやライトバックの調整を境界を特定する前に行うと、信号を隠してしまい問題を解決できません。

最終的な結論

SSDプールは、持続的なホームNASへの書き込みが耐久作業の処理速度を上回ると停止し、前景のリクエストにバックプレッシャーがかかります。ダーティデータ、トランザクションのバースト、メンバーごとのレイテンシ、デバイスのテレメトリを関連付けて分析してください。1つのSSDキャッシュやファイルシステム設定を責める前に、プールレベルの証拠が必要です。タイムラインは最初に飽和したレイヤーを特定します。これは測定可能なままです。