なぜ大容量NASのファイルコピーはインタラクティブなセルフホストアプリの遅延を引き起こすのか？

大きなNASファイルコピーは、持続的な大量転送がデータベース、メディアサービス、ダッシュボード、検索インデックス、自動化コンテナで使用される同じディスクキュー、キャッシュ、メモリ帯域幅、CPU時間、ネットワーク経路、書き戻しパイプラインを占有するため、対話型のセルフホストアプリを遅延させます。

コピーは優れた連続スループットを報告していても、アプリは遅くなったり不安定になったりします。大量転送速度はNASが時間あたりに移動するデータ量を測定しますが、対話型パフォーマンスは大量の作業がアクティブな間に小さく同期的なリクエストがどれだけ速く完了するかに依存します。

高速な連続コピーが対話型レイテンシに悪影響を与えるのはなぜか？

連続転送は、大きな隣接領域を比較的少ないシークやリクエストのオーバーヘッドで移動するため効率的です。しかし、大量スループットと対話型レイテンシは異なる目標です。デバイスはMB/s単位で生産的であり続ける一方で、小さなデータベースやメタデータ操作はより長く待たされることがあります。

コピー用ツールは通常、複数の読み書きを同時に処理してストレージとネットワークを常に稼働させています。対話型アプリは帯域幅をほとんど消費しない小さなリクエストを送信しますが、特定の読み取り、ログ書き込み、またはトランザクションのコミットが完了するまでユーザー向けの応答がブロックされることがよくあります。

したがって、平均コピーのスループットは安定していても、アプリのテールレイテンシは急激に上昇します。NASはコピー操作の間にアイドル状態になることがなく、小さなリクエストにすぐ対応できません。

長時間のコピーはどのようにしてストレージキューを占有するのか？

大きなファイルやディレクトリツリーは、数分から数時間にわたって連続的にI/Oを送信することがあります。大規模な転送はストレージのキューを継続的に忙しくさせるため、レイテンシに敏感なリクエストはすでに大量の作業があるキューに入ることになります。

HDDプールでは、小さなランダムなアプリI/Oとシーケンシャルコピーを交互に行うとアクチュエータの動きを強制し、両方のパターンの効率を下げます。SSDではコントローラがより多くの作業を並列処理できますが、有限のキュー、NANDチャネル、ガベージコレクション、ファームウェアスケジューリングが依然として遅延の上限を課します。

深いキューはデバイスの利用率を最大化しますが、滞留時間を増加させます。4キロバイトのデータベース読み込みは選択されるとサービス時間は短いかもしれませんが、コピーのメガバイト単位のトラフィックの後ろで大部分の時間を待つことになります。

なぜコピーのトラフィックが有用なキャッシュデータを追い出すのか？

OSとストレージスタックは、遅いデバイス読み込みを避けるために最近アクセスしたデータをキャッシュします。長いスキャンやコピーは広範囲のアドレスに触れるため、大量読み込みは遅延に敏感なキャッシュエントリを追い出すことがあります。キャッシュが使い捨てのストリーミングデータとアクティブなアプリケーション作業セットを区別しない場合に特にそうなります。

データベース、写真インデックス、メディアカタログ、ウェブアプリケーションは、ホットなメタデータやインデックスがRAMに残っていることに依存している場合があります。コピーがそれらのページを置き換えた後、次のインタラクティブなリクエストは遅いストレージからそれらを取得しなければなりません。

コピー速度が目に見えて落ちた後も遅延が続くのは、有用な作業セットを再度ウォームアップする必要があるためです。コピーは完了しましたが、キャッシュのフットプリントが変わり、どのデータが低遅延アクセスを受けるかが変わりました。

ファイルの読み書き以外にどんな追加作業が発生するのか？

NASは、最終的なディスクに書き込む前にメモリやフラッシュに書き込みを認識することがあります。ライトバックは作業を後のフラッシュに移行するため、高速な初期コピーの後に持続的なダーティデータの書き戻しが続くことがあります。

ファイルシステムは、割り当てマップ、ディレクトリ、タイムスタンプ、チェックサム、ジャーナル、コピーオンライトのメタデータも更新します。RAIDや消去符号化はパリティ作業を追加することがあり、スナップショットは通常解放される古いブロックを保持する場合があります。

同じNAS内でのコピーは、データが同じプールから読み取られ書き戻される場合、進捗バーが示すよりもコストが高くなることがあります。サーバーサイドコピーやリフリンクのサポートは物理的な移動を回避できる場合がありますが、それはプロトコル、ファイルシステム、コピーツールがそれらの機能を使用する場合に限られます。

ネットワークとメモリの圧力はどのようにしてコンテナアプリに影響を与えるのか？

高スループットツールはパイプラインを満たすために並行処理をよく使い、並列転送は共有リソースへの負荷を増加させます。ホームサーバーでは、同じ方法がより多くのソケットバッファ、ページキャッシュ、メモリコピー、CPUサイクル、SMBやNFSのリクエストスロットを消費することがあります。

ダーティページはカーネルがフォアグラウンドまたはバックグラウンドの書き戻しを開始するまで増加する可能性があります。その時点で、無関係なコンテナがメモリの回収、ファイルシステムのロック、I/Oスケジューリング、そして自身のリクエスト処理に必要なCPU時間を争うことがあります。

アプリキャッシュはすでに耐久性のあるストレージと競合しています。大きなコピーは、ログ、サムネイル、データベース、コンテナ状態をすでに処理している可能性のあるI/Oパスに持続的な容量指向の負荷を追加します。

ホームNASはどのようにインタラクティブなワークロードを保護できるのか？

最も強力な保護は、アプリケーションのアクティブな作業セットを低遅延の階層に保持することです。低遅延キャッシュはアクティブな作業セットを保護します。キャッシュは応答性を維持すべきデータに合わせてサイズと配置が決められています。

その他の制御にはコピー速度制限、I/O優先度、cgroupの重み付け、データセットごとの制限、スケジュールされた移行ウィンドウ、別のSSDおよびHDDプール、NASを容量とバックアップに使うローカルアプリケーションデータベースが含まれます。

コピーのMB/sだけでなく、コピー実行中のアプリの遅延を測定してください。目標はすべての転送を遅くすることではなく、ユーザーが即時応答を期待するセルフホストサービスのために十分なキュー、キャッシュ、CPU、書き戻しの余裕を残すことです。

よくある質問

コピーが高速なのにアプリが遅くなるのはなぜですか？

コピーは持続的なスループットに最適化されていますが、アプリは小さなリクエストの完了時間に依存します。高スループットと低遅延は関連していますが異なる性能目標です。

NVMeはこの問題を解消しますか？

サービス時間を短縮し、より高い並列性をサポートしますが、NVMeにも有限のキュー、コントローラ帯域幅、NANDリソース、キャッシュ、CPU、熱制限があります。

大きなファイル1つは小さなファイル多数よりも害が少ないですか？

単一の大きなファイルは通常、より連続的でメタデータ効率が良いです。多くの小さなファイルはディレクトリ、割り当て、権限、オープン、クローズ、メタデータ操作を増やしますが、どちらのワークロードも持続的なキューとキャッシュの圧力を生み出す可能性があります。

セルフホストのアプリデータベースはNAS上に置くべきですか？

可能ですが、遅延に敏感なデータベースは予測可能な小規模I/O性能を持つストレージから恩恵を受けます。別のSSDプールやローカルアプリケーションストレージが大量コピーからのより明確な境界を提供する場合があります。

最終的な結論

大容量NASファイルのコピーは、共有キュー、キャッシュ、メモリ、ネットワーク、および書き戻しパスが容量重視のワークロードで占有されると、インタラクティブなアプリの遅延を引き起こします。コピーはスループットで測定されるため高速のままですが、ユーザー向けのリクエストは完了遅延で測定されるため遅くなります。ティアリング、レート制限、I/O優先度、別プール、オフピークスケジューリングにより、すべてのアプリケーションの応答時間を犠牲にせずに大量転送容量を維持します。