何千もの小さなファイルでSMBのコピー速度が低下:最初に何をテストすべき?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

SMBやネットワークの設定を変更する前に、回線速度ではなくファイル数が原因かどうかをテストします。

ホームNASでは、数千個の小さなファイルを扱うと、クライアントとサーバーはオブジェクトごとにパス検索、アクセス権の確認、オープン、作成、メタデータ更新、クローズ、アプリケーション側のスキャンを何度も繰り返します。コピーが遅々として進まなくても、ギガビットや2.5GbEの回線はほとんど使われないままになることがあります。そこで最初に行うべきなのは、合計データ量をほぼ同じに保ちながらオブジェクト数だけを変えるA/Bテストです。その後、決められた順序でストレージ、クライアント、コピー用ツールのテストを行います。

大きなファイル1つと、同じデータ量の小さなファイルを比較する

同じソースストレージ上に、大きなファイル1つと、合計サイズがほぼ同じになるように数千個の小さなファイルを含むフォルダーの2つのテストセットを作成します。同じクライアント、SMB経路、時間帯を使って、両方を同じNAS共有にコピーします。

TrueNASユーザーの報告には、大きなファイルが通常に近いネットワーク速度を維持する一方で、特徴的な小さなファイルのSMB転送速度低下が見られます。この対比は、単一の速度の数値よりも有用です。ワークロードの形状によってボトルネックが変わることを示しているからです。

経過時間、ファイル総数、総データ量、1秒あたりのファイル数、平均MB/秒、速度低下がすぐに始まるのか、それともキャッシュがいっぱいになってから始まるのかを記録します。どちらのテストセットも遅い場合は、まずネットワークまたはストレージ経路全般を調べます。小さなファイルのセットだけ極端に遅い場合は、メタデータに焦点を当てたテストに進みます。

ネットワーク容量とファイルごとの処理を切り分ける

同じクライアントとNASの間でメモリ間ネットワークテストを実施し、大容量ファイルのSMB転送結果と比較します。ネットワークテストが良好で、大容量ファイルのコピーが速ければ、小さなファイルのワークロードでは回線を使い切れなくても、回線自体にはデータを転送する能力があるとわかります。

小さなファイルをコピーすると、要求と応答が何度も繰り返される処理になります。Eclectic Lightは、転送されるデータが少量でもSMBメタデータ処理の多いバックアップに予想外に時間がかかることを記録しています。

その結果を受けて、まずMTU、デュプレックス、リンクアグリゲーションを変更しないでください。1秒あたりのファイル数と負荷時の遅延を記録し、繰り返し発生する処理がソース、NASの転送先、クライアント側の検査のどこで待たされているかを次に確認してください。

ソースと転送先のメタデータ遅延を個別にテストする

ソースからクライアント上の別のローカルフォルダーに小さなファイル群をコピーし、同じファイル群をNAS上でローカルに作成または展開します。この2つのテストでは、SMBを介さずにソースの読み取りとNASでの作成を個別に切り分けられます。

Unraidの実体験に基づく議論では、大容量ファイルの転送中には見えなかったファイルごとの処理の遅さが計測されました。重要な指標は、ネットワークを介する前から転送先でのローカル作成がすでに遅いかどうかです。

クライアント上のローカルコピーが遅い場合は、ソースディスク、ファイルシステム、暗号化、ファイル配置を調べてください。NAS上でのローカル作成が遅い場合は、SMBを調整する前に、転送先のプール、キャッシュ層、パリティ処理、空き領域の断片化、メタデータデバイス、同期書き込みの動作を調べてください。

両方のエンドポイントでセキュリティスキャンとインデックス作成を測定する

ウイルス対策、エンドポイント保護、サムネイル生成、コンテンツのインデックス作成、同期監視、メディアスキャナーは、新しいファイルを1つずつ検査することがあります。ファイルを短時間に数千個作成するワークロードでは、オブジェクトごとにかかる固定コストが支配的になることがあります。

専用のテストフォルダーだけを対象に、リアルタイムスキャンとインデックス作成を一時的に除外して、管理されたテストを1回実行し、その後すぐに保護を元に戻してください。目的はセキュリティを無効のままにすることではなく、ファイルごとの検査によって速度が低下しているかを特定することです。

1秒あたりのファイル数が急増する場合は、信頼できるバックアップ用ステージングデータまたは生成されたキャッシュデータだけを対象に、より安全な長期除外を設定するか、転送後にスキャンを実行するようスケジュールしてください。結果に変化がない場合は、元の設定に戻し、理由の分からない例外を増やすのではなく、コピー・ツールの動作を調べてください。

データセットを変更せずにコピー ツールと同時実行数を比較する

File Explorer、Finder、Robocopy、rsync、バックアップクライアント、アーカイブツールでは、キューの深さ、メタデータ呼び出し、再試行ルール、並列処理が異なる場合があります。無関係なワークロード同士ではなく、同じソースツリーと宛先を使って2つのツールを比較してください。

Resilioの大量ファイルのスキャンに関する解説は、変更されたコンテンツがほとんどなくても、ジョブがメタデータ処理に制約される場合がある理由を示しています。スレッドを増やせばレイテンシの一部を隠せますが、同時に大量の作成処理を発生させ、NASに過剰な負荷をかける可能性もあります。

同時実行数は一度に1段階ずつ増やし、ファイル/秒の改善が止まる、レイテンシが急上昇する、またはNASで書き込みがキューに入り始めたら止めてください。ツールで設定できる最大値ではなく、実際のワークロードで安定して改善する設定を使ってください。

結果のパターンから最小限の修正を選ぶ

診断では、ネットワーク容量、ソースの読み取り、NASでの作成、エンドポイントのスキャン、SMBのリクエスト動作、コピー ツールのうち、支配的な段階を1つ特定してください。考えられる調整をすべて1つの実験にまとめると、速度の変化から原因を特定できなくなります。

ZimaSpaceによるファイル数がNASの処理量を増やす仕組みの解説は、このワークロードではMB/sよりもファイル/秒が重要になる場合がある根本的な理由を示しています。

同じ少数ファイルのセットで複数回実行して改善し、大容量ファイルの速度、アクセス権、復元動作、NASの応答性を損なわない場合にのみ、修正を採用してください。個別の復元が不要な場合は、不変の小さなファイルをアーカイブにまとめることでオブジェクトのオーバーヘッドを減らせますが、これはワークフロー上の判断であり、SMBをあらゆる状況で修復する万能策ではありません。

サポートとヒント

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.