数百万の小さなファイルを扱う場合、SATA SSDプールとHDDアレイではどちらが応答速度に優れていますか?

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

NASでディレクトリを繰り返し開いたり、メタデータを更新したり、ライブラリをインデックス化したり、プロジェクトのフォルダ階層を同期したり、小さなファイルを使う多くのユーザーにデータを提供したりする場合は、通常、SATA SSDプールが適しています。一方、それらのファイルに頻繁にアクセスせず、主に保管するだけで、データセットが非常に大きく、即時応答性より容量あたりのコストが重要な場合は、通常、HDDアレイのほうがお得です。

重要なのは、単に「SSDはHDDより速い」ということではありません。小さなファイルを扱うストレージでは、レイテンシ、メタデータ、キューの深さ、ディレクトリの検索、ファイルシステムの動作が性能を左右します。大きなシーケンシャルファイルならハードドライブでもスムーズにストリーミングできますが、数十万個の小さなファイルが入ったフォルダは、高速なネットワークを使っていても遅く感じることがあります。適切なプールを選ぶ際に重視すべきなのは、保管するテラバイト数だけでなく、NASがそれらのファイルをどれほど頻繁に検索・更新するかです。

トレードオフの要点:低レイテンシか、手頃な容量か?

SATA SSDプールもHDDアレイも、冗長性、スナップショット、共有フォルダ、複数ユーザーのアクセスに対応できます。異なるのは、データの転送が始まる前に各ドライブが行う処理です。

HDDはプラッターを回転させ、要求された場所に機械式ヘッドを移動させる必要があります。大容量ファイルを扱う場合、隣接するブロックを読み続けられるため、この遅延が発生する頻度は比較的低くなります。一方、小さなファイルを扱う場合、システムはファイルデータ、ディレクトリエントリ、アクセス権、タイムスタンプ、チェックサム、インデックスなどのメタデータの間を何度も移動することがあります。各転送のサイズよりも、処理回数のほうが重要になります。

SATA SSDには、機械的なシーク動作がありません。NVMeに比べてSATAはシーケンシャル転送のピーク速度に制限がありますが、それでもSATA SSDはハードドライブよりはるかに多くの小さなランダム処理を実行できます。Samsungによると、870 EVOシリーズは4KランダムIOPSが数万に達します。これが、インターフェースが「SATAにすぎない」にもかかわらず、メタデータを多用する作業では回転ディスクより格段に応答性が高く感じられる理由です。シーケンシャル速度、ランダムIOPS、消費電力、TBWの違いについては、SATA SSDのランダムI/Oと耐久性に関する公式仕様をご覧ください。

HDDアレイは並列処理でパフォーマンスを高めます。ミラー、RAIDZのvdev、または複数のストライプ化ミラーを使えば、1台のハードドライブより多くの処理を実行できます。RAMキャッシュによって、繰り返し読み込むデータを大幅に高速化することもできます。ただし、ディスクを追加しても機械的なレイテンシはなくならず、パリティ構成では小さなランダム書き込みの処理が増える場合があります。

判断基準 SATA SSDプール HDDアレイ
小さなランダム読み込み 優れた性能と低いアクセスレイテンシ ディスク数やキャッシュの増加で改善しますが、シーク速度がボトルネックになります
小さなランダム書き込み 応答性に優れますが、SSDの耐久性とコントローラーの動作に左右されます パリティ、断片化、または他のタスクとの競合により、大幅に低速化することがあります
使用可能なTBあたりのコスト 高い 低い
騒音と振動 ドライブのシーク音や回転音がありません 動作音、シーク音、筐体の振動が発生する場合があります
大容量の低頻度アクセス用アーカイブ 高速ですが、高価になりがち 通常はこちらのほうがコスト面で適しています
アプリ、データベース、インデックス 通常はこちらがより適した選択肢 可能ですが、I/Oが同時に発生すると応答性が低下することがあります

小さなファイルにはSATA SSDプールが適している場合

SATA SSDプールは、小さなファイルを頻繁に扱う場合に最適です。たとえば、ソースコードリポジトリ、同期されたオフィスフォルダー、メールアーカイブ、写真のサムネイル、アプリケーションアセット、Webルート、文書管理システム、コンテナボリューム、パッケージリポジトリ、多数のサイドカーファイルを含むデータセットなどです。

この利点は、一般的なファイルコピーとは異なる処理でまず現れます。ディレクトリを開く、フォルダーサイズを計算する、ファイル名を検索する、権限を確認する、変更をスキャンする、サムネイルを生成する、重複を排除する、増分バックアップを実行する、といった処理では、メタデータや分散したブロックにアクセスすることがあります。ストレージのレイテンシが低いほど、こうした処理の間の待ち時間が短くなります。

SATA SSDプールを使うと、複数ユーザーの同時アクセスもより安定して感じられます。1人のユーザーが大きなファイルをコピーするのは、単純なシーケンシャル処理です。一方、10人のユーザーが同時に小さなドキュメントを開き、名前を変更し、保存し、同期すると、互いに関連のない処理がキューに並びます。SSDはリクエストごとにヘッドを物理的に移動させる必要がないため、こうした混在した処理をよりスムーズにこなせます。

ネットワークが1GbEまたは2.5GbEの場合、SATA SSDは特に理にかなっています。シーケンシャル速度はすでにこれらの接続の実用スループットを上回り得る一方、ランダムI/Oはファイル閲覧やアプリケーションの処理に役立ちます。ネットワークが上限となっている場合、NVMe並みのシーケンシャル速度に費用をかけても、リモートでのファイルコピー速度は変わらない可能性があります。

制限となるのは容量あたりのコストです。数十テラバイトを保存できる冗長化SSDプールは、HDDアレイよりはるかに高価になることがあります。また、SSDには書き込み耐久性の上限があります。データベース、ログ、一時ファイル、スナップショットを頻繁に書き換える小容量ファイルのデータセットでは、あらゆるコンシューマー向けSSDが継続的な高負荷の書き込みに適していると考えるのではなく、TBWまたはDWPDを基準に容量を決める必要があります。

SSDのモデルと冗長化レベルは、ドライブごとではなくプールの設計として選びましょう。容量と性能を揃えると、交換が簡単になります。空き容量を確保し、SMARTと摩耗の指標を監視して、独立したバックアップを維持してください。フラッシュストレージは機械的な遅延をなくしますが、コントローラー、ファームウェア、NAND、停電、運用ミスのリスクまでなくすわけではありません。

HDDアレイが依然として適している場合

小さなファイルが多数あっても、ほとんどアクセスされないなら、HDDアレイは依然として魅力的です。法律関係のアーカイブ、歴史研究資料、古いプロジェクトのフォルダ、完成済みの写真書き出しデータ、ソフトウェアミラー、長期バックアップには、常にインタラクティブなアクセスが必要なくても、数百万ものファイルが含まれていることがあります。

こうしたワークロードでは、ユーザーがデータセットを列挙または更新する頻度が重要です。NASがファイルを書き込み、検証した後、再び開くことがほとんどないなら、全容量をSSDにするために費用をかけても、日常的な価値はあまり得られないかもしれません。同じ予算でより多くのデータを保存できるHDDなら、冗長化やバックアップに回す費用を増やせます。

HDDアレイもメモリの恩恵を受けます。よく使うメタデータや小さなファイルは、初回アクセス後にRAMから提供される場合があります。そのため、十分なメモリを備えたシステムは、コールドスタート時のテストから想像するより、繰り返し閲覧する際にずっと快適に感じられることがあります。ただし、作業セットがキャッシュより大きい場合や、スクラブ、バックアップ、インデクサー、ユーザーの処理が同じディスクを取り合う場合は、この効果は薄れます。

アレイの構成は重要です。複数のミラードvdevは、一般に幅の広いパリティvdevを1つ使う場合より独立したI/O経路を多く確保できますが、使用可能容量は減ります。パリティは容量優先のストレージに適していますが、小さな同期書き込みやメタデータ中心の処理では、そのオーバーヘッドが目立つことがあります。ファイル数、読み書きの比率、キュー深度、必要な耐障害性が分からなければ、万人に最適な「RAID」はありません。

ハイブリッドZFS設計なら、プール全体をフラッシュストレージにすることなく、差を縮められます。OpenZFSのドキュメントによると、冗長化されたspecial vdevにはメタデータを格納でき、オプションで小さなファイルブロックも格納できます。これにより、ディレクトリの走査や選択した小さなブロックをSSDに置き、大容量データはHDDに残せます。special vdevは使い捨てのキャッシュではありません。これを失うとプール全体を失う可能性があるため、通常のvdevと同等以上に保護する必要があります。

どのデータをフラッシュストレージに、どのデータをディスクに保存するかを検討している方には、ZimaSpaceのNASストレージを検討する際のHDDとSSDの比較ガイドで、容量とレイテンシを幅広く比較できます。

実際の小さなファイルのワークロードでは、どのように比較できるか?

最も役立つテストは、単一のシーケンシャルベンチマークではありません。ユーザーが実際に行う操作をテストしましょう。実際の使い方を再現したフォルダーツリーを作成し、キャッシュがない状態とある状態でのディレクトリ一覧表示、ファイル作成、名前変更、メタデータ検索、サムネイル生成、増分バックアップ、復元、ウイルススキャン、アプリの起動を測定します。

クライアント側からもテストしましょう。高速なディスクプールでも、SMB、NFS、権限、暗号化、クライアントのウイルス対策によるファイルごとの通信往復をすべてなくせるわけではありません。ZimaSpaceのNASとの直接転送と小さなファイルのボトルネックに関するガイドでは、ネットワークリンクに問題がなくても、小さなファイルが多数入ったフォルダーの転送速度が、大きなテストファイル1つの転送速度を大きく下回る理由を解説しています。

保護レベルを揃えて比較しましょう。単体のSATA SSDと4台構成の冗長HDDアレイは、購入費用も故障リスクも異なるため、そのまま比較できません。公平に比較するには、実効容量、冗長性の目標、バックアップ範囲、ネットワーク経路を揃えます。

ワークロード より適した標準構成 理由
アクティブなコードリポジトリとパッケージキャッシュ SATA SSDプール 頻繁なメタデータ処理と小規模なランダム操作
写真アプリのデータベースとサムネイル SATA SSDプールまたはハイブリッド インタラクティブな閲覧ではレイテンシが重要
数百万件のアーカイブ文書 HDDアレイ アクセス頻度が低ければ容量が最優先
増分バックアップ用リポジトリ 条件による SSDはメタデータに有効。保持する容量が非常に大きい場合はHDDが有利
アーカイブとアクティブなアプリの混在 ハイブリッド 容量層とアクティブ層を分離

ドライブベイとNVMe拡張の両方を備えたプラットフォームなら、より簡単に分離できます。ZimaCube 2では、複数ドライブのHDD容量と、アプリ、メタデータ、インデックス、アクティブなデータセット向けの高速なフラッシュストレージを組み合わせられます。最適な構成は、冗長性、バックアップ、ネットワーク速度、実測したファイルの動作によって異なります。

どのストレージ構成を選ぶべきか?

SATA SSDプールを選ぶ場合

  • ユーザーが小さなファイルを毎日操作する。
  • ディレクトリの閲覧、インデックス作成、検索、サムネイル表示、同期の遅延が主な不満である。
  • 必要な実効容量が、冗長化したSSDとバックアップで保護できる程度に抑えられている。
  • NASでデータベース、コンテナ、VM、その他ランダムI/O負荷の高いサービスを実行している。
  • 机の近くや居住空間で静かに動作することが重要である。

HDDアレイを選ぶ場合

  • データセットが大きく、大部分が低温データである。
  • 予算の大半を容量、冗長性、バックアップに充てる。
  • インタラクティブなディレクトリスキャンが継続的ではなく、たまに発生する。
  • 十分なRAMを用意でき、キャッシュが空の状態では動作が遅くなることを許容できる。
  • ドライブの騒音や振動が気にならない場所にNASを設置できる。

ハイブリッド構成を選ぶ場合

  • 同じシステムに大規模なアーカイブを保存し、アクティブなアプリケーションを実行している。
  • データベース、インデックス、サムネイル、メタデータ、頻繁に使うファイルをフラッシュストレージに配置できる。
  • ZFSのspecial vdevには冗長性とバックアップが必要だと理解している。
  • すべての小さなファイル操作を回転ディスクに任せずに、HDDのコスト効率を得たい。

購入時のチェックリスト

  • 総容量だけでなく、ファイル数も見積もってください。
  • 平均ファイルサイズと、1日あたりのファイル作成、更新、削除の頻度を測定してください。
  • 低温のアーカイブ容量とアクティブな作業セットを分けてください。
  • ドライブの公称容量ではなく、冗長性を考慮した後の使用可能容量を比較してください。
  • SSDの耐久性とHDDのワークロード定格を確認してください。
  • キャッシュが空の状態と温まった状態での動作をテストしてください。
  • プールの種類にかかわらず、別途バックアップを取ってください。

よくある質問

小さなファイルではNVMeが常にSATA SSDに勝る?

いいえ。NVMeはキュー深度、帯域幅、IOPSを向上させますが、ワークロードを支配する機械的なレイテンシは、SATA SSDですでに解消できている場合があります。ネットワーク、アプリケーション、CPU、または単一ユーザーのキュー深度がボトルネックなら、SATA SSDとNVMeの差は、どちらかのSSDとHDDの差よりもはるかに小さい可能性があります。

HDDを増やせばSSDプールに匹敵できる?

HDDを増やすと、全体のスループットが向上し、独立したI/O経路が増えます。特にミラードvdevで効果があります。ただし、シークレイテンシは解消されません。十分な規模のアレイなら高負荷のワークロードを処理できますが、通常は中程度の容量のSSDプールよりも、ドライブ、電力、冷却、設置スペース、調整が多く必要です。

 SSDキャッシュだけで十分?

場合によっては有効ですが、キャッシュが役立つのは、繰り返しアクセスされ、キャッシュに保持されるデータだけです。専用のSSDデータセット、SSDアプリケーションボリューム、または適切に設計されたspecial vdevなら、より予測しやすくデータを配置できます。根本的にメタデータ中心のワークロードを、キャッシュで万能に解決できると考えてはいけません。

最後に

何百万もの小さなファイルがアクティブな作業セットなら、SATA SSDプールを選びましょう。ファイルが主に容量の問題なら、HDDアレイを選びましょう。アーカイブにはHDDのコスト効率を、ユーザーやアプリケーションが日常的にアクセスするデータにはフラッシュの低レイテンシを求めるなら、ハイブリッドストレージを選びましょう。

製品比較

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.