数百万個の小さなファイルにはSATA SSDプールとHDDミラーのどちらが適しているか

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

SATA SSD Pool vs HDD Mirrors for Millions of Small Files - Zima Store Online

SATA SSDプールは、数百万個の小さなファイルを扱う作業層として、通常はより適しています。ディレクトリ走査、サムネイル検索、パッケージ展開、データベースに近い読み取りでは、レイテンシーの影響が大きいためです。一方、コレクションの大半がコールドデータで、容量が予算の大部分を占め、ユーザーがインデックス作成の遅さを許容できる場合は、HDDミラーのほうがコストパフォーマンスに優れています。

これは単純な「SSDのほうが速い」という判断ではありません。有用な比較では、ファイル数、データセットのサイズ、ファイルシステム、ネットワーク、RAM、バックアップポリシーを一定に保ちます。そのうえで、ワークロードが分散したメタデータ操作の待機に多くの時間を費やしているのか、それとも大きなシーケンシャルブロックの転送に時間を費やしているのかを確認します。

実際のワークロードを基準に比較する

ファイル数、ファイルサイズの中央値、アクティブユーザー数、そして遅いと感じる操作を確認します。たまに開く100万件のアーカイブ済みドキュメントと、毎日スキャン、名前変更、重複排除、同期を行う100万枚のサムネイルでは、動作が異なります。

小さなファイルを扱う処理では、1回のユーザー操作が多数のファイルシステム検索や短い読み取りを引き起こすため、レイテンシーの影響が増幅されます。サムネイルとデータベースをSSDに移行することについてのコミュニティでの議論は、実用上の傾向を示しています。元のメディアをHDDに置いたままでも、頻繁に使うメタデータはSSDの恩恵を受けられます。

大容量のシーケンシャルコピー中に1GbEリンクが現在の制限要因になっているなら、どちらのプールでもネットワーク帯域を使い切る可能性があります。その場合、表面的なスループットのためにSSDを購入するのではなく、小さなファイルの問題を表すディレクトリ一覧表示、検索、スキャン、復元のタスクをベンチマークしてください。

ピーク転送速度ではなく、判断軸を比較する

判断軸	SATA SSDプール	HDDミラー
ランダムなメタデータのレイテンシー	一貫して低く、並列検索に強い	同時実行数が増えるとシークに制約される
1ドルあたりの容量	数TB規模ではコストが高い	通常、大容量を確保する場合のコストパフォーマンスに優れる
騒音と振動	機械的なシーク音がない	スキャン中にシーク音と振動が発生する
書き込み耐久性	ワークロードとドライブの耐久性を確認する必要がある	フラッシュの耐久性定格はないが、機械的な摩耗は残る
障害復旧	再構築は速いが、同一モデル間の共通障害やファームウェアも依然として重要	ドライブ容量が増えるほど、再構築中のリスクにさらされる時間が長くなる

SSDの優位性が最も現れるのは、単純な平均MB/秒ではなく、メタデータ処理を同時実行した際のp95応答時間です。大半のバイトが非アクティブで、同等のSSD容量を購入するとバックアップ予算を圧迫する場合は、HDDミラーが有利です。

どちらのミラーもバックアップではありません。削除、暗号化、アプリケーションのミス、ファイルシステムエラーは両方のメンバーに影響する可能性があるため、プールの外部にバージョン管理された復旧手段を用意してください。

分割階層設計が両極端より優れる場合

3つ目の選択肢が有効なこともあります。インデックス、サムネイル、パッケージキャッシュ、アクティブなプロジェクト、データベースをミラーリングしたSSDに置き、コールドなオリジナルや変更不能なアーカイブをHDDミラーに保存します。これにより、レイテンシーに敏感な作業セットを、購入可能な規模に抑えられます。

境界は明確に定義する必要があります。アプリケーションは、どのデータを再生成できるのか、どのデータをバックアップすべきか、HDD階層が利用できない場合にどうなるのかを把握していなければなりません。そうでなければ、「キャッシュ」がいつの間にか重要なデータの唯一のコピーになってしまいます。

ネットワークに接続するアプリケーションでは、ZimaSpaceの記事Immich向けの信頼性の高いネットワーク共有が、データベースの配置、マウントの安定性、メディアの配置を別々の判断として扱うべき理由を示しています。

-15% OFF

ZimaBoard 2 - あなたの大きなアイデアのためのミニホームサーバー

Single board computer zimaboard2

ユーザー体験が変わるしきい値で選ぶ

RAMとネットワークの制限を除外しても、繰り返し行うスキャン、フォルダーの閲覧、ソース管理操作、写真のタイムライン表示、バックアップのインデックス作成が遅いままなら、SATA SSDプールを選んでください。適切な耐久性を備えたドライブを使用し、ガベージコレクションとスナップショットのために空き容量を確保します。

データセットの大半が大きなファイルまたはコールドデータで、容量の拡張が主な制約であり、メタデータ処理を業務時間外に実行できるなら、HDDミラーを選んでください。RAMを増設するとキャッシュ性能は向上しますが、キャッシュにないデータへのシークや、初回の全面クロールがなくなるわけではありません。

測定したホットデータのセットがアーカイブよりはるかに小さいなら、分割階層を選んでください。ストレージメディアではなくネットワーク、アプリケーションのデータベース、バックアップ設計が結果を左右しているなら、比較を中止して、まずそれらのコンポーネントを改善してください。