重複排除はどのようにしてホームNASでRAMをストレージスペースと交換するのですか？

重複排除は繰り返しデータのコピーを1つだけ保存することでホームNASの容量を節約しますが、RAMを他のすべてのサービスと競合する検索可能なインデックスが必要です。

トレードオフは、ディスク1テラバイトあたりの固定されたギガバイト数のメモリではありません。ブロックサイズ、ユニークデータの量、インデックスエントリのサイズ、重複排除の範囲、キャッシュの動作によって変わります。繰り返しのバックアップで満たされたプールはコストを正当化できますが、ユニークなファイルで満たされたメディアアーカイブはほとんど節約せずに大きなインデックスを構築することがあります。

RAMのコストは既存のブロックを見つけることから来ます

ブロックレベルの重複排除は、受信データを単位に分割し、各単位のフィンガープリントを計算し、そのフィンガープリントが既に存在するかをチェックします。新しいブロックは書き込まれ、インデックス化されます。一致するブロックは保存されたコピーへの参照に置き換えられます。ブロックフィンガープリント重複排除の元の説明は、インデックスが各チェックサムを保存場所と参照カウントにマッピングしなければならないことを示しています。

RAMが重要なのは、この検索が書き込みパスで行われるためです。頻繁に使用されるフィンガープリントエントリをメモリに保持することで、NASはドライブを待たずに「このブロックを保存したか？」と答えることができます。ファイルレベルのシステムはより粗い記録と少ないメタデータを使用できますが、ブロックレベルのシステムは多くのインデックスエントリのコストを負って変更されたファイル内の重複を見つけます。

同じ仕組みはより単純なバックアップシステムにも見られます：ファイルにフィンガープリントが付けられ、一致が認識され、別の物理的なコピーが回避されます。実用的なファイルフィンガープリントの例がその違いを明確に示しています。容量の増加は共有データから生じ、RAMのコストはその共有を迅速に見つけるために十分なフィンガープリントを記憶することから来ます。

ユニークなブロック数は、生のプールサイズよりも重要です

重複排除インデックスは主に記述すべきユニークチャンクの数に応じて増加し、NASの公称容量だけで増えるわけではありません。小さなブロックは部分的に変更されたファイル内の重複を発見できますが、同じ量のユニークデータに対してより多くの指紋を生成します。大きなブロックはインデックスサイズを減らしますが、一つの変更領域がより大きな単位をユニークと見なさせることがあります。

ワークロードの構成がそれらのエントリが意味のある容量節約をもたらすかを決定します。バックアップ履歴やクローンされたシステムイメージは大きな領域を繰り返すことが多い一方で、写真、ビデオ、アーカイブ、暗号化データは同一ブロックが少ない傾向があります。バックアップ重複排除の要因の詳細な説明は、保持期間、変更率、データタイプ、重複排除の範囲が達成可能な比率にどのように影響するかを示しています。

スナップショットはこの比較で特別な注意が必要です。コピーオンライトファイルシステムはすでにスナップショット間で変更されていないブロックを共有している場合があり、2つのスナップショットビューの論理的な類似性が必ずしも重複排除で削減可能な追加の物理コピーを意味するわけではありません。容量計画にはファイル数だけでなく、測定された論理データと物理データを使用すべきです。

インライン重複排除とポストプロセス重複排除は異なるタイミングでコストが発生します

インライン重複排除は書き込み完了前に指紋とデータをチェックします。これにより重複ブロックの書き込みを完全に回避し、空き容量を即座に保護しますが、ハッシュ計算とインデックス検索が直接フォアグラウンドのレイテンシに影響します。そのため、バックアップ、VM書き込み、同時クライアント活動時にはRAMの局所性が特に重要です。

後処理型重複排除はまずデータを書き込み、その後スキャンします。初期の書き込みパスは単純ですが、NASは完全な受信データセットの一時的な容量を必要とし、その後バックグラウンド処理にCPU、メモリ、ディスク帯域を費やします。インラインと後処理の重複排除の比較は、一方の方法が即時のスペース効率を重視し、もう一方が前景の書き込み速度を維持できる理由を説明しています。

どちらのタイミングモデルもインデックスを除去しません。システムがそれを構築、照会、更新するタイミングを変えるだけです。使用頻度の低いアーカイブ対象はバックグラウンドスキャンの時間を持てますが、常時稼働のアプリケーションプールはそのスキャンを遅延した干渉として感じることがあります。したがってトレードオフは容量対RAMとスケジューリングの余裕であり、RAMだけではありません。

インデックスがRAMを離れると、書き込みはランダムなルックアップになります

重複排除テーブルはストレージ上に存在し、そのアクティブなエントリはメモリにキャッシュされることがあります。作業インデックスがそのキャッシュに収まらなくなると性能が変化します。見逃されたフィンガープリントのルックアップは、NASが新しいブロックを書き込むか既存の参照を増やすかを判断する前に、小さなランダムなメタデータ読み取りを必要とする場合があります。

これはランダムI/Oが連続転送よりはるかに遅いハードドライブには適していません。現在の重複排除テーブルのガイダンスでは、テーブルはオンディスクのハッシュ構造であり、そのキャッシュされたエントリがメモリを消費し、ミスが書き込みをランダムなディスク読み取りに変える可能性があると説明しています。また、正確なメモリ需要はユニークブロック数とエントリサイズから推定すべきであり、テラバイトあたりのRAMという普遍的なスローガンに頼るべきではない理由も示しています。

より多くのRAMはルックアップの高速化の可能性を高めますが、他の部分での低遅延を保証するものではありません。重複排除されたレイアウトは、復元や読み戻し時に使用される参照を散らすこともあります。重複排除の読み取り断片化に関する研究は、システムが大幅な容量節約を実現しつつも、復元性能を維持するためにレイアウトやキャッシュ戦略が必要な理由を示しています。

重複データがインデックスのコストを上回る場合にのみトレードオフは成立します。

有用な比較は、インストールされたRAMに対する生のNASサイズではありません。回避された物理バイトと、それを回避するために必要なメモリ、CPU時間、メタデータI/O、読み取りレイアウトコストの比較です。論理対物理の重複排除比率が高ければ大きなインデックスを正当化できますが、1:1に近い比率はほぼすべてのブロックがユニークであることを証明するためにNASがコストを払っていることを意味します。

重複排除を既に存在する容量として扱う前に、予想されるワークロードを測定してください。役立つ観察項目には、ユニークブロック数、平均ブロックサイズ、重複排除比率、ディスク上のインデックスサイズ、キャッシュされたインデックスサイズ、キャッシュヒット率、CPU使用率、書き込み遅延、復元スループットがあります。合成的な繰り返しは節約効果を過大評価するため、ゼロ埋めファイルではなく代表的なバックアップやイメージでテストを実行してください。

最も安全な解釈は条件付きです：重複排除は意図的に繰り返されるデータセットに対して最も効果的であり、混在するホームストレージ全体に対しては最も弱い機能です。インデックスがサービス可能な状態を保ち、保存データに十分な繰り返し可能なブロックが含まれている場合にのみ、RAMを実用的な容量に変えることができます。

よくある質問

RAMを増やすと重複排除比率は上がりますか？

直接的には違います。比率は重複コンテンツ、重複排除の範囲、チャンクの境界から決まります。より多くのRAMはフィンガープリントインデックスの大部分をキャッシュでき、検索速度を向上させますが、存在しない重複ブロックを作り出すことはできません。

重複排除は圧縮と同じですか？

いいえ。重複排除は繰り返されるチャンクを1つの保存コピーへの参照に置き換えます。圧縮はチャンク内のパターンをより少ないバイトでエンコードします。両者は補完し合うことがありますが、処理順序、メタデータ、CPUコスト、最適なワークロードは異なります。

ホームメディアライブラリは通常、重複排除の恩恵を受けますか？

通常、バックアップセットやクローンされたシステムイメージよりも少ないです。ほとんどのエンコードされた写真、音楽、ビデオファイルはブロックレベルでユニークであるため、インデックスは増加しても容量節約は小さいままです。完全に重複するファイルは恩恵を受けますが、カテゴリーラベルよりも実際の測定結果が重要です。