大量の埋め込みデータ取り込み時にSSDの書き込み増幅が発生する原因は何ですか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

What Causes SSD Write Amplification During Large Embedding Ingests? - Zima Store Online

大規模な埋め込みの取り込みでは、各論理ベクトルがドライブ内で記録、インデックス化、圧縮、コピー、再書き込みされる可能性があるため、SSDへの書き込みが増幅されます。

ホームサーバーが数十GBのベクトルを取り込んだだけでも、SMARTカウンターではNANDへの書き込み量がはるかに多く報告されることがあります。パイプラインでは、ソースのステージング、埋め込み、先行書き込みログ、メタデータ、グラフエッジ、不変セグメント、圧縮出力、スナップショットが書き込まれる可能性があります。ファイルシステムのコピーオンライトやSSDのガベージコレクションによって、ベクトルデータベースが直接報告しない下位レイヤーの再書き込みも発生します。

耐久性とインデックス構築が論理書き込みを増幅する

耐久性を確保した取り込みでは、ベクトルをWALに追記し、メタデータを更新し、メモリ上のフラッシュ内容をディスクに書き込み、グラフまたは量子化構造を構築することがあります。小さなコミットを繰り返すと、1回の一括トランザクションよりもヘッダー、ジャーナル、fsyncの境界が頻繁に書き込まれます。

物理書き込みと論理書き込みの定義では、増幅率を、書き込まれた物理バイト数を要求された論理バイト数で割った値として表します。ソースドキュメントと最終的なインデックスサイズだけを比較するのではなく、各境界でその比率を測定してください。この違いは、後の家庭環境でのテストでも確認できます。

ホスト書き込みがすでに埋め込みペイロードを大幅に上回っている場合、増幅はアプリケーションまたはデータベースで始まっています。ホスト書き込みが少ないのにNANDへの書き込みが多い場合は、ストレージスタックのさらに下位が原因と考えられます。自動化を進める前に、中間結果を検証可能な状態に保つ必要があります。

不変セグメントと圧縮が既存データを書き換える

書き込みに最適化されたストアでは、新しいソート済みセグメントをフラッシュし、その後、読み取り増幅とトゥームストーンを減らすためにマージします。大規模な取り込みでは、重複する圧縮が発生し、新しいバッチだけでなく古いベクトルやメタデータも書き換えられることがあります。この境界は、現実的な運用条件で個別に測定する必要があります。

圧縮に伴う書き込みコストの分析では、圧縮によって読み取り対象のファイル数を減らす代わりに、追加のバイトが書き換えられる仕組みを説明しています。症状としては、埋め込みの生成が完了した後もバックグラウンドの書き込みが続きます。複数のソースが限られたコンテキストを奪い合うと、この影響が実際に現れます。

小さなフラッシュを頻繁に行うと、より大きく整列されたバッチよりも多くのマージ処理が発生しますが、フラッシュを遅らせるとメモリ使用量と復旧時のリスクが増加します。適切な指標は、圧縮ジョブの数だけではなく、耐久性が確保されたベクトル1件あたりの書き換えバイト数です。

コピーオンライトとフラッシュのガベージコレクションが見えないレイヤーを追加する

ファイルシステムのスナップショットやコピーオンライトは、インデックスの変更中も古いブロックを保持することがあります。SSD内部ではページをその場で上書きできないため、回収前に、一部が古くなった消去ブロックから有効なデータをコピーする場合があります。この依存関係は、最終的なインターフェースでも明示したままにしてください。

フラッシュレベルの書き込み増幅についての詳細な解説では、データベースレベルの書き換えと、フラッシュページおよび消去ブロックの動作を分けて説明しています。空き容量が少なく、オーバープロビジョニングが不十分だと、連続したランダム書き込み中にデバイスレベルの増幅が悪化します。そのため、結果は元の証拠と照合する必要があります。

障害の境界を見誤る原因は、予想されるシーケンシャルなインデックス構築と、有害なNAND増幅を混同することです。ホストの書き込みカウンター、ファイルシステムの割り当て、デバイスのNAND書き込み量を、同じ期間について比較し、SMARTの単位を正しく解釈する必要があります。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

4つのストレージ境界で増幅率を計算する

埋め込みペイロードのバイト数、WALとデータベースのバイト数、一時書き込みとセグメント書き込み、圧縮の読み取りおよび書き込みバイト数、ファイルシステムの割り当てブロック、スナップショットの差分、ホストからSSDへの書き込み量、NANDへの書き込み量、空き容量、TRIM、トランザクションサイズ、フラッシュ回数、取り込み時間を記録します。

埋め込み取り込みによる競合との関係を確認し、一度に1つの変数だけを変えながら、一括コミット、より大きなフラッシュ、スナップショットの一時停止、より多い空き容量で再試行します。ドキュメント、埋め込み、インデックスパラメーター、耐久性の設定は変更しないでください。この違いは、後の家庭環境でのテストでも確認できます。

測定された倍率が最も大きいレイヤーを最適化します。ジャーナリングが支配的ならコミットをバッチ化し、書き換えが支配的なら圧縮を調整し、コピーオンライトが支配的ならスナップショットを管理し、デバイスのガベージコレクションが支配的なら予備容量を確保します。自動化を進める前に、中間結果を検証可能な状態に保つ必要があります。