プライベートベクトルデータベースから完全に削除できる機能とは？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

What Features Enable Complete Deletion From a Private Vector Database?

完全なベクトル削除には、通常の類似性クエリで識別子を隠すだけでなく、ソースから到達可能な派生物をすべて削除する必要があります。

非公開PDFを削除しても、ドキュメントの行が削除されるだけで、埋め込みがHNSWファイル、キャッシュ、レプリカ、スナップショット、評価セット内に残ることがあります。信頼できるシステムは、まずソースをすべてのチャンクと派生アーティファクトに対応付けます。次に、取得を即座にブロックし、物理構造を書き換え、キャッシュを無効化し、バックアップと学習済み状態に対処し、機密コンテンツ自体を保持せずに検証可能な完了記録を残します。

リネージュによってソースが作成したすべてのオブジェクトを特定する

取り込み時に安定したソースIDとバージョンIDを割り当て、チャンクID、埋め込みID、メタデータ行、字句エントリ、サムネイル、要約、キャッシュキー、評価例、レプリカの場所を記録します。削除はファイル名検索ではなく、このグラフを起点に行います。

復元可能な削除済みベクトルに関する研究では、ソフト削除された埋め込みがHNSWインデックスファイルから物理的に復元可能な状態で残ることが示され、対策として暗号化キーのローテーションが提案されています。この発見は、APIレベルで存在しないことが消去と同義ではない理由を示しています。

共有チャンクや重複排除されたBlobには、参照カウントまたは所有権エッジが必要です。あるユーザーのソースを削除しても、正当に共有されているオブジェクトまで消してはなりません。一方で、削除されたソースの権限、出所情報、取得可能な関連付けは削除する必要があります。この違いは、後の家庭内テストでも確認できます。

トゥームストーンによって物理的な書き換え前に即時除外する

削除トランザクションでは、派生レコードをすべて非アクティブとしてマークし、インデックス世代を進めます。これにより、新しいクエリはベクトル、字句、メタデータ、再ランキングの各段階で一貫して対象を除外できます。キャッシュキーには世代または削除状態を含めます。

ストリーミングANN削除は、グラフベースの近似最近傍インデックスにおけるストリーミング追加、更新、削除をサポートします。その設計は、動的検索には静的インデックスを一度構築するだけでは不十分で、明示的なメンテナンスが必要であることを示しています。自動化を進める前に、中間結果を検査可能な状態に保つ必要があります。

トゥームストーンはオンライン経路を保護しますが、コンパクションによって影響を受けたセグメントまたはインデックス全体が再構築されるまで、バイト列は残ります。古いファイル、一時ワークスペース、スナップショットを回収する前に、新しい世代を検証してアトミックに公開する必要があります。

キャッシュ、バックアップ、学習済み状態が厳格な境界を定める

削除ジョブでは、結果キャッシュ、プロンプトキャッシュ、レプリカ、検索エクスポート、分析テーブル、コンテンツを複製したログ、ローカルの一時ファイルを消去する必要があります。バックアップポリシーでは、不変メディアを直ちに変更するのではなく、暗号化されたスナップショットを後から期限切れにする場合があります。この境界は、現実的な運用条件の下で別途測定すべきです。

機械アンラーニングの限界では、完全な再学習を行わずに学習データの影響を除去することとして機械アンラーニングを定式化し、近似手法の実用上の限界を示しています。削除されたベクトルコンテンツが学習済み再ランキングモデルやアダプターにも取り込まれている場合、これは重要になります。

失敗の境界は、システムが列挙または書き換えできないアーティファクトからの削除を約束することにあります。署名付き削除記録によって、どの世代とキーが削除されたかは証明できますが、文書化されていないエクスポートが消えたことまでは証明できません。未知の派生物は、黙って成功扱いするのではなく、明示的なコンプライアンス違反として残す必要があります。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

削除復旧チャレンジを実施する

一意のカナリアフレーズと画像をテスト用ソースに取り込み、削除を要求する前に、すべてのチャンク、ベクトル、メタデータ行、キャッシュエントリ、レプリカ、バックアップ世代、要約、ログのコピー、学習データセット内の関連付けを特定します。複数のソースが限られたコンテキストを奪い合うとき、実際の影響が現れます。

ベクトルトゥームストーンの境界を適用し、インデックスをコンパクションし、対象となるバックアップを期限切れにするか暗号学的に消去したうえで、ベクトル、字句、メタデータ、キャッシュ、直接ファイル、復元したスナップショットの各経路からクエリを実行します。カナリアが生のインデックスストレージに残っていないか確認します。

現行システムがソースを取得または再構築できず、削除記録に完了済みおよび保留中のすべてのアーティファクト種別が記載されている場合にのみ合格とします。バックアップを残す必要がある場合は、そのキーを分離し、正確な期限または法的保全の境界を公開します。