すべてのファイルを再処理せずに差分インデックスを作成できるコンポーネントとは？

増分再インデックスは、パイプラインが変更されたコンテンツを特定し、互換性のあるアーティファクトを再利用し、古いバージョンと新しいバージョンを混同せずに検索可能な状態を更新できる場合に機能します。

NASライブラリには10万個のファイルがあっても、一晩で変更されるドキュメントは3つだけかもしれません。すべてのバイトを読み取り、OCRを再実行し、すべての埋め込みを作り直すのは、ストレージ帯域幅と計算資源の無駄です。信頼性の高い増分処理経路では、変更の捕捉に加えて、安定したドキュメントID、コンテンツフィンガープリント、依存関係を考慮したキャッシュ、削除記録、新しいインデックス世代を公開するアトミックな方法を組み合わせます。

変更の捕捉で候補集合を絞り込む

ファイルシステムウォッチャー、ジャーナル、同期マニフェスト、または定期的なメタデータスキャンによって、作成、変更、移動、削除された可能性のあるパスを特定します。これらのシグナルは証拠ではなく候補です。タイムスタンプが変わってもコンテンツが変わらない場合があり、オフラインのNASではウォッチャーの再起動前に発生したライブイベントを見逃す可能性があります。

増分転置インデックス作成に関する研究では、既存のすべてのポスティングリストを再構築せずに、転置インデックスへドキュメントを追加する方法が示されています。同じ原則はホームRAGにも適用できます。差分を分離し、影響を受けるインデックス構造を更新し、変更されていない不変セグメントを保持します。

定期的な照合スキャンによって、見逃したイベントによる抜けを埋めます。現在の名前空間と最後にコミットされたマニフェストを比較し、説明できない追加、変更、移動、削除だけを、高コストな解析および埋め込みステージへ送ります。

安定したIDとフィンガープリントで再利用可能な範囲を判断する

パスは場所であって、永続的なIDではありません。ファイル名の変更では、バイト列が新しくなったとみなさずにパスマッピングを更新する必要があります。一方、同じパスでファイルが置き換えられた場合は、新しいコンテンツリビジョンを作成します。安定したソースIDとコンテンツハッシュによって、これらのケースを区別できます。

実用的な依存関係を考慮した処理パイプラインでは、変換結果をキャッシュし、依存関係グラフ内の変更された入力だけを伝播させます。これは、変更時刻だけに頼るのではなく、ソースIDと決定論的なフィンガープリントの両方が必要な理由を示しています。

ファイル全体のハッシュは完全一致する再利用を検出し、ブロックまたはチャンクのハッシュは小さな編集後の処理量を抑えます。キャッシュキーには、パーサー、OCR、チャンク分割、埋め込みモデル、正規化のバージョンも含める必要があります。同一のバイト列でも、異なる設定で処理されたアーティファクトは相互に置き換えられません。

トゥームストーンとアトミックな公開で世代の混在を防ぐ

変更されたチャンクだけが差分ではありません。削除または置き換えられたチャンクにはトゥームストーンが必要です。これにより、現在の検索結果に表示されなくなります。また、すべての置き換えでは、以前のリビジョンへの系譜を保持する必要があります。そうしなければ、増分更新によって古い証拠が蓄積し、整合性のある1つのビューを維持できなくなります。

バージョン管理されたベクトル更新アーキテクチャでは、ストリーミングされる変更に対するバージョン管理されたベクトル更新と時間的検索について説明されています。ライブ更新とコミット済みバージョンを分離することで、インデックスの鮮度と再現性に明示的な世代管理が必要な理由が示されています。この違いは、後の家庭環境でのテストでも確認できます。

障害が発生する境界は、部分的にコミットされた更新です。新しいベクトルが表示される一方で、古い語彙エントリやメタデータフィルターが有効なままになる状態です。差分をステージング世代で構築し、件数と参照を検証した後、1つのマニフェストポインターを切り替えます。これにより、読み取り側には、以前の完全な状態か次の完全な状態のどちらか一方だけが見えるようになります。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

増分更新がクリーンな再構築と一致することを検証する

変更されていないファイル、完全一致する名前変更、メタデータのみの変更、1段落の編集、削除されたファイル、オフライン期間後に復元されたファイルを含むテスト用フィクスチャを作成します。各実行で処理されたバイト、チャンク、埋め込みを記録します。

コンテンツハッシュの再利用で説明されている再利用境界と、増分処理の出力を比較します。増分インデックスとクリーンな再構築の両方にクエリを実行し、アクティブなドキュメントID、チャンクテキスト、検索結果、バージョンメタデータ、削除状態を比較します。

両方のインデックスで同じ現在の証拠が公開され、同時に増分実行で変更されていない変換が回避されている場合にのみ合格とします。クラッシュやウォッチャーイベントの見逃し後に結果が異なる場合は、キャッシュ層をさらに最適化する前に、マニフェストと照合処理を修正します。