新しいコピーが同期された後も、なぜRAGは古いファイルを引用するのですか？

RAGが同期後に古いファイルを引用することがあるのは、ファイルの到着、取り込みの成功、インデックスの有効化、現行バージョンの選択が、それぞれ別の状態遷移だからです。

NASインターフェースには新しいコピーがすぐに表示されても、取得インデックスには以前のバージョンしか含まれていない場合があります。新しいドキュメントの埋め込みが完了した後も、両方のコピーが検索対象として残ることがあり、テキスト、メタデータ、またはベクトルがより近い一致になるため、古いチャンクのほうが上位に表示されることがあります。信頼性の高いシステムには、ファイル名の新しさだけでなく、明示的なバージョン識別とアトミックな有効化が必要です。

同期は取得パイプラインより先に完了する

同期クライアントは、バイトデータとメタデータが宛先に到達すると処理完了と判断します。しかしインデクサーは、変更を検出し、ファイルが安定するまで待ち、解析またはOCRを実行し、分割し、埋め込みを生成し、レコードを書き込み、インデックス世代を公開する必要があります。

インクリメンタルインデックスの鮮度に関する説明では、変更検出、コンテンツ処理、インデックス更新が分けられています。この段階的なモデルにより、ファイルがストレージ上に存在していても取得できない鮮度の差が説明できます。この区別は、後の家庭環境でのテストでも確認できます。

キュー、再試行のバックオフ、ロックされたファイル、未対応形式、または不完全なコピーを防ぐ仕組みによって、この差が長引くことがあります。NASのタイムスタンプとインデックスのコミット時刻を比較すれば、新しいファイル名が存在するかどうかを確認するだけより多くのことが分かります。自動化を進める前に、中間結果を検査できる状態にしておく必要があります。

新しいコピーがインデックス化された後も、両方のバージョンが競合する可能性がある

更新されたファイルに古いファイルを廃止せず新しいドキュメントIDを割り当てると、取得処理では両者が独立した証拠として扱われます。内容が似ているとチャンクはほぼ同一になり、わずかな文言の違いやチャンク境界の違いによって、どちらが先に表示されるかが決まります。

鮮度を考慮した取得のアプローチでは、変化する知識に対する鮮度を考慮した取得が研究されています。その前提は、複数の時間的に有効な回答が共存する場合、関連性だけでは不十分である理由を示しています。この境界は、現実的な運用条件の下で別途測定すべきです。

ファイルシステムの変更時刻は、コピー時に保持または書き換えられることがあり、時計が異なる場合もあり、名前を変更したファイルが同じ系譜を表すこともあるため、バージョン識別子としては脆弱です。安定したドキュメントIDと、単調増加するバージョン番号またはコンテンツの系譜を組み合わせるほうが安全です。

引用の組み立てで古いソースのマッピングが保持されることがある

生成処理では現在のチャンクを使用していても、引用キャッシュ、プレビューサービス、またはソーステーブルが論理IDを古いパスに解決することがあります。逆に、取得結果自体は古くても、表示されるファイル名が現在のものに見える場合があります。

データ来歴マッピングのフレームワークでは、来歴を派生成果物からソース入力や変換へ戻るマッピングとして扱います。この連鎖をRAGに適用すると、古い取得結果と古い引用表示を区別できます。複数のソースが限られたコンテキストを奪い合う場合、この違いが実際の結果として現れます。

失敗の境界は、引用ラベルだけで鮮度を判断することです。引用されたバイトデータ、バージョンID、コンテンツハッシュ、インデックス化時刻、取得されたチャンク、表示されたソースを確認してください。名前を変更した古いファイルと、本当に現在のドキュメントが、分かりやすい同じ名前を共有することがあります。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

管理されたファイル更新でバージョンの有効化をテストする

古いバージョンと新しいバージョンに、区別できる事実を含むドキュメントを作成します。同期完了、ウォッチャーイベント、解析完了、埋め込みの書き込み、アクティブなインデックス世代、廃止バージョンのマーカー、取得結果、引用の解決、ソースプレビューを記録し、更新中も継続的にクエリを実行します。

RAGのドキュメントバージョン管理と実装を比較してください。新しいバージョンはアトミックに有効化され、過去の回答を説明するために必要な系譜を破壊することなく、以前のバージョンは現在のクエリへの参加を停止する必要があります。この依存関係は、最終的なインターフェースでも明示しておくべきです。

有効化後に現行バージョンのフィルターが新しいバイトデータを選択し、取り込み中のクエリが最後に完了したバージョン、または更新中であることを明示する状態のいずれかを返す場合にのみ、合格とします。両方のバージョンが上位に表示されるなら、類似度を調整する前に、識別と廃止の仕組みを修正してください。