エンベディングドリフトとは何か、プライベート検索インデックスの再構築が必要になるのはいつか？
埋め込みドリフトは、ベクトルの幾何構造や表現されるデータが大きく変化し、保存済みのドキュメントベクトルが現在のクエリ動作と確実に一致しなくなることで発生します。
埋め込みモデル、OCRパイプライン、チャンク分割器、または家庭内で使われる語彙が変わると、プライベートインデックスは不一致を示す明確なエラーを出さずに、近傍ベクトルを返し続けることがあります。変更によっては互換性のないベクトル空間が生じ、全面的な再構築が必要になります。一方で、コーパスやクエリ分布の一部だけが変化し、対象を絞った再埋め込み、評価、またはしきい値の再調整で済む場合もあります。この違いは、来歴情報と測定された検索品質によって判断します。
モデルドリフトにより新旧のベクトルが比較不能になることがある
埋め込みモデルは、パラメーターと学習目的から学習した座標系にテキストを写像します。新しいモデル、ファインチューニング、プーリング方法、次元数、または正規化ルールによって、出力の長さが同じでも空間が回転・変形することがあります。
後方互換性のある表現に関する研究では、独立して学習された埋め込みは自動的に相互運用できないため、埋め込みの互換性を明示的な学習目標として扱います。この保証がなければ、新しいクエリベクトルで古いドキュメントインデックスを検索すべきではありません。この違いは、その後の家庭内テストでも確認できます。
次元数の不一致は明確なエラーになりますが、次元数が同じでも問題が気付かれないまま発生することがあります。インデックスはベクトルを受け入れ、意味的に信頼できる解釈のない混在空間で、正確に見える類似度スコアを計算します。自動化を進める前に、中間結果を検査可能な状態に保つ必要があります。
パイプラインとデータのドリフトは、モデルを変えずに意味を変える
OCR言語パック、Unicode正規化、チャンク境界、表の抽出、キャプション、メタデータのプレフィックスは、変更されていないエンコーダーに渡されるテキストを変化させます。新しい家庭内用語やドキュメント種別によって、クエリとコーパスの分布が評価セットから外れることもあります。
MTEBは、検索、クラスタリング、分類、言語、ドメインにまたがる幅広い埋め込みタスクの変動を示しています。そのため、モデル自体が技術的に同一でも、プライベートコレクションの変化に伴って適合性が低下する可能性があります。この境界は、現実的な運用条件の下で個別に測定する必要があります。
バージョン管理されたパイプラインのもとで、変更されたドキュメントが特定できる場合は、対象を絞った再埋め込みで十分なことがあります。一方、クエリドリフトには、同一のベクトルを盲目的に再構築するのではなく、テストの更新、ハイブリッド検索、または別のエンコーダーが必要になる場合があります。複数のソースが限られたコンテキストを奪い合うときに、その実際の影響が現れます。
再構築は通常の圧縮ではなく、バージョン移行である
全面的な再構築では、すべてのアクティブなソースを、固定した1つの抽出、チャンク分割、埋め込み設定で再処理し、別のインデックス世代を作成して検索結果を検証したうえで、クエリ対象をアトミックに切り替えます。再構築中に世代を混在させると、目的が損なわれます。
Query Drift Compensationでは、バージョン間のクエリ投影手法を研究し、新しいクエリを古いタスク空間へ写像します。これは、再構築を避けるには、近いバージョンのモデルが整合すると期待するのではなく、明示的な互換性手法が必要であることを示しています。この依存関係は、最終インターフェースでも明示したままにする必要があります。
障害の境界となるのは、バージョン管理されていないモデル変更や前処理変更です。どのパイプラインが各ベクトルを作成したのかを来歴情報で証明できない場合、選択的な修復は安全ではありません。信頼できるソースから再構築し、評価とロールバックが完了するまで旧世代を保持してください。
来歴情報と検索テストで再構築の範囲を決める
すべてのベクトルについて、エンコーダーのリビジョン、次元数、プーリング、正規化、パーサー、OCR、チャンク分割器、メタデータテンプレート、ソースのバージョン、インデックス世代を記録します。互換性キーが変わった場合は、混在した書き込みを拒否してください。そのため、結果は元の根拠と照合する必要があります。
全面的な再インデックス後の動作と、順位付けされた結果を比較します。再現可能なクエリセットを使い、旧インデックス、シャドーインデックス、候補インデックスに対して、再現率、適合率、引用の裏付け、スコア分布、言語、ドキュメント種別を評価します。この違いは、その後の家庭内テストでも確認できます。
互換性のないモデル変更や来歴不明の変更があった場合は全面的に再構築し、バージョン管理されたパイプライン変更があった場合は影響を受けたソースを再埋め込みします。ベクトルが同一で、しきい値またはクエリの構成だけが変わった場合に限り、再調整を行います。測定結果で改善を確認してから切り替えてください。
おすすめ商品
テック＆AIハブ
もっと読む
トークナイザーの互換性とは何か、なぜモデルの切り替えで問題が起きるのか？
ローカルモデル切り替えのために、語彙の同一性、特殊トークンのセマンティクス、チャットテンプレート、キャッシュ済みトークン、アダプター、互換性チェックを解読する。
モデル常駐とは何か、ローカルAIサービスはいつ重みをロードしたままにすべきか？
重みの常駐性、キャッシュレベル、コールドスタート、追い出し、マルチプレクシング、メモリプレッシャー、そして家庭用AIサービスをウォーム状態に保つべきタイミングを解説します。
推測デコーディングの受け入れ率とは何か、なぜ重要なのか？
ローカル推論における受け入れ指標、検証、拒否動作、高速化の上限、ワークロードの変動、測定方法を明確にする。
