最大限周辺関連性は、RAGの冗長な根拠をどのように削減するのか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

How Does Maximal Marginal Relevance Reduce Redundant RAG Evidence? - Zima Store Online

最大限界関連性（MMR）は、クエリへの関連性と、すでに選ばれた証拠に対する新規性の両方を考慮してパッセージを選択することで、RAGの冗長な証拠を減らします。

プライベートなホームRAGシステムでは、同じマニュアルの段落、重複するスキャン、複製されたメモ、または隣接するセクションから複数のチャンクが取得されることがあります。どれもクエリと非常によく似ているためです。単純なtop-k類似度検索では、こうしたほぼ重複するチャンクがそれぞれ強力な結果として扱われます。MMRは別の関係性を加えます。次の結果はクエリに答えられるだけでなく、すでに証拠セットに入ったパッセージとも比較されます。

MMRはリトリーバーが候補プールを構築した後に開始される

通常、MMRはベクトルコレクション全体を最初から検索するわけではありません。まず、高速な字句検索、ベクトル検索、またはハイブリッド検索によって、検討に値する候補を含む、より大きな候補セットが作成されます。

最大限界関連性の目的関数は、クエリへの関連性と、すでに選択された項目との冗長性のバランスを取ります。そのため、ランキングは個々の候補スコアではなく、変化する結果セットに依存します。

初期候補プールに正しいパッセージが含まれていなければ、MMRがそれを生み出すことはできません。したがって候補数の深さは、依然として再現率の境界になります。候補プールを広げるほど多様性の選択肢は増えますが、広げすぎると、後で除外しなければならない弱い内容も増えます。

各選択では、クエリへの適合度と選択済み証拠との類似度のバランスが取られる

通常、最初に選ばれるパッセージは、まだ何も選ばれていないため、主に関連性によって決まります。その後は、残りの各候補について、クエリとの一致度と、すでに選ばれた証拠との類似度という2つの要素が評価されます。

反復的な選択プロセスでは、採用された各パッセージによって、残りの候補に適用される冗長性ペナルティが変化します。そのため、次の選択はクエリへの適合度と、すでにコンテキストに含まれている内容の両方に左右されます。

これにより、ランキングの課題は独立したスコア付けから、集合の構築へと変わります。あるパッセージがクエリスコアで非常に優れていても、最初の結果と同じ事実を繰り返していれば、順位が下がることがあります。

ホームアーカイブでは、ポリシーの段落を3つ重複して返すのではなく、バックアップポリシーを述べた段落、保持期間の例外を列挙した別の段落、復元手順の一部を選ぶ、といった結果になります。

多様性の重みが、ほぼ重複する結果をどれだけ強く下げるかを制御する

MMRには、関連性と新規性が衝突する可能性があるため、トレードオフ用のパラメーターが必要です。関連性を重視する側に近い設定では通常のtop-kランキングに近い動作になり、多様性を重視する設定では、異なる証拠を得るために直接的な類似度をある程度犠牲にしやすくなります。

調整可能な関連性と多様性のトレードオフによって、選択器が直接的な類似度をどの程度まで手放し、異なる情報を提供する証拠を選ぶかが決まります。

適切な設定は質問によって異なります。正確なシリアル番号を1つ尋ねるクエリでは関連性を優先する設定が有効ですが、ホームサーバーのバックアップが失敗した理由を尋ねる質問では、ログ、設定、ストレージの状態、スケジューラーの履歴といった独立した証拠が必要になることがあります。

多様性を高めすぎると、最初のパッセージを本当に補強したり条件付けたりする2つ目のパッセージまで下位に移してしまう可能性があります。目標は最大限の差異ではなく、限られたコンテキストを追加情報に使えるだけの十分な差異です。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

重複チャンクが意味のある類似性シグナルを持つ場合、MMRは最も効果を発揮する

重複を含むチャンク分割、コピーされたファイル、繰り返される見出し、バージョン違いのドキュメントによって、意味的にほぼ同一の候補が作られることがあります。候補同士の類似度に冗長性が直接現れるため、これはMMRに適した条件です。

MMRベースの多様化では、すべてのほぼ重複する候補を事前にベクトルインデックスから物理的に削除しなくても、既存の候補セットを再ランキングできます。

ただし、2つのパッセージが異なる語彙や形式で同じ事実を繰り返すこともあります。表の1行と文章の1文は、人間には冗長に見えても、ベクトル類似度は中程度にしかならない場合があります。そのためMMRは、ソースを考慮した重複排除を補完するものであり、置き換えるものではありません。ドキュメントID、バージョンメタデータ、親グループ、重複範囲の追跡などによって、意味的な多様性を適用する前に構造的な重複を除去できます。

より多様な証拠によって、生成モデルはコンテキスト予算を有効に使える

ローカルの回答モデルには、コンテキストと注意力の両方に限界があります。取得スロット6つをほぼ同一のパッセージで埋めると、モデルが確認できる独立した有用情報の数を増やさずに、トークンを浪費してしまいます。

RAGの証拠単位は取り込み時に決まるため、MMRが多様化できるのは、パーサーとチャンク分割器が実際に検索可能にしたチャンクの範囲内だけです。

より多様なセットによって、通常の類似度ランキングでは繰り返しチャンクの下に埋もれていた例外、別のドキュメント、新しい改訂版、補足表などが見つかる可能性があります。

それでも生成モデルには、出典と引用に関する規律が必要です。多様性によって証拠セットの重複は減りますが、選択されたすべてのパッセージが正確で、最新で、権威あるものだと証明されるわけではありません。

MMRでは、欠落した証拠や古い証拠、適切に解析されていない証拠を修復できない

MMRは、受け取った表現に対して処理を行います。OCRによって表が平坦化されていたり、チャンク分割によって但し書きが分離されていたり、メタデータフィルターによって最新のファイルが除外されていたり、埋め込みモデルがクエリを適切に表現できていなかったりする場合、多様性の処理によって信頼できる証拠を上位に移すことはできません。

最大限界関連性検索を使うと、利用可能な候補のうち最終セットに入るものは変わりますが、抽出の失敗を修復したり、欠落した証拠を作り出したりすることはできません。

評価では、top-1の関連性だけでなく、重複率や証拠の網羅性を含む検索指標を使用してください。有用なテストセットには、重複するチャンク、繰り返しのバージョン、複数の独立したパッセージを必要とする質問を含めるべきです。

最終的なコンテキストが最も強く関連する証拠を維持しながら、重複したスロットを本当に新しい裏付けを加えるパッセージに置き換えられているとき、MMRは成功しています。