Reciprocal Rank Fusionはキーワード検索とベクトル検索をどのように組み合わせるのか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

How Does Reciprocal Rank Fusion Combine Keyword and Vector Search? - Zima Store Online

逆順位融合は、互換性のない生の関連度スコアを比較しようとするのではなく、順位に基づく寄与を加算することで、キーワード検索とベクトル検索を組み合わせます。

家庭内ナレッジ検索では、BM25で正確なモデル番号を見つける一方、密ベクトル検索で言い換えられたトラブルシューティングメモを見つける必要があるかもしれません。両者のスコアは異なる尺度を使うため、単純に平均すると不安定です。RRFでは、各候補の順位を `1/(k + rank)` のような値に変換し、各リストからの寄与を合計して、合計値の順に並べ替えます。

各検索器は独立した順位付きリストを生成する

キーワード検索は、語の出現頻度と文書統計を使って語彙上の一致を順位付けします。一方、ベクトル検索は埋め込み空間での意味的な近さを順位付けします。フィルターと候補数の深さは融合前に適用されるため、生成されるリストは部分的に重複する場合もあれば、まったく重複しない場合もあります。

ハイブリッド候補融合の解説では、キーワードとベクトルを組み合わせた幅広い候補抽出の後に、精度重視の再順位付けを行う構成が説明されています。この分離により、融合が共有プールに残す証拠を決定することが明確になります。この区別は、後の家庭内テストでも確認できます。

RRFに必要なのは、比較可能なスコアではなく順位と文書の識別情報です。重複チャンクには安定したキーを使用し、同じ証拠が両方の検索器から支持を集められるようにする必要があります。自動化を進める前に、中間結果を検査できる状態に保つ必要があります。

逆数による寄与は上位表示と一致を評価する

RRFは、候補を含む各リストについて、定数とその順位の合計の逆数を加算します。上位に近い結果ほど大きな重みを受け、どちらの生スコアも数値的に比較できない場合でも、両方のリストに現れる結果は2つの寄与を蓄積します。

順位ベースのスコア融合の概要では、キーワード検索とベクトル検索の順位付き結果を1つの順序にまとめる方法が説明されています。順位定数は隣接する順位間の差を滑らかにし、1位の結果が他のすべての候補を圧倒するのを防ぎます。

1つの検索器だけで見つかった候補でも、順位が高ければ上位に入る可能性があります。一致は役立ちますが、RRFは共通部分を必須としないため、語彙面または意味面で補完的な証拠を保持できます。この境界は、現実的な運用条件下で個別に測定する必要があります。

候補数の深さと順位定数が出力を形作る

両方の入力リストから除外された関連文書を、融合によって復元することはできません。候補プールを深くすると機会は増えますが、遅延とノイズも増加します。順位定数は上位順位間の差がどれほど急になるかを制御し、重複の多いリストは代表性を歪める可能性があります。

キーワードとベクトルの補完性に関する実運用の説明では、意味検索が苦手とする正確なプラン名や機能名を、キーワード検索で見つけられる理由が示されています。また、融合スコアを最終的な証拠品質として扱うのではなく、後段の選択前に融合を行う構成も示されています。

失敗の境界は、第一段階での再現率の低さや、一貫性のないフィルタリングです。RRFは提供された候補を並べ替えるだけであり、欠落した権限、古いチャンク、弱い埋め込み、関連文書を一度も出力しない語彙解析器を修正することはできません。複数のソースが限られたコンテキストを奪い合うと、この実際の影響が現れます。

-15% OFF