引用範囲のアラインメントとは何か、そしてRAGの根拠にとってなぜ重要なのか?

引用スパンのアラインメントは、関連する文書を単に示すのではなく、検証可能な回答の各主張を、それを裏付ける具体的な出典の語句に結び付けます。

家庭用RAGの回答では、正しい機器のマニュアルを引用していても、モデルに言及しているだけで、記載された電圧や例外を裏付けていないページを指してしまうことがあります。アラインメントでは、回答を原子的な主張に分解し、必要十分な最小の出典スパンを特定して、ページやレイアウトの座標を保持します。これにより証拠を検査でき、文書レベルの関連性では隠れてしまう部分的な裏付けも明らかになります。

アラインメントは原子的な主張を十分な文章に結び付ける

主張スパンには、検証可能な1つの主張を含める必要があります。その証拠スパンには、チャンク内の他の無関係な文章に頼らず、その主張を含意するために必要な記述、修飾語、単位、対象、条件が含まれていなければなりません。

引用抽出は、回答全体に出典リンクを添付するのではなく、主張と出典のマッピングとして説明されます。このマッピングにより、インターフェースはどの語句がどの生成文を裏付けているのかを正確にハイライトできます。この違いは、その後の家庭環境でのテストでも確認できます。

最小スパンが常に1文とは限りません。表では行と見出しの両方が必要になる場合があり、代名詞には前の文が必要になることもあります。また、OCRのレイアウトでは、単純なテキストオフセットではなく、ページ内の境界付き領域が必要になる場合があります。

関連性、正確性、網羅性は異なるものを測定する

検索された文書は、話題として関連していても、最終的な主張に対して中立的な場合があります。引用の正確性は、添付された文章が主張を裏付けているかを問うものであり、網羅性は、すべての事実に関する主張に十分な証拠があるかを問うものです。自動化を進める前に、中間結果を検査可能な状態に保つ必要があります。

出典帰属に関する研究は、機能していて関連性のあるリンクと事実に基づく引用の正確性との間に隔たりがあることを報告しています。これは、URLの有効性や話題の関連性だけでは、主張レベルの裏付け評価の代わりにならない理由を示しています。この境界は、現実的な運用条件のもとで別々に測定する必要があります。

忠実性はさらに厳格です。モデルが記憶から主張を生成し、後から出典を添付した場合でも、文章がその主張を裏付けることはあります。アラインメントによって裏付けを確認できますが、証拠を因果的に利用したことまでは証明できません。

チャンク分割と生成によってスパンの関係が崩れることがある

チャンクによって、条件と数値が分断されたり、表の見出しが失われたり、複数のバージョンが混在したりすることがあります。生成器が2つの文章を1つの主張に組み合わせたり、慎重な表現を強めたり、複数の文の後に1つの引用を付けたりすることもあります。

引用の忠実性に関する研究では、見かけ上の引用の正確性と、検索された証拠を忠実に利用することが区別されています。その分析は、回答の主張と出典スパンに明示的で細粒度の関連付けが必要であることを改めて示しています。複数の出典が限られたコンテキストを奪い合う場合に、この実際的な影響が現れます。

失敗の境界とは、必要な証拠が存在しない、矛盾している、またはサポートされているアラインメント手法の範囲を超えて分散している主張です。システムは、最も近い話題の文章を指し示すのではなく、再検索するか、主張を分割または弱めるか、回答を控える必要があります。

Featured

ZimaCube 2 パーソナルクラウドホームNAS

ZimaCube2

$799.00 - $2,499.00

Buy Now

主張とスパンを別々のオブジェクトとして監査する

文章、OCRスキャン、表、相互に矛盾する文書バージョンから回答例を抽出します。それらを原子的な主張に分解し、出典のバージョンとページ座標を記録し、必要十分な最小スパンをハイライトして、裏付け、矛盾、または中立のラベルを付けます。この依存関係は、最終的なインターフェースでも明示したままにする必要があります。

引用の正確性と結果を比較します。引用精度、主張の網羅率、バージョンの正確性、解決可能性、人間同士の一致度を計算し、数値、否定、条件を別々に確認します。したがって、結果は元の証拠と照合しなければなりません。

表示されたすべての引用が、リンク先の主張を含意する検査可能なスパンを開く場合にのみ合格とします。十分な語句を含まない関連文書は、部分的な成功ではなく、引用の失敗とみなします。この違いは、その後の家庭環境でのテストでも確認できます。