最新のブログ

削除ではまずベクトルを非表示にし、後からバイトを解放します。コンパクションでは、不要なストレージを廃棄する前に、有効なレコードをクリーンなセグメントへ書き換えます。

PQは各完全ベクトルをサブスペースのコードIDの短いシーケンスに置き換え、検索時にはオプションの再スコアリングを行う前に、コンパクトなルックアップテーブルから距離を推定できるようにします。

HNSWはグラフの接続性と候補探索によるクエリ処理にメモリを消費します。通常、グラフを密にし、探索範囲を広げるほど、より高いリソースコストで再現率が向上します。

量子化では、各埋め込みの低精度な近似値を保存することで、より多くのベクトルをRAMやディスクに格納できます。さらに、任意で再スコアリングを行うことで、失われた精度の一部を取り戻せます。

CDCはソースの変更をインデクサーにストリーミングし、インデクサーは各イベントを影響を受けるレコード、ベクトル、削除に対応付ける一方、チェックポイントによって再起動位置を保持します。

ハッシュ比較により、取り込み処理は変更テストになります。一致するコンテンツはベクトルを保持し、変更された入力では後続の埋め込み処理が実行されます。

バージョン対応RAGは、ドキュメントの識別情報と改訂状態を分離することで、現在のクエリでは有効なチャンクを取得しつつ、過去の証拠を履歴として追跡可能にします。

クロスエンコーダーは、あらかじめ計算された文書ベクトルの代わりに、高速な検索器がすでに見つけた候補に対して、クエリとパッセージ間のより豊かな相互作用を活用します。