最新のブログ

バージョン対応RAGは、ドキュメントの識別情報と改訂状態を分離することで、現在のクエリでは有効なチャンクを取得しつつ、過去の証拠を履歴として追跡可能にします。

クロスエンコーダーは、あらかじめ計算された文書ベクトルの代わりに、高速な検索器がすでに見つけた候補に対して、クエリとパッセージ間のより豊かな相互作用を活用します。

MMRは、関連性を高く評価しつつ、すでに選択されたパッセージとの類似性を低く評価することで候補プールを再ランキングし、独立した証拠をより多く取り入れられるようにします。

パイプライン並列化では、異なるレイヤーグループを異なるアクセラレーターに配置し、アクティベーションを順番に各グループへ渡すことで、デバイスごとのモデルメモリ使用量を削減します。

テンソル並列処理では、レイヤーのテンソルを複数のGPUに分割するため、各デバイスがシャードを計算し、集合通信によって論理的な結果を再構成します。

CPUオフロードにより、大規模なモデルの重みの一部をシステムRAMに保存し、実行中に必要なテンソルをアクセラレーターへ移動することで、モデルを実行可能な状態に保てます。

MoEルーティングではトークンごとに選択されたエキスパートを有効化するため、エキスパート層の計算量を総パラメータ数に対して削減しつつ、エキスパート全体は保持されます。

Flash Attentionはタイル化したアテンション処理をオンチップに保持し、完全なスコア行列の実体化を回避することで、アテンションを近似することなくHBMトラフィックを削減します。