最新のブログ

読み取り専用ツールを使えば、エージェントは証拠を収集し、範囲を限定した計画を提案できます。その後、より高リスクな権限によって家庭内のシステムやデータを変更できるようになります。

メモリが増えると、エージェントが最新の証拠ではなく、古い情報や推測的な記録、重複した記録、信頼性の低い記録を取得するようになり、ホームAIの品質が低下する場合があります。

再ランキングでは、少数の候補セットに対してより低速な関連性モデルを適用し、より強いプライベートな根拠を、回答モデルに送信される限られたコンテキスト内へ移動させます。

チャンクの境界は、検索システムが順位付けできる根拠の単位を定義するため、1か所の区切りによって、主張、限定条件、見出し、表、引用を保持したり分離したりできます。

小型モデルは、完全に収まり、応答期限を守り、狭い契約に従い、実際のローカルタスクでテストされている場合、より信頼性が高くなることがあります。

解像度が高いほど、パッチ、クロップ、視覚トークンの数が増え、モデルがテキストを生成する前のマルチモーダル処理負荷とメモリ使用量が増加する可能性があります。

モデルパラメータは固定されたままですが、アテンション状態はトークン数、レイヤー数、精度、バッチサイズ、同時に処理する家庭内AIリクエスト数に応じて増加します。

継続的バッチ処理によりアクセラレーターを稼働させ続けられますが、公平性は、異なる規模の家庭内リクエストに対してサービスをどのように測定し、分配するかに左右されます。