2つのローカルLLMを同時に待機させるには、どれくらいのRAMが必要ですか？

エヴァ・ウォン

IceWhale author

エヴァ・ウォン は テクニカルライター であり ZimaSpaceの常駐ティンカーでもあります。 生涯のオタクであり、 ホームラボとオープンソースソフトウェアに情熱を持っています。彼女は複雑な技術的概念をわかりやすく、 実践的なガイドに翻訳することを専門としています。エヴァはセルフホスティングは楽しくあるべきで、怖がるものではないと信じています。彼女のチュートリアルを通じて、コミュニティが ハードウェアのセットアップを解明する手助けをしています。初めてのNAS構築からDockerコンテナの習得まで。

How Much RAM Is Needed to Keep Two Local LLMs Ready at the Same Time?

2つのローカルLLMをすぐ使える状態に保つには、少なくとも両方の常駐重みセットに加えて、ランタイムバッファ、KVキャッシュ、オペレーティングシステム用の余裕が必要です。

ホームサーバーのワークフローでは、2つの常駐LLM用のRAMが、インタラクティブな動作とバックグラウンドのリソース使用量の両方を変える可能性があります。目に見える影響が現れるのは、リクエストが複数の処理段階を通過した後だけなので、1つの平均値では、遅延、品質低下、障害がどこで始まったのかが隠れてしまいます。転送、計算、ストレージ、アプリケーション状態を分離すれば、それ以外の条件が同一でも、この関係を検証できます。

2つの常駐LLM用RAMから始まる因果経路

最初の因果関係は明快です。量子化によって基本重みのバイト数が決まります。この処理によって次のコンポーネントが受け取るものが変わるため、観測された結果を最終的なインターフェースやモデルだけに帰属させることはできません。入力とワークロードを一定に保つことで、この初期変換を明らかにできます。

キャッシュ容量モデルは、この段階を解釈する具体的な方法を示します。量子化によって基本重みのバイト数が決まります。その実用的な価値は、似た症状を引き起こす可能性がある後続のバッファリング、スケジューリング、ストレージ、レンダリングの影響から、変化した変数を切り分けられる点にあります。

第1段階が変化すると、最大同時コンテキスト数によってKV割り当てが決まります。記事の問いに応じて、その結果はレイテンシ、精度、消費電力、容量、体感的な滑らかさとして現れる可能性がありますが、因果経路は依然として最終出力が表示される前に始まっています。

アイドル状態のテストでは影響が過小評価される理由

最大同時コンテキスト数によってKV割り当てが決まるため、アイドル状態のベンチマークではこの経路の影響が過小評価されます。そのため、AI、ストレージ、メディア、自動化のジョブを同時に実行すると、単一リクエストのベンチマークでは小さく見える影響が増幅されることがあります。アイドル状態のシステム平均よりも、テール挙動のほうが重要です。

物理書き込みのメカニズムは、共有リソース層と結果を結び付けます。最大同時コンテキスト数によってKV割り当てが決まります。この層を個別に測定すれば、スループット、キャッシュヒット、確認応答、楽観的なステータス更新を、ユーザーに見える処理の完了と取り違えることを防げます。

フレームワークのワークスペースと共有ページが物理的な使用量を変えるため、この相互作用は続きます。そのため、同じ主要ハードウェアやネットワーク速度を持つ2台のホームサーバーでも、キュー深度、データ配置、キャッシュ状態、ポリシーが異なると動作が変わることがあります。

別の変数が支配的になる場合

別の上限が現れると、同じ指標が誤解を招く可能性があります。この場合、ファイルサイズを合計するだけでは、コミット済みメモリのピークを過小評価します。2つの常駐LLM用RAMの変化を測定できるようになる前に、別のボトルネックが上限を決めることがあります。

リランキングのレイテンシの関係は、想定されるメカニズムと競合する説明を見分けるのに役立ちます。統制されたテストでは、タイトルで示す変数だけを変更し、元データ、ハードウェア、同時実行数、キャッシュ状態、ソフトウェアバージョンを固定する必要があります。この依存関係は、再現可能なホームサーバーテストで常に確認できるようにしてください。

ファイルサイズを合計するだけでは、コミット済みメモリのピークを過小評価する段階に達すると、障害の境界に到達します。その先でより積極的なチューニングを行っても、タイトルが示す結果を改善せず、コスト、リスク、不安定性だけが増す可能性があります。結果は、隣接するパイプライン段階とは分けて評価する必要があります。

-15% OFF

ZimaBoard 2 - あなたの大きなアイデアのためのミニホームサーバー

Single board computer zimaboard2

2つの常駐LLM用RAMに関するFAQ

2つの常駐LLM用RAMの最小量は何で決まりますか？

最小量は、量子化によって基本重みのバイト数が決まることで決まります。最大同時コンテキスト数によって決まるKV割り当てのピーク要件を加え、オペレーティングシステム、その他のサービス、性能低下、測定の不確実性に備えた余裕を確保してください。この区別は、家庭内のワークロードを同時に処理する場合に、より重要になります。

2つの常駐LLM用RAMの見積もりはいつ増えますか？

同時実行数、コンテキスト、イベント発生率、保持期間、復旧処理が増えると、見積もりも増えます。圧縮、バッチ処理、キャッシュ、インクリメンタル処理によって測定単位あたりのコストが下がると、減少する可能性があります。この依存関係は、再現可能なホームサーバーテストで常に確認できるようにしてください。

最初に記録すべき2つの常駐LLM用RAMの指標はどれですか？

まず、重み、PSS、KVバイト数、コミット済みRAMのピークを記録します。分母、時間枠、精度、レプリケーション、レイテンシ目標を伴わないカウント値や容量値だけでは、有用なしきい値の判断を支えられません。結果は、隣接するパイプライン段階とは分けて評価する必要があります。

2つの常駐LLM用RAMを制御してテストする

代表的なワークロードを作成し、2つの常駐LLM用RAMを変更する前に、重み、PSS、KVバイト数、コミット済みRAMのピークを記録します。コールド状態とウォーム状態の試行を行い、現実的な同時実行数を含め、すべての比較で同じデータ、バージョン、ハードウェア、ユーザーに見える成功基準を維持してください。

2つの常駐LLM用RAMに関連するメカニズムを使い、テスト前に予想される方向性を定めます。一度に1つの変数だけを変更し、中央値とテール挙動を記録して、結果に運用上の限界が含まれるよう、失敗または性能が低下したケースも残してください。

測定された効果が繰り返し試行を通じて持続し、定めた境界が許容範囲内にある場合にのみ、その変更を採用してください。別の段階が支配的である場合は、相関から因果関係を推測せず、2つの常駐LLM用RAMを変更しないまま、その競合するボトルネックをテストしてください。