Grok 4.8は2.5Tモデル - しかし、新しいC++スタックこそがより大きな話題だ

• Grok 4.8は密結合型ですか、それともMoEですか？
• 何人の専門家が含まれていますか？
• 各トークンでアクティブになるパラメーターはいくつか？
• アクティブなパラメーター数はいくつか？
• 2.5Tという数値のうち、マルチモーダルコンポーネントに属するのはどの程度か？

これが、総パラメーター数だけで最先端モデルを比較すべきでない最も重要な理由の一つである。

2.5Tモデルなら自動的に知能が高くなるのか？

いいえ。パラメーター数が測るのはモデルの容量であり、完成した能力ではない。

実世界での性能は、次の要素にも左右される。

• モデルアーキテクチャ
• トレーニングデータの品質
• データの混合
• 最適化の安定性
• トレーニング後処理
• 強化学習
• ツール使用
• テスト時計算
• サービングと推論の設計

xAIの最近のリリースは、トレーニング後処理がいかに重要になったかをすでに示している。Grok 4.5の発表で、xAIはモデルサイズだけを改善の唯一の源として提示するのではなく、数十万件のタスクにわたる強化学習と長時間稼働するエージェントロールアウトを強調した。

つまり、役に立つ問いは次のようなものではない。

Grok 4.8の規模はどの程度か？

それは次のとおりです。

xAIはその能力を、推論、コーディング、ツール使用、そして信頼性の高いエージェントの振る舞いへ、どれだけ効果的に変換できるのか？

Grok 4.8の「RL開始」とは何を意味するのか？

強化学習に移行したからといって、Grok 4.8がすぐにリリースされるという意味ではない。

最先端モデルでは、主要なトレーニング実行後も、次のような大規模な作業が必要になる場合がある。

• 強化学習およびその他のトレーニング後処理
• 指示追従の最適化
• エージェントおよびツール使用のトレーニング
• 安全性と能力の評価
• サービングの最適化
• レイテンシーとメモリのチューニング
• APIと製品の統合

基盤となるパラメーター数が変わらなくても、RLはモデルの振る舞いに大きな影響を与える可能性がある。

モデルは難しいコーディング問題を解決するのに十分な知識を備えていても、早く諦める、誤ったツールを選ぶ、手順を使いすぎる、または自分の作業を検証できない場合、エージェントとしては低い性能にとどまる可能性がある。

xAIの現在の方向性は、この点を特に重要にしている。Grok 4.6は長時間稼働するエージェント、コーディング、知識労働を明確に重視しており、その公式発表では、複数ステップのタスクにおける持続性が強調されている。

そのため、Grok 4.8では、ユーザーが最終的に体験する内容に関して、RLフェーズが2.5T規模の事前トレーニングとほぼ同じくらい重要になる可能性がある。

最先端規模でトレーニングソフトウェアが競争優位になる理由

トレーニング実行の規模が大きくなるほど、小さな非効率のコストも大きくなる。

xAIの初期のGrokインフラストラクチャは、ハードウェア障害が発生しても、ワットあたりの有用な計算量を最大化し、高いModel FLOP Utilizationを維持することに明確に重点を置いていました。

これにより、Grok 4.8のC++スタックは、より有用な解釈を与えてくれます：

フロンティアAIラボは、モデル設計だけでなく、同じ高価なハードウェアからどれだけ有用な知能を引き出せるかでも競い合うようになっています。

原理は、規模がまったく異なるとはいえ、ローカルAIと驚くほど似ています。ローカルシステムも、むやみに高性能なハードウェアを購入するのではなく、各ワークロードを適切なリソースに割り当てることでメリットを得られます。

Grok 4.8はローカルで実行できるか？

現時点では、Grok 4.8をローカルで実行できると言える根拠はありません。

xAIは以下を公開していません：

• Grok 4.8の重み
• モデルアーキテクチャ
• アクティブなパラメーター数
• 量子化済みチェックポイント
• ローカルハードウェアの要件
• セルフホスティングの手順

2.5Tという数値だけでは、モデルが密モデルかスパースモデルかが分からないため、意味のあるVRAM容量を見積もることはできません。

この点でGrok 4.8は、量子化してコンシューマー向けハードウェアに移行できるオープンモデルとは大きく異なります。現時点では、AIにおける集中型フロンティアコンピューティング側に属します。

だからといって、ローカルAIが無意味になるわけではありません。ワークロードの分離がより重要になるということです。

2.5TのフロンティアモデルがローカルAIをより価値あるものにする理由

フロンティアAIとローカルAIは、相反する制約に対して最適化される傾向が強まっています。

ローカルユーザーにとって重要なのは、7B、14B、30Bのモデルが総合的にGrok 4.8を上回れるかどうかではありません。

重要なのは、現在のタスクにそもそもGrok 4.8級の知能が必要かどうかです。

フロンティアシステムが大規模化するにつれ、ハイブリッドAIとモデルルーティングがより有用になるのはこのためです。定型的でプライベートな反復処理はローカルに残し、難しいケースはフロンティアAPIにエスカレーションできます。

たとえばプライベートAIアシスタントなら、あらゆるステップで最も高性能なクラウドモデルを必要とせず、検索、ドキュメントへのアクセス、メモリ、軽量な推論をローカルファイルの近くで処理できます。

プライバシーの境界も重要です。主要なLLMが自宅で動作しているからといって、そのシステムが本当にローカルだとは限りません。埋め込み、認証、ルーティング、ツール呼び出しは、依然としてリモートサービスに依存する可能性があります。本当にオフライン対応可能なAIワークフローは、依存関係の全体にわたってローカルで動作し続けなければなりません。

Grok 4.8は、実はインフラストラクチャの話です

Grok 4.8がリリースされると、注目の大半はおそらくベンチマークスコア、コーディング結果、推論テスト、他の最先端モデルとの比較へと移るでしょう。

しかし、そうした数値が明らかになる前から、同社のインフラに関する取り組みはすでに見えていました。

xAIは当初、カスタムのJAX、Rust、Kubernetesスタックから始めました。同社はこれまで、GPU障害、チェックポイント作成、同期、ワットあたりの有効な計算量、Model FLOP Utilizationを公に重視してきました。現在、Musk氏は2.5Tモデルを新しいC++ソフトウェアスタックでトレーニングしていると述べています。

これは、競争の最前線がインフラストラクチャへとさらに深く移行していることを示唆しています。

xAIにとっての課題は、膨大な計算量から、より有用なトレーニングを引き出すことです。

ローカルAIユーザーにとって、より有用な問いは逆です。そもそも、どれだけの計算量を使わずに済ませられるでしょうか？

最適なローカルシステムは、2.5Tパラメータの最先端モデルを自宅で再現しようとするものとは限りません。日常的な作業をローカルで処理し、可能な場合は特化型モデルを使い、追加の能力が本当に結果を変える場合にのみ最先端のAIを呼び出すシステムかもしれません。