Maxwell-V1-Flashをローカルで実行:RAM、VRAM、長文コンテキストの要件

Eva Wong は テクニカルライター であり、 生粋の技術好き としてZimaSpaceで活動しています。ホームラボやオープンソースソフトウェア をこよなく愛する生粋のギークで、複雑な技術概念をわかりやすく、実践的なガイド にまとめることを得意としています。Evaは、セルフホスティングは難しいものではなく、楽しむものだと考えています。チュートリアルを通じて、初めてのNAS構築からDockerコンテナの使いこなしまで、コミュニティがハードウェアのセットアップをわかりやすく理解できるよう 支援しています。、初めてのNAS構築からDockerコンテナの習得まで。

Maxwell-V1-Flashをローカルで実行するには、まず元のチェックポイントファイル約73.6 GB、互換性のあるNVIDIA GPU環境、さらに実行環境と会話キャッシュ用の十分なメモリが必要です。アクティブパラメーター数3Bという値は、各トークンで使用されるエキスパートを示すものであり、モデル全体が3Bのダウンロードになるわけではありません。元の重みを使うなら、一般向けの24GBカードよりも、96GBクラスのGPUのほうが現実的な出発点です。256Kのコンテキスト全体を使うには、別途メモリの予算が必要です。

このガイドでは、確認済みのモデル仕様と計画用の推定値を区別し、スパースアテンションでも長いコンテキストでメモリを消費する理由を説明し、開発者が文書化したローカルでのサービング手順を紹介します。また、コンパクトなNASが大容量メモリ搭載の推論サーバーの代わりになると示唆することなく、ZimaCube 2がワークフローをどのように支援できるかも説明します。仕様とデプロイ手順は2026年11月18日に確認しました。以下の構成は推定値であり、実測された最小要件ではありません。

Maxwell-V1-Flashとは何か、ハードウェアに影響する仕様はどれか?

Maxwell Teamのリポジトリ名はMaxwell-V1-Flashですが、モデルカードではモデル名がMaxwell-V1.0-Flashとなっています。テキスト専用のオープンウェイト混合エキスパート言語モデルで、Apache 2.0ライセンスのもとで公開されています。公式の説明では、埋め込みを除き、総パラメーター数は35B、トークンごとのアクティブパラメーター数は3Bとされています。ダウンロードが必要な実ファイルと、見出しに記載されたパラメーター数を比較する際には、この除外項目が重要です。

確認済みの仕様 ローカル環境へのデプロイでの意味
合計35B / アクティブ3B、埋め込みを除く アクティブな計算量が減っても、エキスパートの重みに必要なストレージとメモリの要件はなくなりません。
バックボーン層45層、クエリヘッド32個とKVヘッド4個、ヘッド次元128 これらの寸法は、主要なアテンションキャッシュの有用な基準値を見積もるうえで重要です。
ルーティング対象のエキスパート256個、トークンごとに選択されるエキスパート12個、MoEレイヤーごとの共有エキスパート2個 エキスパートルーティングには、推論エンジン側のアーキテクチャ対応が必要です。
モデルカードに記載された256Kコンテキスト 長いプロンプトには、追加のキャッシュ、プリフィル時間、生成出力用の余裕が必要です。
ブロックスパースアテンションと多様体制約付きハイパーコネクション 別のMoEモデルに対応している実行環境が、自動的に互換性を持つとは限りません。
公式のsafetensorsファイル全体で73,625,607,468バイト 実行時の割り当て分を除き、約73.6十進GB、または68.6 GiBです。

これらの情報は、公式モデルカード、公開済みの構成、およびチェックポイントのファイルメタデータに基づいています。モデルカードではBF16が主な重みの精度として記載されていますが、リポジトリにはBF16とF32の両方のテンソルが含まれています。そのため、ダウンロード容量の見積もりには、概算のパラメータ数に2バイトを掛けるよりも、ファイルサイズを使うほうが適切です。

Maxwell-V1-Flashのモデルリポジトリに掲載された公式ブランドアートワーク
Maxwellの公式ブランドアートワーク。リポジトリ名はMaxwell-V1-Flash、モデルカードでの名称はMaxwell-V1.0-Flashです。出典:Maxwell-V1-Flashの公式モデルカード。

RAM、VRAM、ストレージはどれくらい必要?

確認したデプロイ手順には、開発元が公開したRAMの最小要件表はありません。以下の構成は、チェックポイントの容量とキャッシュの計算から導いた、実用的な計画目安です。ベンチマーク済みの構成ではありません。GPUアーキテクチャ、カーネルの互換性、実際のランタイムで報告されるメモリ使用量が、引き続き重要な判断材料になります。

ワークロード システムRAMの目安 GPUメモリの目安 作業用ストレージ
ユーザー1人、オリジナルの重み、初回の8K~16Kテスト 128 GB 96GBクラス。80GBカードは余裕が少ない構成のため、検証が必要です ローカルNVMeに少なくとも150 GBの空き容量
ユーザー1人、32K~64Kのコーディングまたはドキュメント処理セッション 128~192 GB 96GBクラス、または検証済みのマルチGPU構成。キャッシュ用に十分な余裕があることを実測してください 重み、コンテナレイヤー、ログ、バージョン違い用に200~300 GBの空き容量
128K~256Kのコンテキスト、または複数の同時利用者 運用上の目安として192~256 GB 合計で使用可能なVRAMが96 GBを超える構成を計画してください。128~160 GB以上なら、並列ランタイムのサポートを条件に、より現実的な予算になります 空き容量300 GB以上。別の場所にバックアップを保管してください

RAMとVRAMは用途が異なります。システムRAMは読み込み、ファイルキャッシュ、前処理、その他のサービスを支えます。GPU VRAMには、常駐モデル、アテンションキャッシュ、アクティベーション、一時ワークスペース、ランタイム割り当てが保持されます。ホストRAMを128 GB追加しても、24GB GPUで元のチェックポイントを動かせるようになるわけではありません。

同様に、RAMの目安は余裕を見込むための推奨値であり、すべてのローダーがモデルの完全なコピーをもう1つ保持する必要があるという意味ではありません。ストリーミング読み込みやメモリマップ読み込みによって、ホストメモリのピーク使用量は変わることがあります。まずは、最新のLinux x86-64マシン、周辺のワークフロー用に約12~16個の処理能力の高いCPUコア、対応するNVIDIA GPU、ローカルNVMeを用意してください。ここでは、GPUメモリとソフトウェアの互換性確認が重要で、CPUのモデルやコア数は二次的です。

80GBのアクセラレーターなら、元の重みと小容量のキャッシュを収められる可能性はありますが、すべての80GB GPUが推奨されるわけではありません。メモリの一部はランタイム用に確保されるか、ランタイムによって消費されます。また、カスタムカーネルが追加のアーキテクチャ要件を課す場合もあります。ハードウェアを選ぶ前に、開発者のイメージで使用するGPUがサポートされているかを確認し、短いコンテキストで実行して測定してください。

スパースアテンションでも、コンテキスト長256Kでメモリが必要なのはなぜですか?

Maxwell Block Sparse Attention(MBSA)は、メインのアテンション計算に使うブロックを限定して選択します。公式の説明によると、プレフィックスブロックを8個、ローカルブロックを8個、リモートから選択するブロックを最大16個使用し、各ブロックは128トークンで構成されます。スパースモードでは、選択されるメインアテンションの範囲はKVグループあたり最大4,096トークンに制限されます。

履歴全体のKVキャッシュは引き続き利用できます。選択されたブロックによって削減されるのはアテンションの計算量であり、保存されるトークン数が4,096だけになるわけではありません。リファレンス実装ではインデクサーのキーも保持します。長い会話やリポジトリの解析向けにマシンを選ぶ際、最も重要な違いはここです。

参考として、公開されているバックボーンの次元数を使った一般的なBF16メインKVの計算は次のとおりです。

45層 × 2(KとV) × 4 KVヘッド × 128次元
× 2バイト × キャッシュ済みトークン数 × 独立したシーケンス数
キャッシュ済みトークン数、シーケンス1本 参考値:メインのK/Vペイロードのみ 実用上の意味
8,192 0.70 GiB 最初の推論テストに適した設定です。
32,768 2.81 GiB 重み以外の余裕もすでに必要です。
65,536 5.63 GiB 長時間のコーディングでは、無視できない量のメモリ余裕が消費されます。
131,072 11.25 GiB プリフィルのレイテンシとキャッシュの割り当て量は、どちらも実測が必要です。
262,144 22.50 GiB 重みとこのペイロードだけで約91.1 GiBになり、ほかの割り当て分は含まれていません。

これは説明用の計算であり、vLLMで実測したメモリ割り当てではありません。インデクサーの状態、補助経路、ブロック割り当て、アクティベーションのピーク、CUDAグラフ、断片化、実行時ワークスペースは含みません。キャッシュの精度、実装の詳細、並列配置によって、実際のメモリ使用量は変わります。一見余裕がありそうな96GB構成でも、うたわれている最大コンテキスト長に対応できるとは限りません。

また、モデルカードと設定ファイルの記載に食い違いがある点にも注意してください。モデルカードでは262,144トークンをうたっていますが、現在の設定ファイルではmax_position_embeddingsが524,288に設定され、RoPEのベースもカードの仕様表とは異なります。設定値が大きいからといって、512Kで品質が検証済みであることや、安定したサービングが可能であることを意味するわけではありません。このガイドでは、うたわれている256Kの性能を基準とし、検証中はサービング上限を明示的に低く設定することを推奨します。

量子化すれば、Maxwellを24GBまたは32GBのGPUに載せられますか?

可能性はありますが、小型チェックポイントがあることだけでは判断できません。元のテンソル容量を基にした4ビット計算では、未圧縮の重みはおよそ18~19GBとなります。実際の量子化ファイルにはスケール、メタデータ、高精度のまま保持されるテンソルも含まれます。さらに、キャッシュとランタイムにもメモリが必要です。

この計算だけでは、24GBで動作するデプロイが可能だとは言えません。Maxwellのエキスパート層、ハイパーコネクション、アテンションの実装、チェックポイントの読み込み処理が、いずれも対応する量子化をサポートしている必要があります。コミュニティ製のGGUF、FP8、または4ビットのリポジトリを購入候補として検討する前に、正確なランタイムのビルド、必要なパッチ、対応GPU、再現可能な生成例が明記されていることを確認してください。

開発元のデプロイ例では、専用のvLLMコンテナとオリジナルの重みを使用しています。汎用的なOllamaコマンドや、公式のQ4メモリ保証は提示されていません。コミュニティ製の変換モデルを選ぶ場合は、まず短いプロンプトで再現性を確認し、チャットテンプレートとツール呼び出しを検証してから、オリジナルと比較してメモリ使用量と出力品質を測定してください。カスタムリポジトリを読み込む前に必要な信頼性チェックについては、コミュニティモデル、チャットテンプレート、リモートコードを確認するガイドをご覧ください。

小型のコンシューマー向けGPUでは、実行環境が検証済みの小型モデルから始めるほうが簡単な場合がよくあります。アクティブパラメーター数だけで選ぶのではなく、AIモデルのハードウェア要件ディレクトリで各種デプロイを比較してください。

公式のローカルvLLMサーバーを起動するには?

ドキュメントに記載された方法では、あらゆる標準vLLMイメージが使えると想定するのではなく、maxwellmodel/vllm-openai:v0.30.0を使用します。モデルカードによると、CUDA 13.0環境ではNVIDIAドライバー580以降が必要で、古いドライバー向けのCUDA互換環境オプションも案内されています。ただし、そのオプションを使う場合も、GPUとドライバーの組み合わせに互換性が必要です。NVIDIAの互換性要件の確認に代わるものではありません。

NVIDIA GPUに対応したDockerをインストールし、nvidia-smiを確認してから、Hugging Face CLIで公式リポジトリをダウンロードします。

export MODEL_DIR="$PWD/Maxwell-V1-Flash"
hf download maxwell-model/Maxwell-V1-Flash --local-dir "$MODEL_DIR"

以下は、最初にローカル環境のみで8Kのテストを行うために、公式の起動コマンドを調整したものです。ドキュメントに記載されたイメージ、ブロックサイズ、パーサーはそのままに、コンテキストを小さくし、シーケンス数を1にして、ループバックアドレスにバインドしています。

docker run --rm --init \
  --name vllm-maxwell \
  --gpus all \
  --shm-size 8g \
  --network host \
  -v "$MODEL_DIR":/models/Maxwell-V1-Flash:ro \
  --entrypoint vllm \
  maxwellmodel/vllm-openai:v0.30.0 \
  serve /models/Maxwell-V1-Flash \
  --trust-remote-code \
  --block-size 128 \
  --served-model-name Maxwell-V1.0-Flash \
  --host 127.0.0.1 --port 8000 \
  --tensor-parallel-size 1 \
  --max-model-len 8192 \
  --max-num-seqs 1 \
  --reasoning-parser qwen3 \
  --enable-auto-tool-choice \
  --tool-call-parser qwen3_coder

単一GPUの設定は開発者の例に沿ったものであり、VRAM不足が解消されるわけではありません。チェックポイントを格納できない場合は、互換性のある大容量メモリのマシンを使用するか、並列サイズを変更する前に、開発者のイメージがマルチGPUに対応しているか確認してください。容量の合計が足りていても、2枚のカードが自動的に1つの共有メモリプールになるわけではありません。

この起動方法ではカスタムモデルコードを有効にするため、リポジトリとコンテナのソースを確認し、モデルのリビジョンとコンテナのダイジェストを記録してください。また、認証情報や無関係な個人用フォルダーをマウントしないでください。モデルを読み取り専用でマウントすると、チェックポイントディレクトリへの書き込みは制限されますが、GPUにアクセスできるコンテナのすべての機能がサンドボックス化されるわけではありません。

起動後、モデルのエンドポイントと短い補完リクエストを確認します。

curl http://127.0.0.1:8000/v1/models

curl http://127.0.0.1:8000/v1/chat/completions \
  -H 'Content-Type: application/json' \
  -d '{"model":"Maxwell-V1.0-Flash","messages":[{"role":"user","content":"NASのスナップショットについて、2文で説明してください。"}],"max_tokens":512}'

公式テンプレートでは、思考モードがデフォルトで有効になっています。出力トークンの上限が小さいと、画面に表示される回答の前に推論でトークンを使い切ることがあるため、最終回答が空だからといってモデルの故障と判断せず、推論フィールドと終了理由を確認してください。開発者の指示どおり、付属のテンプレートに従い、複数ターンのエージェント会話ではアシスタントの推論フィールドとツール呼び出しフィールドを保持してください。

長いコンテキストと複数ユーザーは、どのようにテストすればよいですか?

まず、再現可能な8Kのベースラインを記録します。モデルのリビジョン、イメージのダイジェスト、GPUのモデル、ドライバー、精度、起動時のピークメモリ、定常時のメモリ、最初のトークンが出るまでの時間、生成スループットを記録してください。その後、設定上限を16Kまたは32Kに引き上げ、想定する実際のワークロードに近いプロンプトでテストします。サーバーが高い上限値で起動しても、長いプリフィルが正常に完了するとは限りません。

一度に変更する変数は1つにしてください。コンテキストをテストする間は同時実行数を1に固定し、その後、コンテキストを固定したままユーザー数を増やします。重みは共有されていても、独立した128Kのセッションを2つ実行するには、1つの場合より大幅に多くのキャッシュが必要になることがあります。出力トークンもコンテキスト全体の予算に含め、ツールのメッセージと推論履歴もトークン数に加えてください。

ドキュメントを扱う場合、検索拡張を使えばアーカイブ全体を何度も送信する必要性を減らせます。コーディングエージェントでは、生成ファイルと依存関係を除外し、完了した手順を要約して、作業ディレクトリを分けてください。当社の複数のコーディングエージェント向けGit worktreeガイドではリポジトリの分離方法を説明していますが、各エージェントに必要な推論メモリをなくすものではありません。

テストに失敗した場合は、ローダーまたは未対応カーネルのエラーと、読み込み、プレフィル、デコード中のメモリ不足を区別してください。ディスク容量を増やしても、GPUの割り当てエラーは解決できません。コンテキストを短くするとキャッシュへの負荷は軽減できますが、元の重みのサイズは小さくなりません。マシンや量子化設定を変更する前に、どの段階で失敗したかを記録してください。

Maxwell-V1.0-Flashに関するMaxwell Teamのベンチマーク概要を、公式モデルカードから転載
開発元が報告した性能ベンチマークを、公式モデルカードから転載。これらの結果は、ローカルGPUのメモリ容量やスループットの測定値ではありません。出典:Maxwell-V1-Flash公式モデルカード。

Maxwellの導入において、ZimaCube 2はどのような役割を果たしますか?

完全版の元モデルがあるというだけで、コンパクトなZimaシステムを購入するのは妥当ではありません。公式資料で示されている方法は、大容量メモリを備えたNVIDIA推論環境です。ZimaCube 2を、このチェックポイント、256Kのセッション、または任意の外部アクセラレーターに対応するホストとして保証されているかのように紹介すべきではありません。

ローカルAIワークフローにおけるストレージ側としてのZimaCube 2のより現実的な役割は、モデルアーカイブ、ドキュメント集、プロジェクトのバックアップ、評価結果を、別のGPUワークステーションやサーバーから利用できる状態に保つことです。選択したソフトウェアが対応していれば、GPUマシンが生成を処理する間、ストレージマシンで関連サービスをホストすることもできます。

予測可能な読み込みを実現するため、使用中のチェックポイントは推論マシンのローカルNVMeに保存し、ネットワークストレージがVRAMのように動作すると想定せず、NASはバージョン管理されたアーカイブとして使用してください。ZimaCube 2の正確な構成について、利用可能なRAM、対応サービス、ネットワーク、バックアップ用容量、物理的な拡張要件を確認してください。これはストレージとサービスに関する推奨であり、以下の製品カードがMaxwellの完全な計算要件を満たすという主張ではありません。

よくある質問

Maxwell-V1-Flashは本当に3Bモデルですか?

埋め込みを除くと、トークンごとに約30億のパラメータが有効になりますが、同じ基準で総パラメータ数は約350億です。エキスパートのチェックポイント全体を利用できる必要があります。元のsafetensorsファイルのサイズは約73.6 GBです。

元の重みをRTX 3090またはRTX 4090で実行できますか?

24GBのカード1枚では、元のチェックポイント全体をVRAMに載せられません。コミュニティ製の小型変換版には、動作実績のあるローダーとカーネルのサポートが別途必要です。一般的な4ビットのメモリ計算ツールだけで互換性があると判断しないでください。

80GBのGPUで256Kコンテキストに対応できますか?

元のチェックポイントでは、その想定で計画しないでください。例として、メインのBF16キャッシュだけで256K時にさらに22.5 GiBが必要になり、追加の割り当てを除いても重みとそのキャッシュで約91.1 GiBになります。短いコンテキストでの実験は、別のワークロードです。

Ollama、llama.cpp、Apple Silicon、またはCPUのみの推論を使えますか?

ここで確認した第一者提供の導入方法は、開発者のNVIDIA vLLMイメージです。その他の環境については、アーキテクチャごとに個別の根拠が必要です。変換版をダウンロードできることや、大容量のユニファイドメモリがあることだけでは、実用的な実行環境の証明にはなりません。

設定ファイルは512K対応の証拠になりますか?

いいえ。設定ファイルの524,288という位置数は、モデルカードでうたわれている256Kの対応とは異なります。より長いコンテキストを前提にする前に、品質、実行時のサポート、メモリをそれぞれ検証してください。

元の仕様と実行時要件はどこで確認できますか?

Maxwell-V1-Flashのモデルカード、公式チェックポイントファイル、MaxwellのGitHubリポジトリ、vLLM GPUのインストール要件を参照してください。開発者が固定しているイメージは、上流のvLLMドキュメントとは別に確認してください。

結論

Maxwell-V1-Flashは、総重量サイズに対して実際に計算に使われる部分がはるかに小さい一方、疎なアテンションでも会話履歴全体を保持するため、本格的なローカル推論プロジェクトです。元の73.6GBのチェックポイントを基準に予算を組み、実行時に十分な余裕を確保し、128K~256Kでの運用は別途容量テストが必要だと考えてください。

まずは開発者がサポートする環境と明記された8K上限を前提に、1つのリクエストで始めましょう。コンテキストを拡張したりハードウェアを追加購入したりする前に、実測してください。共有ストレージ、バックアップ、周辺サービスを含むアーキテクチャに合う場合はZimaCube 2を使用し、推論用GPUはモデルの実測要件に応じて選びましょう。

テクノロジー&AIハブ

続きを読む

Get More Builds Like This

Stay in the Loop

Get updates from Zima - new products, exclusive deals, and real builds from the community.

Stay in the Loop preferences

We respect your inbox. Unsubscribe anytime.