トップ › モデル別 › Nemotron 3.5 Lightning 30B-A3B

Nemotron 3.5 Lightning 30B-A3B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

NVIDIA ・公開 2026-08 ・ 31.58Bパラメータ（MoE・アクティブ3B）・データ更新 2026-10-02

NVIDIA製のハイブリッドMoE（アクティブ3B）。長文でもKVキャッシュが膨らみにくい構造

33GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 48GB実用になるいちばん安いGPU: RTX 6000 Ada

48GB実用になるいちばん小さいMac: M5 Max（48GB）

1,048,576最大コンテキスト（学習時）

編集部の見立て

長い資料を丸ごと読ませたい人に向く構造です。NVIDIAが2026年8月に公開した総30BのMoEで、1トークンごとに動くのは3B。52層のうちKVを持つのは6層だけで、1トークン6KBなら100万トークンでもKVは約6GBに収まります。難点は量子化の選択肢が少ないこと。

当サイトが把握しているGGUFはQ8_0（31.3GB）とBF16だけで、8kの文脈を足すと32.8GBが要ります。RTX 5090（32GB）でも1.3GB不足。Apple M5 Max（48GB）なら推定93.3tok/sで余裕があります。

量子化別の必要メモリ

ファイルサイズは Hugging Face（ggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（52層・文脈全体を見る層は6層だけ）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
8bit（Q8_0）無劣化に近い	31GB	0.0GB	33GB	VRAM 48GB〜	48GB〜
16bit（BF16）元精度	59GB	0.0GB	61GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

Nemotron 3.5 Lightning 30B-A3BはNVIDIAが2026年8月に公開した31.58Bのモデルです。GGUFのヘッダには52層と書かれており、総パラメータ31.58Bのうち、1トークンの生成で実際に読むのは約3Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

52層のうち注意機構でKVキャッシュを持つのは6層だけで、残り46層は線形注意やSSMなどKVを持たない層です。KVヘッド2・head次元128で、同じ層数の一般的なモデルよりKVキャッシュが小さく済みます。1トークンあたりのKVキャッシュは約6.0KB（fp16）で、コンテキスト長にそのまま比例します。

実際の値は、8,192トークンで0.0GB、128Kトークンまで伸ばすと0.8GBです。

このモデルを実際に使うなら

このBF16版は、配布元の位置づけでは追加学習や自前の量子化に使う元データです。推論向けにはNVFP4版が別に用意され、RTX 5090やDGX Spark向けのGGUFはggml-orgが配っています。単体GPUのない構成では、Ryzen AI Max+ 395（64GB）が推定28.7tok/s。

24GBのRTX 4090には9.3GB届かず、4bitのGGUFが出るまで待つか、同じアクティブ3BのQwen3 30B-A3B（4bitで19.1GB）やLLM-jp-4 32B-A3B thinking（21.5GB）に回るのが手堅い。思考の有無はチャットテンプレートのenable_thinkingで切り替え、推奨はTemperature 1.0とTop_P 0.95です。

対応言語6つに日本語が入っています。ライセンスはOpenMDW-1.1で、商用利用可と明記されています。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはnemotron_h_moeで、当サイト収録の204モデル中2本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はggml-org/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-GGUF、元になったモデルはnvidia/NVIDIA-Nemotron-3.5-Lightning-30B-A3B-BF16です。

同じNVIDIAのモデルでは、サイズの近いものにNemotron 3 Nano Omni 30B-A3B（31.58B）、Nemotron Nano 12B v2（12.31B）、Nemotron-Nano 9B v2 Japanese（8.89B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。8bit（Q8_0）（31GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全域注意が6層だけのハイブリッド構成なので、長文でもKVの増え方が緩やかです。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.0GB	33GB	VRAM 48GB〜	48GB〜
8,192既定	0.0GB	33GB	VRAM 48GB〜	48GB〜
16,384	0.1GB	33GB	VRAM 48GB〜	48GB〜
32,768	0.2GB	33GB	VRAM 48GB〜	48GB〜
65,536	0.4GB	33GB	VRAM 48GB〜	48GB〜
131,072	0.8GB	33GB	VRAM 48GB〜	48GB〜

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Nemotron 3 Nano Omni 30B-A3B	NVIDIA	23GB	Mamba2とTransformerのハイブリッドMoE（アクティブ約3B）。画像・音声の入力にも対応。VRAM 20GB / Mac 32GBから
EXAONE 4.0.1 32B	LG AI Research	20GB	LGの32B（dense型）。推論モードを切り替えられる。VRAM 20GB / Mac 32GBから
LLM-jp-4 32B-A3B thinking	LLM-jp（国立情報学研究所）	22GB	国産フルスクラッチのMoE（アクティブ3B）。VRAM 20GB級のGPUやMac 32GBで速く動く
Granite 4.0 H-Small 32B-A9B	IBM	19GB	Mamba系の層を混ぜたIBMのMoE（総32B・アクティブ9B）。Apache 2.0。VRAM 20GB / Mac 32GBから
Olmo 3.1 32B	Ai2	20GB	学習過程まで公開したAi2の32B（dense型）。Apache 2.0。VRAM 20GB / Mac 32GBから
Aya Expanse 32B	Cohere	21GB	日本語を含む23言語向けの32B。CC BY-NC。VRAM 20GB / Mac 32GBから