Nemotron Nano 12B v2 を動かすPCスペック（必要VRAM・メモリ・速度の目安）

NVIDIA ・公開 2025-08 ・ 12.31Bパラメータ・データ更新 2026-10-02

NVIDIAのハイブリッド構造の12B。KVキャッシュが小さく長文向き。GPUなしのメモリ16GBのPCでも動く

7.9GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 10GB実用になるいちばん安いGPU: GeForce RTX 3080 10GB

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

1,048,576最大コンテキスト（学習時）

編集部の見立て

NVIDIAが一から学習した12Bで、考えてから答える推論と、考えずに答える通常応答を1つのモデルで切り替えます。配布元によれば9B v2はこの12Bを圧縮した版で、日本語向けの9B v2 Japaneseはその先にあります。Q4_K_Mの7GBに8kの文脈を足すと7.9GBで、RTX 3080 10GBなら推定70.3tok/s、M2 Pro（16GB）で21.7tok/s。

8GBのGPUではIQ4_XS（6.3GB）に落とす形になります。VRAM 10〜12GBか16GBのMacで、推論つきのエージェントを試したい人向け。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/nvidia_NVIDIA-Nemotron-Nano-12B-v2-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（62層・文脈全体を見る層は6層だけ）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	4.1GB	0.2GB	4.9GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	4.4GB	0.2GB	5.2GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	5.3GB	0.2GB	6.1GB	VRAM 8GB〜	16GB〜
3bit（Q3_K_M）メモリ優先	5.6GB	0.2GB	6.5GB	VRAM 8GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	6.3GB	0.2GB	7.2GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	7.0GB	0.2GB	7.9GB	VRAM 10GB〜	16GB〜
5bit（Q5_K_M）品質重視	8.2GB	0.2GB	9.1GB	VRAM 10GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	9.4GB	0.2GB	10GB	VRAM 11GB〜	16GB〜
8bit（Q8_0）無劣化に近い	12GB	0.2GB	13GB	VRAM 16GB〜	24GB〜
16bit（BF16）元精度	23GB	0.2GB	24GB	VRAM 32GB〜	48GB〜

モデルの構造と、必要メモリの増え方

Nemotron Nano 12B v2はNVIDIAが2025年8月に公開した12.31Bのモデルです。GGUFのヘッダには62層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。62層のうち注意機構でKVキャッシュを持つのは6層だけで、残り56層は線形注意やSSMなどKVを持たない層です。

KVヘッド8・head次元128で、同じ層数の一般的なモデルよりKVキャッシュが小さく済みます。1トークンあたりのKVキャッシュは約24KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで0.2GB、128Kトークンまで伸ばすと3.0GBです。

ライセンス表記: nvidia-open-model-license（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

62層のうち注意は6層で、KVは1トークン24KB。128kトークンで3GB、学習時上限の100万トークンでも約24GBです。RTX 3080 10GBの実効9.5GBに8kの文脈込みの7.9GBを置いても、残り1.6GBで6万トークン以上を足せる計算。思考の切り替えはシステムプロンプトの/thinkと/no_thinkで、ユーザー発話に書けばターン単位でも切り替わります。

何トークンまで考えるかの予算も指定でき、考えるのをやめさせると難しい問いでは正答率が少し下がると配布元は注記しています。推奨はtemperature 0.6、top_p 0.95。nemotron_hは新しい系統なので、llama.cppやLM Studioは対応後の版が要ります。

8GB機で日本語のツール呼び出しが目的なら、6.9GBの9B v2 Japaneseのほうが素直です。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはnemotron_hで、当サイト収録の204モデル中3本が同じ系統です。Nemotron-H系。大半の層がSSM（Mamba2）で、注意機構の層は数層だけです。KVキャッシュが小さく長文に向く一方、対応ツールは新しめの版が必要です。

配布元はbartowski/nvidia_NVIDIA-Nemotron-Nano-12B-v2-GGUF、元になったモデルはnvidia/NVIDIA-Nemotron-Nano-12B-v2です。

得意分野は推論（段階を踏んで考える処理）です。

同じNVIDIAのモデルでは、サイズの近いものにNemotron-Nano 9B v2 Japanese（8.89B）、Nemotron 3 Nano 4B（3.97B）、Nemotron 3.5 Lightning 30B-A3B（31.58B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（7.0GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全域注意が6層だけのハイブリッド構成なので、長文でもKVの増え方が緩やかです。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.1GB	7.8GB	VRAM 10GB〜	16GB〜
8,192既定	0.2GB	7.9GB	VRAM 10GB〜	16GB〜
16,384	0.4GB	8.1GB	VRAM 10GB〜	16GB〜
32,768	0.8GB	8.4GB	VRAM 10GB〜	16GB〜
65,536	1.5GB	9.2GB	VRAM 10GB〜	16GB〜
131,072	3.0GB	11GB	VRAM 12GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約0.8GBから約0.4GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Mistral Nemo Japanese 12B	CyberAgent	8.9GB	日本語追加学習の12B。VRAM 8〜12GB
Mistral Nemo 12B	Mistral AI	8.9GB	長文向け12B
Gemma 4 12B	Google	7.8GB	VRAM 12GBで日本語が上手い2026年版。Gemma 3 12Bの後継
Gemma 3 12B	Google	8.3GB	VRAM 12GBで日本語が上手い定番
Ministral 3 14B	Mistral AI	9.7GB	Mistralの14B。Apache 2.0。VRAM 10GB / Mac 16GBから
LLM-jp-3.1 13B	LLM-jp（国立情報学研究所）	15GB	国産のフルスクラッチ日本語モデル。VRAM 12GB