Nemotron 3 Nano 4B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

NVIDIA ・公開 2026-03 ・ 3.97Bパラメータ・データ更新 2026-10-02

NVIDIAのハイブリッド構造の4B。KVキャッシュが小さく長文向き。GPUなしのメモリ8GBでも動く

3.4GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 4GB実用になるいちばん安いGPU: GeForce RTX 3050 Laptop

8GB実用になるいちばん小さいMac: M2（8GB）

1,048,576最大コンテキスト（学習時）

編集部の見立て

NVIDIAがNemotron-Nano-9B-v2を圧縮して作った3.97Bで、Mamba-2とMLPの層に注意機構を4層だけ混ぜた構造です。配布元が挙げる用途はゲームのNPC、手元の音声アシスタント、IoTの自動化。重みはQ4_K_Mで2.7GB、8kの文脈を含めて3.4GBです。

RTX 2060 6GBで推定82.1tok/s、M2（8GB）で29.5tok/s、GPUなしのRyzen AI 300（16GB）でも24.3tok/sの快適域です。ただし対応言語は英語だけ。英語で動く小さな部品を組み込みたい開発者向けです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（unsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（42層・文脈全体を見る層は4層だけ）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.1GB	0.1GB	2.8GB	VRAM 4GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	2.3GB	0.1GB	3.0GB	VRAM 4GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	2.4GB	0.1GB	3.1GB	VRAM 4GB〜	8GB〜
4bit（Q4_K_M）標準。迷ったらこれ	2.7GB	0.1GB	3.4GB	VRAM 4GB〜	8GB〜
5bit（Q5_K_M）品質重視	2.9GB	0.1GB	3.7GB	VRAM 6GB〜	8GB〜
6bit（Q6_K）ほぼ無劣化	3.8GB	0.1GB	4.5GB	VRAM 6GB〜	8GB〜
8bit（Q8_0）無劣化に近い	3.9GB	0.1GB	4.7GB	VRAM 6GB〜	8GB〜
16bit（BF16）元精度	7.4GB	0.1GB	8.3GB	VRAM 10GB〜	16GB〜

モデルの構造と、必要メモリの増え方

Nemotron 3 Nano 4BはNVIDIAが2026年3月に公開した3.97Bのモデルです。GGUFのヘッダには42層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。42層のうち注意機構でKVキャッシュを持つのは4層だけで、残り38層は線形注意やSSMなどKVを持たない層です。

KVヘッド8・head次元128で、同じ層数の一般的なモデルよりKVキャッシュが小さく済みます。1トークンあたりのKVキャッシュは約16KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで0.1GB、128Kトークンまで伸ばすと2.0GBです。

このモデルを実際に使うなら

日本語で使うなら、同じ系譜のNemotron-Nano 9B v2 Japaneseを選ぶのが筋です。8kの文脈込みで6.9GBと倍近く重いものの、名前のとおり日本語向けの版で、この4Bは英語とプログラミング言語に限られます。答えの前に推論の過程を出すのが標準。

即答させるならチャットテンプレートでenable_thinkingをFalseにしますが、難しい問いでは精度が少し落ちると配布元は書いています。推奨値は推論でtemperature 1.0、ツール呼び出しで0.6、top_pはどちらも0.95。KVは1トークン16KBで、上限の262kトークンでも4GBです。

vLLMで動かすなら0.15.1以上。ライセンスはNVIDIA Nemotron Open Model Licenseです。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはnemotron_hで、当サイト収録の204モデル中3本が同じ系統です。Nemotron-H系。大半の層がSSM（Mamba2）で、注意機構の層は数層だけです。KVキャッシュが小さく長文に向く一方、対応ツールは新しめの版が必要です。

配布元はunsloth/NVIDIA-Nemotron-3-Nano-4B-GGUF、元になったモデルはnvidia/NVIDIA-Nemotron-3-Nano-4B-BF16です。

得意分野は推論（段階を踏んで考える処理）です。

同じNVIDIAのモデルでは、サイズの近いものにNemotron-Nano 9B v2 Japanese（8.89B）、Nemotron Nano 12B v2（12.31B）、Nemotron 3.5 Lightning 30B-A3B（31.58B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（2.7GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全域注意が4層だけのハイブリッド構成なので、長文でもKVの増え方が緩やかです。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.1GB	3.3GB	VRAM 4GB〜	8GB〜
8,192既定	0.1GB	3.4GB	VRAM 4GB〜	8GB〜
16,384	0.3GB	3.5GB	VRAM 6GB〜	8GB〜
32,768	0.5GB	3.8GB	VRAM 6GB〜	8GB〜
65,536	1.0GB	4.3GB	VRAM 6GB〜	8GB〜
131,072	2.0GB	5.3GB	VRAM 6GB〜	8GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約0.5GBから約0.3GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Qwen3-VL 4B	Alibaba	4.0GB	画像・画面を読ませる小型の4B。GPUなしのメモリ8GBでも動く
Qwen3 4B	Alibaba	4.0GB	4Bながら日本語が破綻しにくい。メモリ8GBのノートでも動く入門向け
Gemma 3 4B	Google	3.2GB	画像も読める小型。日本語も自然
Phi-4-mini 3.8B	Microsoft	3.9GB	GPUなしでも動く小型
Phi-3.5-mini 3.8B	Microsoft	5.8GB	Phi-4-mini以前の3.8B。MIT。GPUなしのメモリ16GBでも動く
Nanbeige4.2 3B	Nanbeige	3.8GB	エージェント用途向けに調整した小型3B。Apache 2.0。GPUなしのメモリ8GBのPCでも動く