Mistral Nemo 12B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Mistral AI ・公開 2024-07 ・ 12.25Bパラメータ・データ更新 2026-10-02

長文向け12B

8.9GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 10GB実用になるいちばん安いGPU: GeForce RTX 3080 10GB

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

1,024,000最大コンテキスト（学習時）

編集部の見立て

Mistral AIとNVIDIAが共同で学習した12Bで、配布元はMistral 7Bの置き換えとして使える設計と説明しています。ライセンスはApache 2.0、学習データは多言語とコードの比率が高め。4bitで8kの文脈を含めて8.9GBなので、RTX 3080 10GBなら推定65.5tok/s、Macは16GBのM2 Proから動き推定20.2tok/sです。

推奨temperatureは0.3と低く、出力を抑える仕組みは持たないと明記。2024年7月のモデルで、同じ12B級には2026年のGemma 4 12B（必要7.8GB）もある。安全側の制御を自分で組める開発者向けの素材です。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/Mistral-Nemo-Instruct-2407-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（40層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	4.1GB	1.3GB	6.0GB	VRAM 8GB〜	16GB〜
2bit（Q2_K）品質劣化大。最後の手段	4.5GB	1.3GB	6.3GB	VRAM 8GB〜	16GB〜
3bit（IQ3_M）メモリ優先	5.3GB	1.3GB	7.2GB	VRAM 8GB〜	16GB〜
3bit（Q3_K_M）メモリ優先	5.7GB	1.3GB	7.6GB	VRAM 10GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	6.3GB	1.3GB	8.2GB	VRAM 10GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	7.0GB	1.3GB	8.9GB	VRAM 10GB〜	16GB〜
5bit（Q5_K_M）品質重視	8.1GB	1.3GB	10GB	VRAM 11GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	9.4GB	1.3GB	11GB	VRAM 12GB〜	18GB〜
8bit（Q8_0）無劣化に近い	12GB	1.3GB	14GB	VRAM 16GB〜	24GB〜
16bit（F16）元精度	23GB	1.3GB	25GB	VRAM 32GB〜	48GB〜

モデルの構造と、必要メモリの増え方

Mistral Nemo 12BはMistral AIが2024年7月に公開した12.25Bのモデルです。GGUFのヘッダには40層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全40層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約160KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.3GB、128Kトークンまで伸ばすと20GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

同じ数字のモデルと、実際は何が違うか

日本語追加学習版（Mistral-Nemo Japanese 12B）とは、総パラメータも量子化後のサイズも同じです。当サイトの必要メモリと推定速度は両者で一致します。違うのは学習データで、こちらは元の版。多言語の対話向けに作られており、日本語も扱えますが、日本語に振った版とは出力の傾向が変わります。手元で動くかどうかの判断では区別がつかないので、同じ機材で両方を試して選ぶのが確実です。

このモデルを実際に使うなら

12Bクラスなので、4bitならVRAM 8〜12GBの機材で扱えます。この帯は選択肢が多く、入門用のGPUでも動く範囲です。長いコンテキストを扱える設計になっている点がこのモデルの特徴で、長文の要約や資料の読み込みに向きます。ただしコンテキストを伸ばした分だけKVキャッシュが増えるので、8GBの機材では途中で溢れることがあります。当サイトのコンテキスト別の表で、実際に使う長さでの必要メモリを先に確認しておきましょう。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はbartowski/Mistral-Nemo-Instruct-2407-GGUF、元になったモデルはmistralai/Mistral-Nemo-Instruct-2407です。

同じMistral AIのモデルでは、サイズの近いものにMinistral 3 14B（13.51B）、Ministral 3 8B（8.49B）、Mistral 7B v0.3（7.25B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（7.0GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.6GB	8.3GB	VRAM 10GB〜	16GB〜
8,192既定	1.3GB	8.9GB	VRAM 10GB〜	16GB〜
16,384	2.5GB	10GB	VRAM 11GB〜	16GB〜
32,768	5.0GB	13GB	VRAM 16GB〜	24GB〜
65,536	10GB	18GB	VRAM 20GB〜	32GB〜
131,072	20GB	28GB	VRAM 32GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約5.0GBから約2.5GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Mistral Nemo Japanese 12B	CyberAgent	8.9GB	日本語追加学習の12B。VRAM 8〜12GB
Nemotron Nano 12B v2	NVIDIA	7.9GB	NVIDIAのハイブリッド構造の12B。KVキャッシュが小さく長文向き。GPUなしのメモリ16GBのPCでも動く
Gemma 4 12B	Google	7.8GB	VRAM 12GBで日本語が上手い2026年版。Gemma 3 12Bの後継
Gemma 3 12B	Google	8.3GB	VRAM 12GBで日本語が上手い定番
Ministral 3 14B	Mistral AI	9.7GB	Mistralの14B。Apache 2.0。VRAM 10GB / Mac 16GBから
LLM-jp-3.1 13B	LLM-jp（国立情報学研究所）	15GB	国産のフルスクラッチ日本語モデル。VRAM 12GB