トップ › モデル別 › Mistral Nemo Japanese 12B

Mistral Nemo Japanese 12B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

CyberAgent ・公開 2024-08 ・ 12.25Bパラメータ・データ更新 2026-10-02

日本語追加学習の12B。VRAM 8〜12GB

8.9GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 10GB実用になるいちばん安いGPU: GeForce RTX 3080 10GB

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

1,024,000最大コンテキスト（学習時）

編集部の見立て

2024年8月に出た、サイバーエージェントの日本語モデルでは古い部類の1本です。4bitで8kの文脈を含めると8.9GB。いちばん手頃に動くのはRTX 3080 10GB（推定65.5tok/s）で、8GBのカードではQ4_K_Mが溢れ、IQ3_M（5.3GB）まで落とす計算になります。

Apple M2 Pro（16GB）で推定20.2tok/s、GPUなしのRyzen AI 300では推定8.8tok/s。同じ会社から後に推論型の14Bや翻訳専用の7Bも出ているので、日本語で普通に対話する12Bが欲しい人に絞った選択肢です。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/cyberagent-Mistral-Nemo-Japanese-Instruct-2408-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（40層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	4.1GB	1.3GB	6.0GB	VRAM 8GB〜	16GB〜
2bit（Q2_K）品質劣化大。最後の手段	4.5GB	1.3GB	6.3GB	VRAM 8GB〜	16GB〜
3bit（IQ3_M）メモリ優先	5.3GB	1.3GB	7.2GB	VRAM 8GB〜	16GB〜
3bit（Q3_K_M）メモリ優先	5.7GB	1.3GB	7.6GB	VRAM 10GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	6.3GB	1.3GB	8.2GB	VRAM 10GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	7.0GB	1.3GB	8.9GB	VRAM 10GB〜	16GB〜
5bit（Q5_K_M）品質重視	8.1GB	1.3GB	10GB	VRAM 11GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	9.4GB	1.3GB	11GB	VRAM 12GB〜	18GB〜
8bit（Q8_0）無劣化に近い	12GB	1.3GB	14GB	VRAM 16GB〜	24GB〜

モデルの構造と、必要メモリの増え方

Mistral Nemo Japanese 12BはCyberAgentが2024年8月に公開した12.25Bのモデルです。GGUFのヘッダには40層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全40層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約160KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.3GB、128Kトークンまで伸ばすと20GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

同じ数字のモデルと、実際は何が違うか

元のMistral-Nemo 12Bに日本語を追加学習した版で、パラメータ構成も量子化後のサイズも元の版と同じです。そのため当サイトの表では、必要メモリも推定速度も元版と同じ値になります。違いは日本語の扱いに振られている点で、日本語で使うことがはっきりしているならこちらが候補になります。

ただし追加学習は得意分野を変える一方で、元の版が持っていた性質が変わることもあります。当サイトは品質を比較していないので、両方を同じ機材で試してから決めるのが確実です。

このモデルを実際に使うなら

日本語で使う12Bクラスとして、VRAM 8〜12GBの機材で扱える手頃な選択肢です。入門用のGPUを持っている人が、日本語での要約や下書きを試すのに向いています。日本語は同じ内容でも英語よりトークン数が多くなる傾向があるため、同じ文字数でもコンテキストを消費しやすい点は覚えておきましょう。長い文書を渡すなら、必要メモリが増えることを見込んでおく必要があります。KVキャッシュの量子化を有効にすると、同じ機材で扱える長さが伸びます。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はmmnga/cyberagent-Mistral-Nemo-Japanese-Instruct-2408-gguf、元になったモデルはcyberagent/cyberagent-Mistral-Nemo-Japanese-Instruct-2408です。

得意分野は日本語の文章です。

同じCyberAgentのモデルでは、サイズの近いものにDeepSeek-R1 Distill Qwen 14B Japanese（14.77B）、CAT-Translate 7B（7.49B）、DeepSeek-R1 Distill Qwen 32B Japanese（32.76B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（7.0GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.6GB	8.3GB	VRAM 10GB〜	16GB〜
8,192既定	1.3GB	8.9GB	VRAM 10GB〜	16GB〜
16,384	2.5GB	10GB	VRAM 11GB〜	16GB〜
32,768	5.0GB	13GB	VRAM 16GB〜	24GB〜
65,536	10GB	18GB	VRAM 20GB〜	32GB〜
131,072	20GB	28GB	VRAM 32GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約5.0GBから約2.5GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Mistral Nemo 12B	Mistral AI	8.9GB	長文向け12B
Nemotron Nano 12B v2	NVIDIA	7.9GB	NVIDIAのハイブリッド構造の12B。KVキャッシュが小さく長文向き。GPUなしのメモリ16GBのPCでも動く
Gemma 4 12B	Google	7.8GB	VRAM 12GBで日本語が上手い2026年版。Gemma 3 12Bの後継
Gemma 3 12B	Google	8.3GB	VRAM 12GBで日本語が上手い定番
Ministral 3 14B	Mistral AI	9.7GB	Mistralの14B。Apache 2.0。VRAM 10GB / Mac 16GBから
LLM-jp-3.1 13B	LLM-jp（国立情報学研究所）	15GB	国産のフルスクラッチ日本語モデル。VRAM 12GB