AI PCナビ使うAIと、させたい仕事に合うPC・Macを。
トップモデル別 › Mistral Nemo Japanese 12B

Mistral Nemo Japanese 12B を動かすPCスペック(必要VRAM・メモリ・速度の目安)

日本語追加学習の12B。VRAM 8〜12GB

8.9GB4bitで必要なメモリ(KV 8k込み)
VRAM 10GB最安で実用: GeForce RTX 3080 10GB
16GBMac最小構成: M2 Pro(16GB)
1,024,000最大コンテキスト(学習時)

量子化別の必要メモリ

ファイルサイズは Hugging Face(mmnga/cyberagent-Mistral-Nemo-Japanese-Instruct-2408-gguf) の実サイズ(事実)。KVキャッシュは8,192トークン・fp16でモデル構造(40層)から計算。必要メモリ合計には計算バッファを含みます。

量子化ファイルKV(8k)必要合計GPUならMacなら
2bit(IQ2_M)
品質劣化大。最後の手段
4.1GB1.3GB6.0GBVRAM 8GB〜16GB〜
2bit(Q2_K)
品質劣化大。最後の手段
4.5GB1.3GB6.3GBVRAM 8GB〜16GB〜
3bit(IQ3_M)
メモリ優先
5.3GB1.3GB7.2GBVRAM 8GB〜16GB〜
3bit(Q3_K_M)
メモリ優先
5.7GB1.3GB7.6GBVRAM 10GB〜16GB〜
4bit(IQ4_XS)
Q4_K_Mより一回り小さい
6.3GB1.3GB8.2GBVRAM 10GB〜16GB〜
4bit(Q4_K_M)
標準。迷ったらこれ
7.0GB1.3GB8.9GBVRAM 10GB〜16GB〜
5bit(Q5_K_M)
品質重視
8.1GB1.3GB10GBVRAM 12GB〜16GB〜
6bit(Q6_K)
ほぼ無劣化
9.4GB1.3GB11GBVRAM 12GB〜18GB〜
8bit(Q8_0)
無劣化に近い
12GB1.3GB14GBVRAM 16GB〜24GB〜

4bit(Q4_K_M)が動く機種と推定速度

速度はテキスト生成(tok/s)の推定。「較正」= 同機種のllama.cpp公開ベンチマークで実効係数を合わせた推定、「推定」= 同系統機種の係数を流用。10 tok/s で人が読む速さの約2倍です。

快適 20 tok/s以上(60機種)

CPUオフロードで動く(15機種・システムメモリ32GB想定)

動かない機種(4)を見る

Mistral Nemo Japanese 12Bを動かせるPC・Macを今日買うなら

PR: 以下は広告リンクを含みます(Amazonアソシエイト・各社アフィリエイト)。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

ぴったりデスクトップ(BTO)

RTX 5070(12GB)デスクトップ・メモリ32GB

SDXLの画像生成が快適。14BクラスのローカルLLMがGPU完結

RTX 5070(VRAM 12GB)・メモリ32GB・NVMe 1TB ・ 目安 20〜28万円

要件を満たす中で最も手頃

余裕を持つならデスクトップ(BTO)

RTX 5070 Ti(16GB)デスクトップ・メモリ32GB

FLUX・27B MoE・gpt-oss-20b。ローカルAIの定番ライン

RTX 5070 Ti(VRAM 16GB)・メモリ32GB・NVMe 2TB・電源750W ・ 目安 28〜38万円

将来の用途拡張(大きなモデル・並列エージェント)に余裕

別の形ならMac

Mac mini M4 Pro(メモリ48GB・SSD 1TB)

30BクラスのローカルLLMとエージェント並列運用を1台で。コスパの中心

M4 Pro・ユニファイドメモリ48GB・SSD 1TB・帯域273GB/s ・ 目安 30〜36万円

Macで同じ仕事をするなら

よくある質問

Mistral Nemo Japanese 12Bを動かすのに必要なVRAMは?

4bit量子化(4bit(Q4_K_M))でファイル7.0GB、8,192トークンのKVキャッシュを含めて約8.9GBが必要です。GPU単体ならGeForce RTX 3080 10GB(VRAM 10GB)から実用速度で動きます。

Mistral Nemo Japanese 12BはMacで動く?

動きます。ユニファイドメモリ16GB以上のApple Silicon(例: Apple M2 Pro(16GB))で4bit量子化が実用速度です。

このクラスの選び方: ローカルLLM(8Bクラス)に必要なPC / MacかWindowsか

手持ちのPCで判定する