Gemma 3 12B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Google ・公開 2025-03 ・ 11.77Bパラメータ・データ更新 2026-10-02

VRAM 12GBで日本語が上手い定番

8.3GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 10GB実用になるいちばん安いGPU: GeForce RTX 3080 10GB

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

131,072最大コンテキスト（学習時）

編集部の見立て

Googleが2025年3月に公開したGemma 3の12Bで、文章に加えて画像も入力できます。標準のQ4_K_M（6.8GB）に8k分の文脈を足すと8.3GBになり、VRAM 8GBでは足りません。現実的なのは10GB以上のGPUか16GBのMacから。推定速度はRTX 3080 10GBが69tok/s、Apple M2 Pro（16GB）が21.3tok/s、GPUなしのRyzen AI 300（16GB）でも9.3tok/sと実用の範囲です。

2026年7月に同じ12B級のGemma 4 12Bが出たので、今選ぶなら後継と並べて考えましょう。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/google_gemma-3-12b-it-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（48層・うち40層は直近の範囲だけを見る層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	4.0GB	0.8GB	5.4GB	VRAM 6GB〜	16GB〜
2bit（Q2_K）品質劣化大。最後の手段	4.4GB	0.8GB	5.9GB	VRAM 8GB〜	16GB〜
3bit（IQ3_M）メモリ優先	5.3GB	0.8GB	6.7GB	VRAM 8GB〜	16GB〜
3bit（Q3_K_M）メモリ優先	5.6GB	0.8GB	7.1GB	VRAM 8GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	6.1GB	0.8GB	7.6GB	VRAM 10GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	6.8GB	0.8GB	8.3GB	VRAM 10GB〜	16GB〜
5bit（Q5_K_M）品質重視	7.9GB	0.8GB	9.4GB	VRAM 10GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	9.0GB	0.8GB	11GB	VRAM 12GB〜	16GB〜
8bit（Q8_0）無劣化に近い	12GB	0.8GB	13GB	VRAM 16GB〜	24GB〜
16bit（BF16）元精度	22GB	0.8GB	24GB	VRAM 32GB〜	36GB〜

モデルの構造と、必要メモリの増え方

Gemma 3 12BはGoogleが2025年3月に公開した11.77Bのモデルです。GGUFのヘッダには48層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。注意機構は混合型で、全域注意が8層、残り40層は窓1,024トークンのスライディングウィンドウです。

コンテキストに比例して増えるのは全域注意の8層ぶん（1トークンあたり約64KB）だけで、スライディングウィンドウの40層は窓1,024トークンぶん（約0.3GB）で頭打ちになります。実際の値は、8,192トークンで0.8GB、学習時の上限131,072トークンまで伸ばすと8.3GBです。

ライセンス表記: gemma（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

画像を読ませるには、本体のGGUFとは別にmmprojファイルが要ります。bartowskiの配布ではf16版が854MB、f32版が1.69GB。RTX 3080 10GBの実効9.5GBに8.3GBの本体とf16版を足すと、残りは0.3GB台しかありません。

ライセンスはGemma独自のもので、Apache 2.0のモデルと同じ感覚では扱えない。業務に組み込む前に利用条件へ目を通しておくのが確実です。KVは1トークン64KBと軽めで、32,768トークンで約2GB、学習時の上限131,072トークンまで広げると約8GB。

長文用途なら同じGoogleのGemma 4 12Bや、同サイズのMistral Nemo Japanese 12B（CyberAgent）と比べて選ぶ形になります。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはgemma3で、当サイト収録の204モデル中5本が同じ系統です。Gemma3系。全域注意とスライディングウィンドウを混ぜ、長文でのメモリ増加を抑えています。

配布元はbartowski/google_gemma-3-12b-it-GGUF、元になったモデルはgoogle/gemma-3-12b-itです。

得意分野は画像を含む文書の読み取り、日本語の文章です。

同じGoogleのモデルでは、サイズの近いものにGemma 4 12B（11.91B）、Gemma 2 9B（9.24B）、Gemma 4 E4B（7.52B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（6.8GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。このモデルは48層のうち40層がスライディングウィンドウ注意（窓1,024トークン）なので、長くしてもKVが伸びにくい構造です。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.6GB	8.1GB	VRAM 10GB〜	16GB〜
8,192既定	0.8GB	8.3GB	VRAM 10GB〜	16GB〜
16,384	1.3GB	8.8GB	VRAM 10GB〜	16GB〜
32,768	2.3GB	9.8GB	VRAM 11GB〜	16GB〜
65,536	4.3GB	12GB	VRAM 16GB〜	18GB〜
131,072	8.3GB	16GB	VRAM 20GB〜	24GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約2.3GBから約1.2GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Gemma 4 12B	Google	7.8GB	VRAM 12GBで日本語が上手い2026年版。Gemma 3 12Bの後継
Mistral Nemo Japanese 12B	CyberAgent	8.9GB	日本語追加学習の12B。VRAM 8〜12GB
Mistral Nemo 12B	Mistral AI	8.9GB	長文向け12B
Nemotron Nano 12B v2	NVIDIA	7.9GB	NVIDIAのハイブリッド構造の12B。KVキャッシュが小さく長文向き。GPUなしのメモリ16GBのPCでも動く
Ministral 3 14B	Mistral AI	9.7GB	Mistralの14B。Apache 2.0。VRAM 10GB / Mac 16GBから
LLM-jp-3.1 13B	LLM-jp（国立情報学研究所）	15GB	国産のフルスクラッチ日本語モデル。VRAM 12GB