Gemma 2 9B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Google ・公開 2024-06 ・ 9.24Bパラメータ・データ更新 2026-10-02

Gemma 2の9B。Swallow版など派生モデルの元。4bitならVRAM 8GBに収まる

8.0GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 10GB実用になるいちばん安いGPU: GeForce RTX 3080 10GB

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

8,192最大コンテキスト（学習時）

編集部の見立て

Gemma 3より一世代前、2024年6月に出たGoogleの9Bです。いま選ぶ理由は、Gemma-2-Llama-Swallow 9Bのような派生モデルと元の姿を比べたいときが中心になります。8kの文脈込みで4bitでも8.0GBあり、VRAM 8GB（実効7.5GB）の枠には0.5GB足りません。

収まるのはRTX 3080 10GB（推定78.3tok/s）から。M2 Pro（16GB）で推定24.2tok/s、GPUなしのRyzen AI 300（16GB）では推定10.6tok/sです。10GB以上のGPUか16GBのMacを持つ人が、派生との違いを確かめるための1本。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/gemma-2-9b-it-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（42層・うち21層は直近の範囲だけを見る層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	3.2GB	2.0GB	5.8GB	VRAM 8GB〜	16GB〜
2bit（Q2_K）品質劣化大。最後の手段	3.5GB	2.0GB	6.1GB	VRAM 8GB〜	16GB〜
3bit（IQ3_M）メモリ優先	4.2GB	2.0GB	6.8GB	VRAM 8GB〜	16GB〜
3bit（Q3_K_M）メモリ優先	4.4GB	2.0GB	7.0GB	VRAM 8GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.8GB	2.0GB	7.4GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	5.4GB	2.0GB	8.0GB	VRAM 10GB〜	16GB〜
5bit（Q5_K_M）品質重視	6.2GB	2.0GB	8.8GB	VRAM 10GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	7.1GB	2.0GB	9.7GB	VRAM 11GB〜	16GB〜
8bit（Q8_0）無劣化に近い	9.2GB	2.0GB	12GB	VRAM 16GB〜	18GB〜

モデルの構造と、必要メモリの増え方

Gemma 2 9BはGoogleが2024年6月に公開した9.24Bのモデルです。GGUFのヘッダには42層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。注意機構は混合型で、全域注意が21層、残り21層は窓4,096トークンのスライディングウィンドウです。

コンテキストに比例して増えるのは全域注意の21層ぶん（1トークンあたり約168KB）だけで、スライディングウィンドウの21層は窓4,096トークンぶん（約0.7GB）で頭打ちになります。実際の値は、8,192トークンで2.0GB、学習時の上限8,192トークンまで伸ばすと2.0GBです。

ライセンス表記: gemma（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

最初につまずくのはシステムプロンプトです。GGUFの配布ページに、このモデルはシステムプロンプトに対応しないと書かれています。役割の指示は、最初のユーザー発言に混ぜて渡すしかありません。文脈の上限は8,192トークンで、Gemma 3の4B以上が持つ128Kとは桁が違う。

全域注意21層ぶんのKVは8kで約1.3GB、残る21層は4096トークンの窓で止まります。長い議事録を一度に渡す用途には向きません。ノート向けGPUで収まるのはRTX 5070 Ti Laptop（12GB）からで、推定75.8tok/s。8GBの枠に入れたいならIQ4_XS（4.8GB）で0.6GB減らす手はありますが、余白はほとんど残りません。ライセンスはGemmaの利用規約です。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはgemma2で、当サイト収録の204モデル中4本が同じ系統です。Gemma2系。スライディングウィンドウ注意を使い、長いコンテキストでもKVキャッシュが膨らみにくい構造です。

配布元はbartowski/gemma-2-9b-it-GGUF、元になったモデルはgoogle/gemma-2-9b-itです。

同じGoogleのモデルでは、サイズの近いものにGemma 4 E4B（7.52B）、Gemma 3n E4B（6.87B）、Gemma 3 12B（11.77B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（5.4GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。このモデルは42層のうち21層がスライディングウィンドウ注意（窓4,096トークン）なので、長くしてもKVが伸びにくい構造です。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.3GB	7.3GB	VRAM 8GB〜	16GB〜
8,192既定	2.0GB	8.0GB	VRAM 10GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、8,192トークンでのKVは約2.0GBから約1.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Gemma-2-Llama-Swallow 9B	Swallow（東京科学大学・産総研）	8.0GB	Gemma 2 9Bの日本語強化版。4bitならVRAM 8GBに収まる
GLM-4.6V-Flash 9B	Z.ai	6.7GB	画像理解の軽量モデル
PLaMo 2 Translate	Preferred Networks	5.2GB	国産の翻訳専用モデル（約10B）。チャットではなく日英・英日の翻訳に使う
MiMo-V2.6-Distill-Qwen-9B	Xiaomi	6.4GB	XiaomiがQwen3.5 9Bを自社MiMoの出力で追加学習したエージェント向け9B。MIT。4bitならVRAM 8GB / Mac 16GBから
Ornith 1.5 9B	ornith-ai	6.4GB	Ornith 1.5の9B（dense型）。MIT。4bitならVRAM 8GBに収まり、GPUなしのメモリ16GBでも動く
UI-Mate 9B	Tencent	6.4GB	画面・UIの理解を名前に掲げた9B。ブラウザ操作エージェント向け。VRAM 8GBで動く