Gemma-2-Llama-Swallow 9B を動かすPCスペック(必要VRAM・メモリ・速度の目安)
Gemma 2 9Bの日本語強化版。4bitならVRAM 8GBに収まる
編集部の見立て
Gemma 2 9Bの日本語強化版で、Swallowが2B・9B・27Bの3サイズで出した中間です。VRAM 8GBのGPUを持つ人には注意点が一つ。4bitに8kの文脈を足すと8GBになり、実効7.5GBに0.5GB届きません。DBで収まるGPUのうち最も手頃なのはRTX 3080 10GB(推定78.3tok/s)、ノートならRTX 5070 Ti Laptop(12GB)。
MacはM2 Pro(16GB)で推定24.2tok/s、GPUなしのRyzen AI 300(16GB)でも推定10.6tok/sが出ます。
量子化別の必要メモリ
ファイルサイズは Hugging Face(mmnga/Gemma-2-Llama-Swallow-9b-it-v0.1-gguf) に置かれている実際のファイルサイズです。KVキャッシュ(会話の作業メモリ)は8,192トークン・fp16として、モデルの構造(42層・うち21層は直近の範囲だけを見る層)から計算しています。必要メモリの合計には計算用のバッファも含めています。
| 量子化 | ファイル | KVキャッシュ(8k) | 必要合計 | GPUなら | Macなら |
|---|---|---|---|---|---|
| 2bit(IQ2_M) 品質劣化大。最後の手段 | 3.2GB | 2.0GB | 5.8GB | VRAM 8GB〜 | 16GB〜 |
| 2bit(Q2_K) 品質劣化大。最後の手段 | 3.5GB | 2.0GB | 6.1GB | VRAM 8GB〜 | 16GB〜 |
| 3bit(IQ3_M) メモリ優先 | 4.2GB | 2.0GB | 6.8GB | VRAM 8GB〜 | 16GB〜 |
| 3bit(Q3_K_M) メモリ優先 | 4.4GB | 2.0GB | 7.0GB | VRAM 8GB〜 | 16GB〜 |
| 4bit(IQ4_XS) Q4_K_Mより一回り小さい | 4.8GB | 2.0GB | 7.4GB | VRAM 8GB〜 | 16GB〜 |
| 4bit(Q4_K_M) 標準。迷ったらこれ | 5.4GB | 2.0GB | 8.0GB | VRAM 10GB〜 | 16GB〜 |
| 5bit(Q5_K_M) 品質重視 | 6.2GB | 2.0GB | 8.8GB | VRAM 10GB〜 | 16GB〜 |
| 6bit(Q6_K) ほぼ無劣化 | 7.1GB | 2.0GB | 9.7GB | VRAM 11GB〜 | 16GB〜 |
| 8bit(Q8_0) 無劣化に近い | 9.2GB | 2.0GB | 12GB | VRAM 16GB〜 | 18GB〜 |
モデルの構造と、必要メモリの増え方
Gemma-2-Llama-Swallow 9BはSwallow(東京科学大学・産総研)が2025年4月に公開した9.24Bのモデルです。GGUFのヘッダには42層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。
注意機構は混合型で、全域注意が21層、残り21層は窓4,096トークンのスライディングウィンドウです。コンテキストに比例して増えるのは全域注意の21層ぶん(1トークンあたり約168KB)だけで、スライディングウィンドウの21層は窓4,096トークンぶん(約0.7GB)で頭打ちになります。
実際の値は、8,192トークンで2.0GB、学習時の上限8,192トークンまで伸ばすと2.0GBです。
ライセンス表記: gemma(層数と窓の大きさはGGUFヘッダから取得)
このモデルを実際に使うなら
8GBのGPUで動かす道は2つあります。1つは文脈を4,096トークンに縮める方法で、全域注意21層ぶんのKVが半分になり、Q4_K_M(5.4GB)でも7.3GB前後に収まる計算。もう1つはIQ4_XS(4.8GB)に下げて8kを保つ方法ですが、残りは0.1GB程度しかありません。
学習時の文脈長が8,192トークンなので、長くするほうの選択肢はそもそもない。同じSwallowの8B級では、推論型のQwen3-Swallow 8Bが6.5GB、即答型のLlama 3.1 Swallow 8Bが6.2GBで、どちらも8GBのVRAMに無理なく載ります。Gemma由来の利用規約が付く点も、選ぶ前に比べておきたい違いです。
このモデルの系統
GGUFヘッダに書かれたアーキテクチャはgemma2で、当サイト収録の204モデル中4本が同じ系統です。Gemma2系。スライディングウィンドウ注意を使い、長いコンテキストでもKVキャッシュが膨らみにくい構造です。
配布元はmmnga/Gemma-2-Llama-Swallow-9b-it-v0.1-gguf、元になったモデルはtokyotech-llm/Gemma-2-Llama-Swallow-9b-it-v0.1です。
得意分野は日本語の文章です。
同じSwallow(東京科学大学・産総研)のモデルでは、サイズの近いものにQwen3-Swallow 8B(8.19B)、Llama 3.1 Swallow 8B(8.03B)、GPT-OSS-Swallow 20B(20.91B)があります。
コンテキスト長を伸ばすと必要メモリはどう増えるか
長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit(Q4_K_M)(5.4GB)を前提に、コンテキスト長ごとの必要メモリを計算しました。このモデルは42層のうち21層がスライディングウィンドウ注意(窓4,096トークン)なので、長くしてもKVが伸びにくい構造です。
| コンテキスト | KVキャッシュ | 必要合計 | 必要なGPU | 必要なMac |
|---|---|---|---|---|
| 4,096 | 1.3GB | 7.3GB | VRAM 8GB〜 | 16GB〜 |
| 8,192既定 | 2.0GB | 8.0GB | VRAM 10GB〜 | 16GB〜 |
KVキャッシュをq8_0に量子化すると、8,192トークンでのKVは約2.0GBから約1.0GBに減ります(品質はわずかに落ちます)。
同じサイズ帯の他のモデル
| モデル | 開発元 | 4bitで必要 | 一言 |
|---|---|---|---|
| Gemma 2 9B | 8.0GB | Gemma 2の9B。Swallow版など派生モデルの元。4bitならVRAM 8GBに収まる | |
| GLM-4.6V-Flash 9B | Z.ai | 6.7GB | 画像理解の軽量モデル |
| PLaMo 2 Translate | Preferred Networks | 5.2GB | 国産の翻訳専用モデル(約10B)。チャットではなく日英・英日の翻訳に使う |
| MiMo-V2.6-Distill-Qwen-9B | Xiaomi | 6.4GB | XiaomiがQwen3.5 9Bを自社MiMoの出力で追加学習したエージェント向け9B。MIT。4bitならVRAM 8GB / Mac 16GBから |
| Ornith 1.5 9B | ornith-ai | 6.4GB | Ornith 1.5の9B(dense型)。MIT。4bitならVRAM 8GBに収まり、GPUなしのメモリ16GBでも動く |
| UI-Mate 9B | Tencent | 6.4GB | 画面・UIの理解を名前に掲げた9B。ブラウザ操作エージェント向け。VRAM 8GBで動く |
4bit(Q4_K_M)が動く機種と推定速度
4bit(Q4_K_M)なら87機種で20 tok/s以上、20機種で8〜20 tok/s(テキスト生成の推定・計算方法)。
快適 20 tok/s以上(87機種)
- GeForce RTX 5090 約160 tok/s補正済み
- GeForce RTX 4090 約100 tok/s補正済み
- Apple M5 Ultra(96GB) 約100 tok/s推定
- Apple M5 Ultra(256GB) 約100 tok/s推定
- Apple M5 Ultra(512GB) 約100 tok/s推定
- GeForce RTX 5080 約100 tok/s補正済み
- GeForce RTX 5080 Laptop 約100 tok/s推定
- GeForce RTX 5070 Ti 約99 tok/s補正済み
- RTX 6000 Ada 約99 tok/s補正済み
- GeForce RTX 3080 12GB 約97 tok/s推定
- GeForce RTX 3080 Ti 約97 tok/s推定
- GeForce RTX 3090 Ti 約96 tok/s補正済み
- GeForce RTX 3090 約89 tok/s補正済み
- GeForce RTX 5090 Laptop 約88 tok/s補正済み
- Radeon RX 7900 XTX 約85 tok/s推定
- GeForce RTX 4080 SUPER 約83 tok/s補正済み
- GeForce RTX 4080 約80 tok/s補正済み
- GeForce RTX 3080 10GB 約78 tok/s補正済み
- GeForce RTX 5070 Ti Laptop 約76 tok/s推定
- GeForce RTX 4070 Ti SUPER 約74 tok/s補正済み
- Apple M5 Max(48GB) 約73 tok/s補正済み
- Apple M5 Max(64GB) 約73 tok/s補正済み
- Apple M5 Max(128GB) 約73 tok/s補正済み
- GeForce RTX 5070 約72 tok/s補正済み
- Radeon RX 7900 XT 約70 tok/s推定
- Apple M2 Ultra(64GB) 約70 tok/s補正済み
- Apple M2 Ultra(128GB) 約70 tok/s補正済み
- Apple M2 Ultra(192GB) 約70 tok/s補正済み
- Apple M3 Ultra(96GB) 約67 tok/s補正済み
- Apple M3 Ultra(256GB) 約67 tok/s補正済み
- Apple M3 Ultra(512GB) 約67 tok/s補正済み
- GeForce RTX 4090 Laptop 約65 tok/s推定
- Apple M5 Max(36GB) 約64 tok/s補正済み
- Apple M1 Ultra(64GB) 約63 tok/s補正済み
- Apple M1 Ultra(128GB) 約63 tok/s補正済み
- GeForce RTX 2080 Ti 約60 tok/s補正済み
- GeForce RTX 3080 Ti Laptop 約58 tok/s推定
- Radeon RX 9070 XT 約57 tok/s推定
- Apple M4 Max(48GB) 約57 tok/s補正済み
- Apple M4 Max(64GB) 約57 tok/s補正済み
- ほか47機種
実用 8〜20 tok/s(20機種)
- Apple M5(16GB) 約19 tok/s推定
- Apple M5(24GB) 約19 tok/s推定
- Apple M5(32GB) 約19 tok/s推定
- Apple M3 Pro(18GB) 約18 tok/s補正済み
- Apple M3 Pro(36GB) 約18 tok/s補正済み
- Apple M4(16GB) 約14 tok/s補正済み
- Apple M4(24GB) 約14 tok/s補正済み
- Apple M4(32GB) 約14 tok/s補正済み
- Apple M2(16GB) 約13 tok/s補正済み
- Apple M2(24GB) 約13 tok/s補正済み
- Apple M3(16GB) 約12 tok/s補正済み
- Apple M3(24GB) 約12 tok/s補正済み
- AMD Ryzen AI 300(Strix Point・Copilot+ PC)(メモリ16GB) 約11 tok/s推定
- AMD Ryzen AI 300(Strix Point・Copilot+ PC)(メモリ32GB) 約11 tok/s推定
- AMD Ryzen AI 300(Strix Point・Copilot+ PC)(メモリ64GB) 約11 tok/s推定
- Intel Core Ultra 200V(Lunar Lake・Copilot+ PC)(メモリ16GB) 約9.0 tok/s推定
- Intel Core Ultra 200V(Lunar Lake・Copilot+ PC)(メモリ32GB) 約9.0 tok/s推定
- Snapdragon X Elite(Copilot+ PC)(メモリ16GB) 約8.9 tok/s推定
- Snapdragon X Elite(Copilot+ PC)(メモリ32GB) 約8.9 tok/s推定
- Apple M1(16GB) 約8.1 tok/s補正済み
遅い 動くが遅い(7機種)
- 一般的なデスクトップ/ノートPC(DDR5-5600・GPUなし)(メモリ16GB) 約5.9 tok/s推定
- 一般的なデスクトップ/ノートPC(DDR5-5600・GPUなし)(メモリ32GB) 約5.9 tok/s推定
- 一般的なデスクトップ/ノートPC(DDR5-5600・GPUなし)(メモリ64GB) 約5.9 tok/s推定
- 一般的なデスクトップ/ノートPC(DDR5-5600・GPUなし)(メモリ128GB) 約5.9 tok/s推定
- 一般的なデスクトップ/ノートPC(DDR4-3200・GPUなし)(メモリ16GB) 約3.4 tok/s推定
- 一般的なデスクトップ/ノートPC(DDR4-3200・GPUなし)(メモリ32GB) 約3.4 tok/s推定
- 一般的なデスクトップ/ノートPC(DDR4-3200・GPUなし)(メモリ64GB) 約3.4 tok/s推定
メモリに一部を逃がせば動く(24機種・CPUオフロード、PCのメモリ32GB想定)
- GeForce RTX 3070 Ti 約40 tok/s推定
- GeForce RTX 2080 SUPER 約35 tok/s推定
- GeForce RTX 3070 Laptop 約34 tok/s推定
- GeForce RTX 2070 SUPER 約34 tok/s補正済み
- GeForce RTX 3060 Ti 約33 tok/s推定
- GeForce RTX 3070 約33 tok/s推定
- GeForce RTX 5060 約33 tok/s推定
- GeForce RTX 5060 Ti 8GB 約33 tok/s推定
- GeForce RTX 2070 約33 tok/s推定
- GeForce RTX 2080 約33 tok/s推定
- GeForce RTX 5060 Laptop 約31 tok/s推定
- GeForce RTX 5070 Laptop 約31 tok/s推定
- GeForce RTX 4060 Ti 8GB 約27 tok/s補正済み
- GeForce RTX 5050 約26 tok/s推定
- GeForce RTX 2060 SUPER 約26 tok/s補正済み
- GeForce RTX 4060 約23 tok/s推定
- GeForce RTX 4060 Laptop 約23 tok/s推定
- GeForce RTX 4070 Laptop 約23 tok/s推定
- Radeon RX 7600 約21 tok/s推定
- GeForce RTX 3050 8GB 約20 tok/s推定
- ほか4機種
動かない機種(4)を見る
- Apple M1(8GB) あと2.6GB
- Apple M2(8GB) あと2.6GB
- Apple M3(8GB) あと2.6GB
- 一般的なデスクトップ/ノートPC(DDR4-3200・GPUなし)(メモリ8GB) あと2.6GB
今のPCのまま、Gemma-2-Llama-Swallow 9Bを動かすために足すもの
PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
NVMe SSD / 外付けSSD 2TB
Gemma-2-Llama-Swallow 9Bは4bit(IQ4_XS)で4.8GB、8bitのQ8_0なら9.2GB。精度違いを3種類そろえるだけで約13GB使います。何本か試すうちに、まず内蔵SSDが先に埋まります。Macは内蔵を増設できないので外付けが前提です。
GPUを1枚替える: RTX 5070(12GB)
「あと数GB足りない」を埋めるのに、PC一式を買い替える必要はありません。RTX 5070なら4bit(IQ4_XS)の8.0GBがVRAMに収まります。先に見るのは、今のケースに入る長さか、電源の容量と補助電源のコネクタが足りるかの2点です。
ローカルLLM / AIエージェント入門書
Gemma-2-Llama-Swallow 9BのようなGGUF版のモデルを落として動かす手順、量子化の選び方、Ollama と LM Studio の使い分けは、一冊まとまったものを手元に置くと早い。
Gemma-2-Llama-Swallow 9Bを動かせるPC・Macを今日買うなら
PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
RTX 5070(12GB)デスクトップ・メモリ32GB
SDXLの画像生成が快適。14BクラスのローカルLLMがGPUだけで動く
RTX 5070(VRAM 12GB)・メモリ32GB・NVMe 1TB ・ 目安 20〜28万円
要件を満たす中で最も手頃
RTX 5070 Ti(16GB)デスクトップ・メモリ32GB
FLUX、27B級のMoE型、gpt-oss-20bまで。ローカルAIの定番
RTX 5070 Ti(VRAM 16GB)・メモリ32GB・NVMe 2TB・電源750W ・ 目安 28〜38万円
将来の用途拡張(大きなモデル・並列エージェント)に余裕
Mac mini M4 Pro(メモリ48GB・SSD 1TB)
30BクラスのローカルLLMとエージェント並列運用を1台で。コスパの中心
M4 Pro・ユニファイドメモリ48GB・SSD 1TB・帯域273GB/s ・ 目安 30〜36万円
Macで同じ仕事をするなら
よくある質問
Gemma-2-Llama-Swallow 9Bを動かすのに必要なVRAMは?
4bit量子化(4bit(Q4_K_M))でファイル5.4GB、8,192トークンのKVキャッシュを含めて約8.0GBが必要です。GPU単体ならGeForce RTX 3080 10GB(VRAM 10GB)から実用速度で動きます。
Gemma-2-Llama-Swallow 9BはMacで動く?
動きます。ユニファイドメモリ16GB以上のApple Silicon(例: Apple M2 Pro(16GB))なら、4bit量子化で実用的な速さが出ます。
このクラスの選び方: ローカルLLM(8Bクラス)に必要なPC / MacかWindowsか