Qwen3-Swallow 8B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Swallow（東京科学大学・産総研）・公開 2026-01 ・ 8.19Bパラメータ・データ更新 2026-10-02

Qwen3 8Bの日本語強化版。4bitならVRAM 8GBに収まる

6.5GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

40,960最大コンテキスト（学習時）

編集部の見立て

Qwen3 8Bを日本語向けに鍛え直した推論型で、Swallowが8B・30B-A3B・32Bの3サイズで出したうちの一番小さいものです。4bitで8kの会話を含めて6.5GB。VRAM 8GBのGeForce RTX 3070 Tiなら推定78.3tok/s、Apple M2 Pro（16GB）なら推定29.3tok/s。

GPUなしのRyzen AI 300（16GB）は推定12.8tok/sで、毎回考えてから答える型には少し物足りない速さです。8GB級のGPUに日本語の推論型を入れたい人の、最初の候補になります。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga-o/Qwen3-Swallow-8B-RL-v0.2-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（36層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
3bit（IQ3_M）メモリ優先	3.6GB	1.1GB	5.4GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.8GB	1.1GB	5.6GB	VRAM 8GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.2GB	1.1GB	6.0GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.7GB	1.1GB	6.4GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.4GB	1.1GB	7.2GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	6.3GB	1.1GB	8.1GB	VRAM 10GB〜	16GB〜
8bit（Q8_0）無劣化に近い	8.1GB	1.1GB	10.0GB	VRAM 11GB〜	16GB〜

モデルの構造と、必要メモリの増え方

Qwen3-Swallow 8BはSwallow（東京科学大学・産総研）が2026年1月に公開した8.19Bのモデルです。GGUFのヘッダには36層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全36層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約144KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.1GB、学習時の上限40,960トークンまで伸ばすと5.6GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

元のQwen3 8Bにあった/think・/no_thinkによる切り替えは、このモデルでは使えません。配布元は常に推論する設計と明記しています。短い質問にすぐ答えてほしいなら、考える過程を出さないLlama 3.1 Swallow 8B（6.2GB）を並べて置く形が現実的。

生成設定はTemperature 0.6・TopP 0.95・TopK 20・MinP 0が推奨で、generation_config.jsonの既定値と同じです。8GBのGPUにQ4_K_M（4.7GB）を読み込むと、KVに回せるのは2GB強。1トークン144KBなので、会話は1.5万トークンあたりが上限になります。Q8_0（8.1GB）は8GBのVRAMに載りません。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen3で、当サイト収録の204モデル中10本が同じ系統です。Qwen3系。前世代から構造が更新され、対応するツールの版数を選ぶことがあります。

配布元はmmnga-o/Qwen3-Swallow-8B-RL-v0.2-gguf、元になったモデルはtokyotech-llm/Qwen3-Swallow-8B-RL-v0.2です。

得意分野は推論（段階を踏んで考える処理）、日本語の文章です。

同じSwallow（東京科学大学・産総研）のモデルでは、サイズの近いものにLlama 3.1 Swallow 8B（8.03B）、Gemma-2-Llama-Swallow 9B（9.24B）、GPT-OSS-Swallow 20B（20.91B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.7GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.6GB	5.9GB	VRAM 8GB〜	16GB〜
8,192既定	1.1GB	6.4GB	VRAM 8GB〜	16GB〜
16,384	2.3GB	7.6GB	VRAM 10GB〜	16GB〜
32,768	4.5GB	9.8GB	VRAM 11GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.5GBから約2.3GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Shisa V2.1 Qwen3 8B	Shisa.AI	6.4GB	Qwen3 8Bを日英バイリンガルに調整。VRAM 8GB
Qwen3-VL 8B	Alibaba	6.4GB	画像・画面・書類を読ませる用途の8B。VRAM 8GB
DeepSeek-R1-0528 Qwen3 8B	DeepSeek	6.4GB	R1蒸留の改良版8B
Qwen3 8B	Alibaba	6.4GB	VRAM 8GBクラスの定番。日本語チャットの最初の1本
Apertus 8B	Swiss AI	6.4GB	学習データまで公開したスイスの8B。1000以上の言語に対応。Apache 2.0。GPUなしのメモリ16GBのPCでも動く
Llama 3.1 Swallow 8B	Swallow（東京科学大学・産総研）	6.2GB	Llama 3.1 8Bの日本語強化版（v0.5）。VRAM 8GB