Qwen2.5 32B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Alibaba ・公開 2024-09 ・ 32.76Bパラメータ・データ更新 2026-10-02

日本語追加学習モデルの土台に多く使われた32B。VRAM 20GB / Mac 32GBから

22GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

36GB実用になるいちばん小さいMac: M5 Max（36GB）

32,768最大コンテキスト（学習時）

編集部の見立て

日本語の追加学習モデルの土台として何度も使われてきた、Qwen2.5の汎用32Bです。ABEJA Qwen2.5 32BとELYZA-Shortcut-1.0 Qwen 32Bはどちらもこの指示調整版が元で、コード特化のQwen2.5-Coder 32Bとは同じ骨格を共有しています。

4bitと8kの文脈で21.5GBが要り、RTX 4090で推定34tok/s、M5 Max（36GB）で推定20.9tok/s。派生版と同じPCで動くので、素の挙動を手元に置いて差を見たい人向けです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/Qwen2.5-32B-Instruct-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（64層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	10GB	2.0GB	13GB	VRAM 16GB〜	24GB〜
2bit（Q2_K）品質劣化大。最後の手段	11GB	2.0GB	14GB	VRAM 16GB〜	24GB〜
3bit（IQ3_M）メモリ優先	14GB	2.0GB	17GB	VRAM 20GB〜	32GB〜
3bit（Q3_K_M）メモリ優先	15GB	2.0GB	18GB	VRAM 20GB〜	32GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	16GB	2.0GB	19GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	18GB	2.0GB	22GB	VRAM 24GB〜	36GB〜
5bit（Q5_K_M）品質重視	22GB	2.0GB	25GB	VRAM 32GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	25GB	2.0GB	28GB	VRAM 32GB〜	48GB〜
8bit（Q8_0）無劣化に近い	32GB	2.0GB	36GB	VRAM 48GB〜	48GB〜
16bit（F16）元精度	61GB	2.0GB	65GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

Qwen2.5 32BはAlibabaが2024年9月に公開した32.76Bのモデルです。GGUFのヘッダには64層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全64層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約256KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.0GB、学習時の上限32,768トークンまで伸ばすと8.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

必要量も推定速度も、Qwen2.5-Coder 32BやABEJAの32Bと同じ数字です。選び分けは中身だけ。文章の相談や要約が主ならこの素の版か日本語の派生版、コードの補完が主ならCoderという分け方になります。64層すべてが全域注意なのでKVは1トークン256KBと大きめ。

VRAM 24GBでQ4_K_Mの18.5GBを使うと、16kの約4GBで合計が上限に張り付き、32kの約8GBは入りません。長く使うならIQ4_XSの16.5GBに落とすか、48GB以上のMacへ。既定の上限は32,768トークンで、その先はYaRNの設定を足す手順です。ライセンスはApache 2.0で、72Bのother扱いとは違います。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen2で、当サイト収録の204モデル中23本が同じ系統です。Qwen2系。llama.cppの対応が最も早く入る系統のひとつで、量子化の配布も充実しています。

配布元はbartowski/Qwen2.5-32B-Instruct-GGUF、元になったモデルはQwen/Qwen2.5-32B-Instructです。

得意分野は日本語の文章です。

同じAlibabaのモデルでは、サイズの近いものにQwen3-VL 32B（32.76B）、Qwen3 32B（32.76B）、Qwen2.5-VL 32B（32.76B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.0GB	21GB	VRAM 24GB〜	32GB〜
8,192既定	2.0GB	22GB	VRAM 24GB〜	36GB〜
16,384	4.0GB	24GB	VRAM 32GB〜	36GB〜
32,768	8.0GB	28GB	VRAM 32GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約8.0GBから約4.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Qwen3-VL 32B	Alibaba	21GB	画像理解の上位。VRAM 24GB
ABEJA Qwen2.5 32B Japanese	ABEJA	22GB	日本語追加学習の32B。VRAM 24GB
ELYZA-Shortcut-1.0 Qwen 32B	ELYZA	22GB	推論過程を省いて速く答える日本語32B
ELYZA-Thinking-1.0 Qwen 32B	ELYZA	22GB	考えてから答える日本語の推論型32B。VRAM 24GB
Qwen3 32B	Alibaba	21GB	VRAM 24GBで動かせる最大級のdense型モデル
Qwen2.5-VL 32B	Alibaba	22GB	Qwen2.5-VLの上位32B。画像・画面の読み取り。VRAM 20GB / Mac 32GBから