トップ › モデル別 › DeepSeek-R1 Distill Qwen 32B

DeepSeek-R1 Distill Qwen 32B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

DeepSeek ・公開 2025-01 ・ 32.76Bパラメータ・データ更新 2026-10-02

VRAM 24GB向け推論モデル

22GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

36GB実用になるいちばん小さいMac: M5 Max（36GB）

131,072最大コンテキスト（学習時）

編集部の見立て

DeepSeek-R1の考え方をQwen2.5-32Bに移した蒸留版で、R1系の推論を24GBのGPUで使いたい人向けです。4bitの標準であるQ4_K_Mは18.5GBで、会話8kを含めると21.5GB。速度の推定はGeForce RTX 4090が34tok/s、36GBのApple M5 Maxが20.9tok/sで、どちらも待たされない速さに入ります。

GPUなしのDDR5機は64GBでも推定1.9tok/s。考える過程を長く出すモデルなので、この速さでは話になりません。同じ大きさにはQwen3 32BとELYZA-Thinking-1.0 Qwen 32Bがあります。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（64層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	10GB	2.0GB	13GB	VRAM 16GB〜	24GB〜
2bit（Q2_K）品質劣化大。最後の手段	11GB	2.0GB	14GB	VRAM 16GB〜	24GB〜
3bit（IQ3_M）メモリ優先	14GB	2.0GB	17GB	VRAM 20GB〜	32GB〜
3bit（Q3_K_M）メモリ優先	15GB	2.0GB	18GB	VRAM 20GB〜	32GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	16GB	2.0GB	19GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	18GB	2.0GB	22GB	VRAM 24GB〜	36GB〜
5bit（Q5_K_M）品質重視	22GB	2.0GB	25GB	VRAM 32GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	25GB	2.0GB	28GB	VRAM 32GB〜	48GB〜
8bit（Q8_0）無劣化に近い	32GB	2.0GB	36GB	VRAM 48GB〜	48GB〜
16bit（BF16）元精度	61GB	2.0GB	65GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

DeepSeek-R1 Distill Qwen 32BはDeepSeekが2025年1月に公開した32.76Bのモデルです。GGUFのヘッダには64層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全64層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約256KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.0GB、学習時の上限131,072トークンまで伸ばすと32GBです。

このモデルを実際に使うなら

24GBで困るのは、考える過程が伸びたときです。層は64で、どれも全域注意。KVは1トークンにつき256KBです。配布元の評価と同じ32,768トークンまで生成させると、KVだけで約8GBになります。Q4_K_Mと合わせて26.5GBで、RTX 4090の実効23.5GBには入りません。

KVキャッシュを8bitに量子化するか、IQ4_XS（16.5GB）に下げて文脈を短くするのが現実的な手です。RTX 5090（32GB）なら計算上は収まる。設定とトークナイザーは元のQwen2.5から少し変えてあり、配布元は自分たちの設定で動かすよう求めています。

評価はTemperature 0.6、top_p 0.95。日本語で使うなら、同じ32.76BのELYZA-Thinking-1.0 Qwen 32Bが同じ機材で動く比較相手です。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen2で、当サイト収録の204モデル中23本が同じ系統です。Qwen2系。llama.cppの対応が最も早く入る系統のひとつで、量子化の配布も充実しています。

配布元はbartowski/DeepSeek-R1-Distill-Qwen-32B-GGUF、元になったモデルはdeepseek-ai/DeepSeek-R1-Distill-Qwen-32Bです。

得意分野は推論（段階を踏んで考える処理）です。

同じDeepSeekのモデルでは、サイズの近いものにDeepSeek-R1 Distill Qwen 14B（14.77B）、DeepSeek-R1-0528 Qwen3 8B（8.19B）、DeepSeek-R1 Distill Llama 8B（8.03B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.0GB	21GB	VRAM 24GB〜	32GB〜
8,192既定	2.0GB	22GB	VRAM 24GB〜	36GB〜
16,384	4.0GB	24GB	VRAM 32GB〜	36GB〜
32,768	8.0GB	28GB	VRAM 32GB〜	48GB〜
65,536	16GB	36GB	VRAM 48GB〜	48GB〜
131,072	32GB	52GB	GPU単体では不可	96GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約8.0GBから約4.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Qwen3-VL 32B	Alibaba	21GB	画像理解の上位。VRAM 24GB
ABEJA Qwen2.5 32B Japanese	ABEJA	22GB	日本語追加学習の32B。VRAM 24GB
ELYZA-Shortcut-1.0 Qwen 32B	ELYZA	22GB	推論過程を省いて速く答える日本語32B
ELYZA-Thinking-1.0 Qwen 32B	ELYZA	22GB	考えてから答える日本語の推論型32B。VRAM 24GB
Qwen3 32B	Alibaba	21GB	VRAM 24GBで動かせる最大級のdense型モデル
Qwen2.5-VL 32B	Alibaba	22GB	Qwen2.5-VLの上位32B。画像・画面の読み取り。VRAM 20GB / Mac 32GBから