Qwen2.5 72B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Alibaba ・公開 2024-09 ・ 72.71Bパラメータ・データ更新 2026-10-02

2024年のQwen2.5の最上位（dense型）。VRAM 48GB / Mac 64GBから

48GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

ユニファイドメモリ向けGPU1枚のVRAMでは足りない

96GB実用になるいちばん小さいMac: M5 Ultra（96GB）

32,768最大コンテキスト（学習時）

編集部の見立て

2024年9月のQwen2.5世代の最上位で、72.71Bのdense型です。配布元は29を超える言語への対応と、表などの構造化データの理解、JSON出力の改善を挙げています。Q4_K_Mに8kの文脈で48.5GBが要り、実効48GBの64GB Macには0.5GBだけ届きません。

IQ4_XSの41.1GBならM5 Max（64GB）で推定12.2tok/s、48GBのRTX 6000 Adaで推定16.4tok/s。新しく入れるなら、同じメモリで動く後の世代とも並べて比べるのが確実です。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/Qwen2.5-72B-Instruct-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（80層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	27GB	2.5GB	31GB	VRAM 32GB〜	48GB〜
2bit（Q2_K）品質劣化大。最後の手段	28GB	2.5GB	32GB	VRAM 48GB〜	48GB〜
3bit（IQ3_M）メモリ優先	33GB	2.5GB	37GB	VRAM 48GB〜	64GB〜
3bit（Q3_K_M）メモリ優先	35GB	2.5GB	39GB	VRAM 48GB〜	64GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	37GB	2.5GB	41GB	VRAM 48GB〜	64GB〜
4bit（Q4_K_M）標準。迷ったらこれ	44GB	2.5GB	48GB	GPU単体では不可	96GB〜
5bit（Q5_K_M）品質重視	51GB	2.5GB	55GB	GPU単体では不可	96GB〜
6bit（Q6_K）ほぼ無劣化	60GB	2.5GB	65GB	GPU単体では不可	96GB〜
8bit（Q8_0）無劣化に近い	72GB	2.5GB	77GB	GPU単体では不可	128GB〜

モデルの構造と、必要メモリの増え方

Qwen2.5 72BはAlibabaが2024年9月に公開した72.71Bのモデルです。GGUFのヘッダには80層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全80層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約320KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.5GB、学習時の上限32,768トークンまで伸ばすと10GBです。

このモデルを実際に使うなら

config.jsonの既定は32,768トークンまでで、それを超える長文にはYaRNの設定を足します。ただしvLLMの静的YaRNは短い文での性能に響く恐れがあると配布元は書いており、長文を扱うときだけ有効にするのが無難。KVは全80層ぶんで1トークン320KBと重く、32kで約10GBです。

64GB MacのIQ4_XSでは8k前後が現実的な幅。長い文脈を常用するならM5 Ultra（96GB）でQ6_K、推定10.7tok/sという組み方になります。ライセンス欄はotherで、Apache 2.0の32B以下とは扱いが違います。比べる相手は同じ70B級のLlama 3.3 70Bで、4bitに8kの文脈込みで43.8GBと4.7GB軽く済みます。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen2で、当サイト収録の204モデル中23本が同じ系統です。Qwen2系。llama.cppの対応が最も早く入る系統のひとつで、量子化の配布も充実しています。

配布元はbartowski/Qwen2.5-72B-Instruct-GGUF、元になったモデルはQwen/Qwen2.5-72B-Instructです。

得意分野は日本語の文章です。

同じAlibabaのモデルでは、サイズの近いものにQwen3-Coder-Next 80B-A3B（79.67B）、Qwen3-Next 80B-A3B（79.67B）、Qwen-AgentWorld 35B-A3B（34.66B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（44GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.3GB	47GB	VRAM 48GB〜	64GB〜
8,192既定	2.5GB	48GB	GPU単体では不可	96GB〜
16,384	5.0GB	51GB	GPU単体では不可	96GB〜
32,768	10GB	56GB	GPU単体では不可	96GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約10GBから約5.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Shisa V2.1 Llama 3.3 70B	Shisa.AI	44GB	日英バイリンガルに調整した70B。Mac 64GB以上かVRAM 48GB級
Llama 3.3 Swallow 70B	Swallow（東京科学大学・産総研）	44GB	Llama 3.3 70Bの日本語強化版。Mac 64GB以上かVRAM 48GB級
DeepSeek-R1 Distill Llama 70B	DeepSeek	44GB	R1をLlama 70Bに蒸留した推論型。VRAM 48GB / Mac 64GBから
Llama 3.3 70B	Meta	44GB	70Bのdense型。VRAM 48GB以上かMac 64GB以上
Llama 3 Youko 70B	rinna	44GB	rinnaの日本語70B。VRAM 48GB / Mac 64GBから
Llama 3.1 70B	Meta	44GB	Llama 3.3 70Bの前の世代の70B（dense型）。VRAM 48GB / Mac 64GBから