Qwen2.5-Coder 7B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Alibaba ・公開 2024-09 ・ 7.62Bパラメータ・データ更新 2026-10-02

軽いコード補助用。VRAM 8GBで実用になる

5.4GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 6GB実用になるいちばん安いGPU: GeForce RTX 3060 Laptop

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

32,768最大コンテキスト（学習時）

編集部の見立て

2024年9月公開の、Qwen2.5-Coderの7Bです。Q4_K_Mで4.4GB、8kの文脈込みで5.4GBと、コード用としては軽い部類。VRAM 6GBのRTX 2060で推定49.5tok/s、ノートのRTX 3060 Laptopで推定52.5tok/sが出ます。

16GBのM2 Proなら推定33.5tok/s、GPUなしのRyzen AI 300（16GB）でも推定14.6tok/s。数年前のゲーミングノートで、エディタのコード補助を外部サービスに頼らず回したい人の最初の候補です。込み入った設計の相談は、上の14Bや30B-A3Bに任せる前提で選びましょう。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/Qwen2.5-Coder-7B-Instruct-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（28層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.6GB	0.4GB	3.6GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	2.8GB	0.4GB	3.8GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.3GB	0.4GB	4.4GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.5GB	0.4GB	4.6GB	VRAM 6GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	3.9GB	0.4GB	5.0GB	VRAM 6GB〜	8GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.4GB	0.4GB	5.4GB	VRAM 6GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.1GB	0.4GB	6.2GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	5.8GB	0.4GB	6.9GB	VRAM 8GB〜	16GB〜
8bit（Q8_0）無劣化に近い	7.5GB	0.4GB	8.7GB	VRAM 10GB〜	16GB〜
16bit（F16）元精度	14GB	0.4GB	16GB	VRAM 20GB〜	24GB〜

モデルの構造と、必要メモリの増え方

Qwen2.5-Coder 7BはAlibabaが2024年9月に公開した7.62Bのモデルです。GGUFのヘッダには28層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全28層が全域注意で、KVヘッド4・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約56KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで0.4GB、学習時の上限32,768トークンまで伸ばすと1.8GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

同じ数字のモデルと、実際は何が違うか

Qwen2.5 7Bとはパラメータ数も量子化後のサイズも同じで、Q4_K_Mは4.4GB、8kの文脈込みでも5.4GBです。分かれ目は学習データにあります。Coder版は約5.5兆トークンのコード関連データで学習し直した系列で、配布元によれば数学や一般的な受け答えの力も保っています。

VRAM 6GBのRTX 2060でも推定49.5tok/sが出るので、古いゲーミングPCをコード補完用のサーバーにする使い方に向きます。日本語での相談や文章作成が中心なら、汎用のQwen2.5 7Bのほうが扱いやすいはずです。

このモデルを実際に使うなら

RTX 2060 6GBの実効5.5GBに対して必要量は5.4GBで、文脈を伸ばす余地はほぼありません。6GB機ならIQ4_XS（3.9GB）に下げ、浮いた約1.5GBを文脈に回すのが実用的です。KVは1トークン56KBと軽く、その1.5GBで約28,000トークン分。

VRAM 8GB機ならQ4_K_Mのまま32,768トークンを確保できます。設定ファイルの標準は32,768トークンで、131,072トークンまで使うにはYaRNの追加設定が要る。世代の新しい近い大きさならQwen3.5 9Bが比べる相手です。同じ7.62Bの規模では、ELYZAが日本語向けに追加学習したELYZA-Shortcut-1.0 Qwen 7Bもあります。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen2で、当サイト収録の204モデル中23本が同じ系統です。Qwen2系。llama.cppの対応が最も早く入る系統のひとつで、量子化の配布も充実しています。

配布元はbartowski/Qwen2.5-Coder-7B-Instruct-GGUF、元になったモデルはQwen/Qwen2.5-Coder-7B-Instructです。

得意分野はコードを書く作業です。

同じAlibabaのモデルでは、サイズの近いものにQwen2.5-VL 7B（7.62B）、Qwen2.5 7B（7.62B）、Qwen3-VL 8B（8.19B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.4GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.2GB	5.2GB	VRAM 6GB〜	8GB〜
8,192既定	0.4GB	5.4GB	VRAM 6GB〜	16GB〜
16,384	0.9GB	5.9GB	VRAM 8GB〜	16GB〜
32,768	1.8GB	6.7GB	VRAM 8GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約1.8GBから約0.9GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
ELYZA-Shortcut-1.0 Qwen 7B	ELYZA	5.4GB	推論過程を省いてすぐ答える日本語7B。VRAM 8GB
ABEJA Qwen2.5 7B Japanese	ABEJA	5.4GB	ABEJAの日本語追加学習7B。VRAM 8GB
DeepSeek-R1 Distill Qwen 7B	DeepSeek	5.4GB	推論（考えてから答える）型の入門
Qwen2.5-VL 7B	Alibaba	5.4GB	画像理解の7B。Qwen3-VL以前の定番。4bitならVRAM 8GBに収まる
Qwen2.5 7B	Alibaba	5.4GB	2024年の定番7B。4bitならVRAM 8GBに収まり、GPUなしのメモリ16GBでも動く
Falcon-H1R 7B	TII	5.3GB	Mamba系を混ぜたハイブリッド構造の推論型7B。GPUなしのメモリ16GBのPCでも動く