トップ › モデル別 › ABEJA Qwen2.5 32B Japanese

ABEJA Qwen2.5 32B Japanese を動かすPCスペック（必要VRAM・メモリ・速度の目安）

ABEJA ・公開 2025-05 ・ 32.76Bパラメータ・データ更新 2026-10-02

日本語追加学習の32B。VRAM 24GB

22GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

36GB実用になるいちばん小さいMac: M5 Max（36GB）

32,768最大コンテキスト（学習時）

編集部の見立て

ABEJAのモデルは当サイトに3本あり、7B版の蒸留元になったのがこの32Bの系統です。Qwen2.5-32B-Instructに日本語中心の継続事前学習をかけたv0.1へ、SFTとDPOの事後学習を足したものがv1.0。RTX 4090で推定34tok/s、M5 Max（36GB）で推定20.9tok/sです。

GPUのない64GB構成は推定1.9tok/sで、実用には届きません。エージェントを組むなら新しいABEJA Qwen3 14B Agenticへ。日本語の文章を書かせる主力を24GB機に据えたい人のためのモデルです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/abeja-Qwen2.5-32B-Japanese-v1.0-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（64層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	10GB	2.0GB	13GB	VRAM 16GB〜	24GB〜
2bit（Q2_K）品質劣化大。最後の手段	11GB	2.0GB	14GB	VRAM 16GB〜	24GB〜
3bit（IQ3_M）メモリ優先	14GB	2.0GB	17GB	VRAM 20GB〜	32GB〜
3bit（Q3_K_M）メモリ優先	15GB	2.0GB	18GB	VRAM 20GB〜	32GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	16GB	2.0GB	19GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	18GB	2.0GB	22GB	VRAM 24GB〜	36GB〜
5bit（Q5_K_M）品質重視	22GB	2.0GB	25GB	VRAM 32GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	25GB	2.0GB	28GB	VRAM 32GB〜	48GB〜
8bit（Q8_0）無劣化に近い	32GB	2.0GB	36GB	VRAM 48GB〜	48GB〜

モデルの構造と、必要メモリの増え方

ABEJA Qwen2.5 32B JapaneseはABEJAが2025年5月に公開した32.76Bのモデルです。GGUFのヘッダには64層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全64層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約256KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.0GB、学習時の上限32,768トークンまで伸ばすと8.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

同じ数字のモデルと、実際は何が違うか

Qwen2.5 32Bを土台に、ABEJAが日本語で追加学習したモデルです。土台と同じ64層のdense型なので、量子化別のファイルサイズも必要メモリも、Qwen2.5 32BやQwen2.5-Coder 32B、DeepSeek-R1-Distill-Qwen-32Bとほぼ同じ数字になります。

当サイトの判定では、この4本は同じ機種で同じ速度です。違いは学習データで、日本語の語彙や言い回しに寄せてある点。品質の優劣は当サイトでは測っていないので、日本語の文書を扱う仕事で実際に比べるのが確実です。ライセンス表記はApache 2.0で、配布はmmngaのGGUFです。

このモデルを実際に使うなら

4bitで22GBなので、GPUなら24GB（RTX 4090・3090・RX 7900 XTX）、Macなら36GB以上が要ります。20GBのRX 7900 XTには入らず、3bitに落とせば収まります。コンテキストは学習時の上限が32Kで、8Kで2.0GB、32Kで8.0GBのKVキャッシュが加わる。

長い日本語文書を読ませるなら、24GBギリギリではなく32GBのMacか、KVキャッシュの量子化を使いましょう。社内文書の要約や日本語の下書きに使うなら、英語中心の同サイズより手直しが減ることが期待できる位置づけのモデルです。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen2で、当サイト収録の204モデル中23本が同じ系統です。Qwen2系。llama.cppの対応が最も早く入る系統のひとつで、量子化の配布も充実しています。

配布元はmmnga/abeja-Qwen2.5-32B-Japanese-v1.0-gguf、元になったモデルはabeja/ABEJA-Qwen2.5-32b-Japanese-v1.0です。

得意分野は日本語の文章です。

同じABEJAのモデルでは、サイズの近いものにABEJA Qwen3 14B Agentic（14.77B）、ABEJA Qwen2.5 7B Japanese（7.62B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.0GB	21GB	VRAM 24GB〜	32GB〜
8,192既定	2.0GB	22GB	VRAM 24GB〜	36GB〜
16,384	4.0GB	24GB	VRAM 32GB〜	36GB〜
32,768	8.0GB	28GB	VRAM 32GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約8.0GBから約4.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Qwen3-VL 32B	Alibaba	21GB	画像理解の上位。VRAM 24GB
ELYZA-Shortcut-1.0 Qwen 32B	ELYZA	22GB	推論過程を省いて速く答える日本語32B
ELYZA-Thinking-1.0 Qwen 32B	ELYZA	22GB	考えてから答える日本語の推論型32B。VRAM 24GB
Qwen3 32B	Alibaba	21GB	VRAM 24GBで動かせる最大級のdense型モデル
Qwen2.5-VL 32B	Alibaba	22GB	Qwen2.5-VLの上位32B。画像・画面の読み取り。VRAM 20GB / Mac 32GBから
DeepSeek-R1 Distill Qwen 32B	DeepSeek	22GB	VRAM 24GB向け推論モデル