トップ › モデル別 › ELYZA-Thinking-1.0 Qwen 32B

ELYZA-Thinking-1.0 Qwen 32B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

ELYZA ・公開 2025-04 ・ 32.76Bパラメータ・データ更新 2026-10-02

考えてから答える日本語の推論型32B。VRAM 24GB

22GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

36GB実用になるいちばん小さいMac: M5 Max（36GB）

131,072最大コンテキスト（学習時）

編集部の見立て

ELYZAが日本語での推論力を伸ばす狙いで、Qwen2.5-32B-Instructに長い思考の過程を含む合成データで模倣学習させたモデルです。答える前に考えを書き出すので、手元の速度がそのまま待ち時間に響きます。4bitに8kの文脈を足すと、要るメモリは21.5GB。

RTX 4090の推定34tok/sなら、3,000トークン考えても1分半ほど。M5 Max（36GB）の推定20.9tok/sだと2分半かかります。段階を踏んで考える必要のある日本語の問いを、24GB以上のGPUで回す人向けです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/ELYZA-Thinking-1.0-Qwen-32B-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（64層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（Q2_K）品質劣化大。最後の手段	11GB	2.0GB	14GB	VRAM 16GB〜	24GB〜
3bit（IQ3_M）メモリ優先	14GB	2.0GB	17GB	VRAM 20GB〜	32GB〜
3bit（Q3_K_M）メモリ優先	15GB	2.0GB	18GB	VRAM 20GB〜	32GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	16GB	2.0GB	19GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	18GB	2.0GB	22GB	VRAM 24GB〜	36GB〜
5bit（Q5_K_M）品質重視	22GB	2.0GB	25GB	VRAM 32GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	25GB	2.0GB	28GB	VRAM 32GB〜	48GB〜
8bit（Q8_0）無劣化に近い	32GB	2.0GB	36GB	VRAM 48GB〜	48GB〜

モデルの構造と、必要メモリの増え方

ELYZA-Thinking-1.0 Qwen 32BはELYZAが2025年4月に公開した32.76Bのモデルです。GGUFのヘッダには64層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全64層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約256KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.0GB、学習時の上限131,072トークンまで伸ばすと32GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

配布元は、temperatureを0.5〜0.7、top_pを0.95にするよう勧めています。同じ文を繰り返すループに陥るのを防ぐためで、アプリの既定値のままだと出力が止まらないことがある。最初に設定を合わせましょう。学習時の文脈は131072トークンと長いものの、KVは1トークン256KBで、32Kで8.0GB、64Kで16GB。

考察の文章もこの枠を使うため、24GB機では8k前後が実用の上限です。長く考えさせたいなら、RTX 5090（32GB）で32K、実効36GBのMac 48GB機で64K近くまで。同じ推論型の32Bには、DeepSeek-R1 Distill Qwen 32B JapaneseとKARAKURI LM 32B Thinkingがあり、機材の条件はどれも同じです。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen2で、当サイト収録の204モデル中23本が同じ系統です。Qwen2系。llama.cppの対応が最も早く入る系統のひとつで、量子化の配布も充実しています。

配布元はmmnga/ELYZA-Thinking-1.0-Qwen-32B-gguf、元になったモデルはelyza/ELYZA-Thinking-1.0-Qwen-32Bです。

得意分野は推論（段階を踏んで考える処理）、日本語の文章です。

同じELYZAのモデルでは、サイズの近いものにELYZA-Shortcut-1.0 Qwen 32B（32.76B）、Llama-3-ELYZA-JP-8B（8.03B）、ELYZA-Shortcut-1.0 Qwen 7B（7.62B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.0GB	21GB	VRAM 24GB〜	32GB〜
8,192既定	2.0GB	22GB	VRAM 24GB〜	36GB〜
16,384	4.0GB	24GB	VRAM 32GB〜	36GB〜
32,768	8.0GB	28GB	VRAM 32GB〜	48GB〜
65,536	16GB	36GB	VRAM 48GB〜	48GB〜
131,072	32GB	52GB	GPU単体では不可	96GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約8.0GBから約4.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Qwen3-VL 32B	Alibaba	21GB	画像理解の上位。VRAM 24GB
ABEJA Qwen2.5 32B Japanese	ABEJA	22GB	日本語追加学習の32B。VRAM 24GB
ELYZA-Shortcut-1.0 Qwen 32B	ELYZA	22GB	推論過程を省いて速く答える日本語32B
Qwen3 32B	Alibaba	21GB	VRAM 24GBで動かせる最大級のdense型モデル
Qwen2.5-VL 32B	Alibaba	22GB	Qwen2.5-VLの上位32B。画像・画面の読み取り。VRAM 20GB / Mac 32GBから
DeepSeek-R1 Distill Qwen 32B	DeepSeek	22GB	VRAM 24GB向け推論モデル