トップ › モデル別 › LLM-jp-4 32B-A3B thinking

LLM-jp-4 32B-A3B thinking を動かすPCスペック（必要VRAM・メモリ・速度の目安）

LLM-jp（国立情報学研究所）・公開 2026-03 ・ 32.14Bパラメータ（MoE・アクティブ3B）・データ更新 2026-10-02

国産フルスクラッチのMoE（アクティブ3B）。VRAM 20GB級のGPUやMac 32GBで速く動く

22GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

36GB実用になるいちばん小さいMac: M5 Max（36GB）

65,536最大コンテキスト（学習時）

編集部の見立て

国立情報学研究所のLLM-jp-4で、唯一のMoE構成です。総パラメータ32.14Bに対し、1トークンごとに働くのは128個のエキスパートのうち8個、約3.8B分。事後学習はSFTとDPOだけで、強化学習は使っていないと配布元は明記しています。4bitで会話8k分を含めると21.5GBが要り、RTX 4090なら推定188.5tok/s。

32GB機はMacもRyzen AI Max+ 395も実効21.4GBで、0.1GBだけ足りません。Macなら36GB構成から。M5 Max（36GB）で推定115.7tok/sです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga-o/llm-jp-4-32b-a3b-thinking-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
3bit（Q3_K_M）メモリ優先	16GB	0.5GB	17GB	VRAM 20GB〜	32GB〜
4bit（MXFP4 MoE） MoE専用のMXFP4	17GB	0.5GB	18GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	20GB	0.5GB	22GB	VRAM 24GB〜	36GB〜
5bit（Q5_K_M）品質重視	23GB	0.5GB	24GB	VRAM 32GB〜	48GB〜

モデルの構造と、必要メモリの増え方

LLM-jp-4 32B-A3B thinkingはLLM-jp（国立情報学研究所）が2026年3月に公開した32.14Bのモデルです。GGUFのヘッダには32層と書かれており、総パラメータ32.14Bのうち、1トークンの生成で実際に読むのは約3Bです（MoE）。

メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。全32層が全域注意で、KVヘッド4・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約64KB（fp16）で、コンテキスト長にそのまま比例します。

実際の値は、8,192トークンで0.5GB、学習時の上限65,536トークンまで伸ばすと4.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

最初に確かめたいのはトークナイザーの扱いです。会話の書式はOpenAIのHarmony形式と互換ですが、語彙はllm-jp-tokenizer v4.0から作られており、配布元は同梱のものを使うよう求めています。自前でプロンプトを組む前にcookbookの手順を読んでおくと、崩れた出力に悩まずに済みます。

KVは1トークン64KBで、上限の65,536トークンまで伸ばしても約4GB。20GBのRadeon RX 7900 XT（実効19.5GB）でも、MXFP4_MOEの16.9GBを選べば8kの会話が入る計算です。同じLLM-jp-4でもdense型の33BはRTX 4090で推定33.5tok/s。こちらの188.5tok/sとは5倍以上の開きがあります。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen3moeで、当サイト収録の204モデル中6本が同じ系統です。Qwen3のMoE系。アクティブパラメータが小さく、メモリさえ足りれば速く動きます。

配布元はmmnga-o/llm-jp-4-32b-a3b-thinking-gguf、元になったモデルはllm-jp/llm-jp-4-32b-a3b-thinkingです。

得意分野は推論（段階を踏んで考える処理）、日本語の文章です。

同じLLM-jp（国立情報学研究所）のモデルでは、サイズの近いものにLLM-jp-4 33B thinking（33.22B）、LLM-jp-3.1 13B（13.71B）、LLM-jp-4 8B thinking（8.59B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（20GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.3GB	21GB	VRAM 24GB〜	32GB〜
8,192既定	0.5GB	22GB	VRAM 24GB〜	36GB〜
16,384	1.0GB	22GB	VRAM 24GB〜	36GB〜
32,768	2.0GB	23GB	VRAM 24GB〜	36GB〜
65,536	4.0GB	25GB	VRAM 32GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約2.0GBから約1.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Granite 4.0 H-Small 32B-A9B	IBM	19GB	Mamba系の層を混ぜたIBMのMoE（総32B・アクティブ9B）。Apache 2.0。VRAM 20GB / Mac 32GBから
Olmo 3.1 32B	Ai2	20GB	学習過程まで公開したAi2の32B（dense型）。Apache 2.0。VRAM 20GB / Mac 32GBから
EXAONE 4.0.1 32B	LG AI Research	20GB	LGの32B（dense型）。推論モードを切り替えられる。VRAM 20GB / Mac 32GBから
Aya Expanse 32B	Cohere	21GB	日本語を含む23言語向けの32B。CC BY-NC。VRAM 20GB / Mac 32GBから
Nemotron 3.5 Lightning 30B-A3B	NVIDIA	33GB	NVIDIA製のハイブリッドMoE（アクティブ3B）。長文でもKVキャッシュが膨らみにくい構造
Nemotron 3 Nano Omni 30B-A3B	NVIDIA	23GB	Mamba2とTransformerのハイブリッドMoE（アクティブ約3B）。画像・音声の入力にも対応。VRAM 20GB / Mac 32GBから