トップ › モデル別 › ERNIE 4.5 21B-A3B Thinking

ERNIE 4.5 21B-A3B Thinking を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Baidu ・公開 2025-09 ・ 21.83Bパラメータ（MoE・アクティブ3B）・データ更新 2026-10-02

Baiduの推論型MoE（総21B・アクティブ3B）。Apache 2.0。VRAM 16GB / Mac 24GBから

14GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 16GB実用になるいちばん安いGPU: GeForce RTX 5080

24GB実用になるいちばん小さいMac: M5 Pro（24GB）

131,072最大コンテキスト（学習時）

編集部の見立て

Baiduが2025年9月に出した推論専用の軽量MoEです。総21Bのうち各トークンで働くのは3Bだけ。配布元は思考の長さを伸ばした版だと断り、複雑な推論に絞って使うよう勧めています。テキスト専用で画像は読めません。Q4_K_Mの12.4GBに8kの文脈を加えると13.7GB。

VRAM 16GBのRTX 5080で推定201.9tok/s、M5 Pro（24GB）で80.9tok/s。12GBのGPUには、8kの文脈を含めると入りません。Apache 2.0。16GB級のGPUか24GBのMacで、数学やコードの長い思考を待たずに読みたい人向けです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（unsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（28層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	7.5GB	0.4GB	8.6GB	VRAM 10GB〜	16GB〜
2bit（Q2_K）品質劣化大。最後の手段	7.6GB	0.4GB	8.8GB	VRAM 10GB〜	16GB〜
3bit（Q3_K_M）メモリ優先	9.8GB	0.4GB	11GB	VRAM 12GB〜	18GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	11GB	0.4GB	12GB	VRAM 16GB〜	24GB〜
4bit（Q4_K_M）標準。迷ったらこれ	12GB	0.4GB	14GB	VRAM 16GB〜	24GB〜
5bit（Q5_K_M）品質重視	15GB	0.4GB	16GB	VRAM 20GB〜	24GB〜
6bit（Q6_K）ほぼ無劣化	17GB	0.4GB	18GB	VRAM 20GB〜	32GB〜
8bit（Q8_0）無劣化に近い	22GB	0.4GB	23GB	VRAM 24GB〜	36GB〜
16bit（BF16）元精度	41GB	0.4GB	43GB	VRAM 48GB〜	64GB〜

モデルの構造と、必要メモリの増え方

ERNIE 4.5 21B-A3B ThinkingはBaiduが2025年9月に公開した21.83Bのモデルです。GGUFのヘッダには28層と書かれており、総パラメータ21.83Bのうち、1トークンの生成で実際に読むのは約3Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

全28層が全域注意で、KVヘッド4・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約56KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで0.4GB、学習時の上限131,072トークンまで伸ばすと7.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

アクティブ3Bの速さは思考の長さで相殺されがちです。配布元が思考を長くしたと明言している以上、201.9tok/sでも答えが出るまで数千トークン分の待ちが入る前提で使うのが現実的。KVは28層すべて全域注意で1トークン56KBと軽く、学習上限の128kでも7GB。

RTX 5080の実効15.5GBなら、12.4GBを引いた3.1GBで約58kまで文脈を取れます。関数呼び出しに対応し、vLLMでは0.10.2以降（0.11.0を除く）が条件と書かれています。同じBaiduのERNIE 4.5 300B-A47Bは175GBと桁違いに大きく、比べる相手はむしろアクティブ3B級で必要量の近いgpt-oss-20b（20.91B・アクティブ3.6B）。日本語での使い勝手はカードに記載がなく、当サイトでも確かめていません。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはernie4_5-moeで、当サイト収録の204モデル中2本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はunsloth/ERNIE-4.5-21B-A3B-Thinking-GGUF、元になったモデルはbaidu/ERNIE-4.5-21B-A3B-Thinkingです。

得意分野は推論（段階を踏んで考える処理）です。

同じBaiduのモデルでは、サイズの近いものにERNIE 4.5 300B-A47B（299.48B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（12GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.2GB	14GB	VRAM 16GB〜	24GB〜
8,192既定	0.4GB	14GB	VRAM 16GB〜	24GB〜
16,384	0.9GB	14GB	VRAM 16GB〜	24GB〜
32,768	1.8GB	15GB	VRAM 16GB〜	24GB〜
65,536	3.5GB	17GB	VRAM 20GB〜	32GB〜
131,072	7.0GB	20GB	VRAM 24GB〜	32GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約1.8GBから約0.9GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Codestral 22B	Mistral AI	15GB	Mistralのコード専用22B。VRAM 16GB / Mac 24GBから
GPT-OSS-Swallow 20B	Swallow（東京科学大学・産総研）	16GB	gpt-oss-20bの日本語強化版。VRAM 16GBに載る
gpt-oss-20b	OpenAI	12GB	OpenAI初のオープンモデル。MXFP4でVRAM 16GBに載る
Devstral Small 2 24B	Mistral AI	16GB	Devstral Smallの第2世代。コーディングエージェント向け。VRAM 16GB / Mac 24GBから
Magistral Small 2509	Mistral AI	15GB	Mistralの推論モデル24B。VRAM 16GB
Devstral Small 2507	Mistral AI	15GB	コーディングエージェント向けに調整された24B。VRAM 16GB