Aya Expanse 32B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Cohere ・公開 2024-10 ・ 32.3Bパラメータ・データ更新 2026-10-02

日本語を含む23言語向けの32B。CC BY-NC。VRAM 20GB / Mac 32GBから

21GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

32GB実用になるいちばん小さいMac: M2 Max（32GB）

8,192最大コンテキスト（学習時）

編集部の見立て

Cohereの多言語モデルAya Expanseの大きいほうで、日本語を含む23言語を対象にした32.3Bのdense型です。Q4_K_Mの18.4GBに8kの文脈を足して20.7GBが要り、RTX 4090なら推定34.8tok/s、M2 Max（32GB）で14.6tok/sの実用域。

GPUなしの32GB機は2tok/sで会話になりません。ライセンスはCC BY-NC 4.0で、非商用の研究に限られます。24GB級GPUか32GB以上のMacを持ち、多言語の翻訳や要約を研究目的で手元に置きたい人向け。8GBのGPUの人は8B版が候補です。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/aya-expanse-32b-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（40層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	11GB	1.3GB	13GB	VRAM 16GB〜	24GB〜
2bit（Q2_K）品質劣化大。最後の手段	12GB	1.3GB	14GB	VRAM 16GB〜	24GB〜
3bit（IQ3_M）メモリ優先	14GB	1.3GB	16GB	VRAM 20GB〜	32GB〜
3bit（Q3_K_M）メモリ優先	15GB	1.3GB	17GB	VRAM 20GB〜	32GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	17GB	1.3GB	19GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	18GB	1.3GB	21GB	VRAM 24GB〜	32GB〜
5bit（Q5_K_M）品質重視	21GB	1.3GB	24GB	VRAM 32GB〜	36GB〜
6bit（Q6_K）ほぼ無劣化	25GB	1.3GB	27GB	VRAM 32GB〜	48GB〜
8bit（Q8_0）無劣化に近い	32GB	1.3GB	35GB	VRAM 48GB〜	48GB〜
16bit（F16）元精度	60GB	1.3GB	64GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

Aya Expanse 32BはCohereが2024年10月に公開した32.3Bのモデルです。GGUFのヘッダには40層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全40層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約160KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.3GB、学習時の上限8,192トークンまで伸ばすと1.3GBです。

ライセンス表記: cc-by-nc-4.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

RX 7900 XT（20GB）にはQ4_K_Mのままでは1.2GB足りず、IQ4_XS（16.6GB）に落とせば計算上は収まります。KVは全40層ぶん積み上がり、1トークン160KB。32kトークンで5GBになり、RTX 4090の実効23.5GBに8kの文脈を含む20.7GBを置くと残りは2.8GBで、伸ばせる文脈は1万8千トークンほどです。

同じ32B級で日本語を扱うなら、Apache 2.0のQwen3 32B（21.5GB）が商用可で思考モードも持ちます。選ぶ理由は、Cohereの多言語調整を非商用で確かめたいときに絞られます。bartowski版のGGUFはIQ2_XSからf16まで揃い、Q4_0（18.78GB）は旧形式で、配布者は同じ容量帯の他形式を選ぶよう書いています。8B版とはKVも1トークン128KBと160KBの差。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはcommand-rで、当サイト収録の204モデル中2本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はbartowski/aya-expanse-32b-GGUF、元になったモデルはCohereForAI/aya-expanse-32bです。

得意分野は日本語の文章です。

同じCohereのモデルでは、サイズの近いものにCommand R7B（8.03B）、Aya Expanse 8B（8.03B）、Command A 111B（111.06B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.6GB	20GB	VRAM 24GB〜	32GB〜
8,192既定	1.3GB	21GB	VRAM 24GB〜	32GB〜

KVキャッシュをq8_0に量子化すると、8,192トークンでのKVは約1.3GBから約0.6GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Olmo 3.1 32B	Ai2	20GB	学習過程まで公開したAi2の32B（dense型）。Apache 2.0。VRAM 20GB / Mac 32GBから
Granite 4.0 H-Small 32B-A9B	IBM	19GB	Mamba系の層を混ぜたIBMのMoE（総32B・アクティブ9B）。Apache 2.0。VRAM 20GB / Mac 32GBから
LLM-jp-4 32B-A3B thinking	LLM-jp（国立情報学研究所）	22GB	国産フルスクラッチのMoE（アクティブ3B）。VRAM 20GB級のGPUやMac 32GBで速く動く
EXAONE 4.0.1 32B	LG AI Research	20GB	LGの32B（dense型）。推論モードを切り替えられる。VRAM 20GB / Mac 32GBから
Qwen3-VL 32B	Alibaba	21GB	画像理解の上位。VRAM 24GB
ABEJA Qwen2.5 32B Japanese	ABEJA	22GB	日本語追加学習の32B。VRAM 24GB