Olmo 3.1 32B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Ai2 ・公開 2025-12 ・ 32.23Bパラメータ・データ更新 2026-10-02

学習過程まで公開したAi2の32B（dense型）。Apache 2.0。VRAM 20GB / Mac 32GBから

20GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

32GB実用になるいちばん小さいMac: M2 Max（32GB）

65,536最大コンテキスト（学習時）

編集部の見立て

Ai2のOlmo 3は、事前学習のDolma 3から後学習のDolciまでデータとコード、途中のチェックポイントを公開する研究用の系列で、これは32BのInstruct版です。長い思考の連鎖で数学やコードを解くThink版とは別物で、こちらは考えずに答えます。

配布元が挙げる対応言語は英語だけ。Q4_K_Mの18.1GBに8kの文脈を足して20.4GBで、RTX 4090なら推定35.3tok/s、M2 Max（32GB）は14.9tok/sの実用域です。言語モデルの中身を追いたい人向けで、日本語の相談相手には向きません。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/allenai_Olmo-3.1-32B-Instruct-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（64層・うち48層は直近の範囲だけを見る層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	10GB	1.3GB	12GB	VRAM 16GB〜	24GB〜
2bit（Q2_K）品質劣化大。最後の手段	11GB	1.3GB	13GB	VRAM 16GB〜	24GB〜
3bit（IQ3_M）メモリ優先	13GB	1.3GB	16GB	VRAM 20GB〜	24GB〜
3bit（Q3_K_M）メモリ優先	15GB	1.3GB	17GB	VRAM 20GB〜	32GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	16GB	1.3GB	18GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	18GB	1.3GB	20GB	VRAM 24GB〜	32GB〜
5bit（Q5_K_M）品質重視	21GB	1.3GB	24GB	VRAM 32GB〜	36GB〜
6bit（Q6_K）ほぼ無劣化	25GB	1.3GB	27GB	VRAM 32GB〜	48GB〜
8bit（Q8_0）無劣化に近い	32GB	1.3GB	35GB	VRAM 48GB〜	48GB〜
16bit（BF16）元精度	60GB	1.3GB	64GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

Olmo 3.1 32BはAi2が2025年12月に公開した32.23Bのモデルです。GGUFのヘッダには64層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。注意機構は混合型で、全域注意が16層、残り48層は窓4,096トークンのスライディングウィンドウです。

コンテキストに比例して増えるのは全域注意の16層ぶん（1トークンあたり約64KB）だけで、スライディングウィンドウの48層は窓4,096トークンぶん（約0.8GB）で頭打ちになります。実際の値は、8,192トークンで1.3GB、学習時の上限65,536トークンまで伸ばすと4.8GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

20GBのRX 7900 XTには収まらず、24GB級から。IQ4_XS（16.1GB）に下げれば計算上は20GB機にも入ります。構造は全域注意16層に窓4096の局所注意48層を組み合わせた形で、KVは全域の層ぶんだけ1トークン64KBが積み上がります。窓の層は4096で頭打ちなので、学習時上限の65,536トークンでもKVは約4GB。

全64層が全域注意のQwen3 32B（1トークン256KB）と比べ、長文での増え方は4分の1です。同じ32B級で選ぶなら、日本語が要るならQwen3 32B、公開範囲の広さならこちら。Apache 2.0ですが、配布元はAi2の責任ある利用の指針に沿った研究・教育目的を想定していると書いています。

学習データの区切りは2024年12月。Transformersは4.57.0以降が要ります。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはolmo2で、当サイト収録の204モデル中1本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はbartowski/allenai_Olmo-3.1-32B-Instruct-GGUF、元になったモデルはallenai/Olmo-3.1-32B-Instructです。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。このモデルは64層のうち48層がスライディングウィンドウ注意（窓4,096トークン）なので、長くしてもKVが伸びにくい構造です。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.0GB	20GB	VRAM 24GB〜	32GB〜
8,192既定	1.3GB	20GB	VRAM 24GB〜	32GB〜
16,384	1.8GB	21GB	VRAM 24GB〜	32GB〜
32,768	2.8GB	22GB	VRAM 24GB〜	36GB〜
65,536	4.8GB	24GB	VRAM 32GB〜	36GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約2.8GBから約1.4GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Granite 4.0 H-Small 32B-A9B	IBM	19GB	Mamba系の層を混ぜたIBMのMoE（総32B・アクティブ9B）。Apache 2.0。VRAM 20GB / Mac 32GBから
Aya Expanse 32B	Cohere	21GB	日本語を含む23言語向けの32B。CC BY-NC。VRAM 20GB / Mac 32GBから
LLM-jp-4 32B-A3B thinking	LLM-jp（国立情報学研究所）	22GB	国産フルスクラッチのMoE（アクティブ3B）。VRAM 20GB級のGPUやMac 32GBで速く動く
EXAONE 4.0.1 32B	LG AI Research	20GB	LGの32B（dense型）。推論モードを切り替えられる。VRAM 20GB / Mac 32GBから
Qwen3-VL 32B	Alibaba	21GB	画像理解の上位。VRAM 24GB
ABEJA Qwen2.5 32B Japanese	ABEJA	22GB	日本語追加学習の32B。VRAM 24GB