AI PCナビ使うAIと、させたい仕事に合うPC・Macを。
トップ › モデル別 › Granite 4.0 H-Small 32B-A9B

Granite 4.0 H-Small 32B-A9B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

IBM ・ 公開 2025-10 ・ 32.21Bパラメータ（MoE・アクティブ9B） ・ データ更新 2026-10-02

Mamba系の層を混ぜたIBMのMoE（総32B・アクティブ9B）。Apache 2.0。VRAM 20GB / Mac 32GBから

19GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）
VRAM 20GB実用になるいちばん安いGPU: Radeon RX 7900 XT
32GB実用になるいちばん小さいMac: M2 Max（32GB）
1,048,576最大コンテキスト（学習時）

編集部の見立て

IBM Granite 4.0の最上位で、総32.21Bのうち1トークンで動くのは9Bです。配布元が挙げる用途は要約・分類・抽出・RAG・関数呼び出し・コード補完（FIM）で、対応言語には日本語が含まれます。Q4_K_Mの18.2GBに8kの文脈を足した19.4GBが必要で、20GBのRX 7900 XTなら推定52tok/s、M2 Max（32GB）でも32.5tok/sの快適域。

GPUなしのStrix Halo（32GB）でも16.6tok/s。社内文書を長いまま読ませる業務用のモデルを、24GB未満のGPUや32GBのMacで回したい人向け。

量子化別の必要メモリ

ファイルサイズは Hugging Face（unsloth/granite-4.0-h-small-GGUF） に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（40層・文脈全体を見る層は4層だけ）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化ファイルKVキャッシュ（8k）必要合計GPUならMacなら
2bit（IQ2_M）
品質劣化大。最後の手段		11GB0.1GB12GBVRAM 16GB〜18GB〜
2bit（Q2_K）
品質劣化大。最後の手段		11GB0.1GB12GBVRAM 16GB〜24GB〜
3bit（Q3_K_M）
メモリ優先		14GB0.1GB15GBVRAM 16GB〜24GB〜
4bit（IQ4_XS）
Q4_K_Mより一回り小さい		16GB0.1GB17GBVRAM 20GB〜32GB〜
4bit（Q4_K_M）
標準。迷ったらこれ		18GB0.1GB19GBVRAM 20GB〜32GB〜
5bit（Q5_K_M）
品質重視		21GB0.1GB23GBVRAM 24GB〜36GB〜
6bit（Q6_K）
ほぼ無劣化		25GB0.1GB26GBVRAM 32GB〜48GB〜
8bit（Q8_0）
無劣化に近い		32GB0.1GB33GBVRAM 48GB〜48GB〜
16bit（BF16）
元精度		60GB0.1GB62GBGPU単体では不可96GB〜

モデルの構造と、必要メモリの増え方

Granite 4.0 H-Small 32B-A9BはIBMが2025年10月に公開した32.21Bのモデルです。GGUFのヘッダには40層と書かれており、総パラメータ32.21Bのうち、1トークンの生成で実際に読むのは約9Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

40層のうち注意機構でKVキャッシュを持つのは4層だけで、残り36層は線形注意やSSMなどKVを持たない層です。KVヘッド8・head次元128で、同じ層数の一般的なモデルよりKVキャッシュが小さく済みます。1トークンあたりのKVキャッシュは約16KB（fp16）で、コンテキスト長にそのまま比例します。

実際の値は、8,192トークンで0.1GB、128Kトークンまで伸ばすと2.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

40層のうち注意を持つのは4層で、残り36層はMamba2。KVは1トークン16KBにすぎず、128kトークンで2GB、学習時上限の100万トークンでも約16GBです。RX 7900 XTの実効19.5GBに8kの文脈込みの19.4GBを置くと余りは0.1GBで、文脈の追加は6千トークンほどが限度。

同じIBMでもGranite 4.2 30Bは全64層が全域注意のdense型で、1トークン256KB。8kを含めて19.8GBと容量は並びますが、RTX 4090で推定37.3tok/sと速度は逆転します。思考モードは4.2にあり、H-Smallにはありません。

小さいH-Tinyは総6.94Bで4.6GB、8GB以下の機種はそちら。2025年10月7日の更新で、チャットテンプレートに既定のシステムプロンプトが加わりました。Apache 2.0。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはgranitehybridで、当サイト収録の204モデル中2本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はunsloth/granite-4.0-h-small-GGUF、元になったモデルはibm-granite/granite-4.0-h-smallです。

同じIBMのモデルでは、サイズの近いものにGranite 4.2 30B（29.28B）、Granite 4.2 8B（8.79B）、Granite 4.0 H-Tiny（6.94B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全域注意が4層だけのハイブリッド構成なので、長文でもKVの増え方が緩やかです。

コンテキストKVキャッシュ必要合計必要なGPU必要なMac
4,0960.1GB19GBVRAM 20GB〜32GB〜
8,192既定0.1GB19GBVRAM 20GB〜32GB〜
16,3840.3GB20GBVRAM 24GB〜32GB〜
32,7680.5GB20GBVRAM 24GB〜32GB〜
65,5361.0GB20GBVRAM 24GB〜32GB〜
131,0722.0GB21GBVRAM 24GB〜32GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約0.5GBから約0.3GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル開発元4bitで必要一言
Olmo 3.1 32BAi220GB学習過程まで公開したAi2の32B（dense型）。Apache 2.0。VRAM 20GB / Mac 32GBから
LLM-jp-4 32B-A3B thinkingLLM-jp（国立情報学研究所）22GB国産フルスクラッチのMoE（アクティブ3B）。VRAM 20GB級のGPUやMac 32GBで速く動く
Aya Expanse 32BCohere21GB日本語を含む23言語向けの32B。CC BY-NC。VRAM 20GB / Mac 32GBから
EXAONE 4.0.1 32BLG AI Research20GBLGの32B（dense型）。推論モードを切り替えられる。VRAM 20GB / Mac 32GBから
Qwen3-VL 32BAlibaba21GB画像理解の上位。VRAM 24GB
ABEJA Qwen2.5 32B JapaneseABEJA22GB日本語追加学習の32B。VRAM 24GB

4bit（Q4_K_M）が動く機種と推定速度

4bit（Q4_K_M）なら41機種で20 tok/s以上、8機種で8〜20 tok/s（テキスト生成の推定・計算方法）。

快適 20 tok/s以上（41機種）

実用 8〜20 tok/s（8機種）

遅い 動くが遅い（9機種）

メモリに一部を逃がせば動く（61機種・CPUオフロード、PCのメモリ32GB想定）

動かない機種（23）を見る

今のPCのまま、Granite 4.0 H-Small 32B-A9Bを動かすために足すもの

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

NVMe SSD / 外付けSSD 2TB

Granite 4.0 H-Small 32B-A9Bは4bit（IQ4_XS）で16GB、8bitのQ8_0なら32GB。精度違いを3種類そろえるだけで約49GB使います。何本か試すうちに、まず内蔵SSDが先に埋まります。Macは内蔵を増設できないので外付けが前提です。

Amazonで「NVMe SSD 2TB」を見る →Amazonで「外付けSSD 2TB USB 3.2」を見る →

メモリ増設（32GB化）

VRAMに載りきらない分は、システムメモリに逃がして動かせます（CPUオフロード）。Granite 4.0 H-Small 32B-A9Bは19GB要るので、VRAM 12GBのカードなら約7.9GBをメモリ側で受ける計算です。メモリ16GBのままだとOSとブラウザで詰まるので、32GBが下限。

Amazonで「DDR5 16GB 2枚組」を見る →Amazonで「DDR5 SO-DIMM 16GB 2枚組」を見る →Amazonで「DDR4 16GB 2枚組」を見る →

GPUを1枚替える: RTX 5090（32GB）

「あと数GB足りない」を埋めるのに、PC一式を買い替える必要はありません。RTX 5090なら4bit（IQ4_XS）の19GBがVRAMに収まります。先に見るのは、今のケースに入る長さか、電源の容量と補助電源のコネクタが足りるかの2点です。

Amazonで「RTX 5090 グラフィックボード」を見る →

ローカルLLM / AIエージェント入門書

Granite 4.0 H-Small 32B-A9BのようなGGUF版のモデルを落として動かす手順、量子化の選び方、Ollama と LM Studio の使い分けは、一冊まとまったものを手元に置くと早い。

Amazonで「ローカルLLM 本」を見る →Amazonで「AIエージェント 開発 本」を見る →

Granite 4.0 H-Small 32B-A9Bを動かせるPC・Macを今日買うなら

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

ぴったりMac

Mac mini M4 Pro（メモリ48GB・SSD 1TB）

30BクラスのローカルLLMとエージェント並列運用を1台で。コスパの中心

M4 Pro・ユニファイドメモリ48GB・SSD 1TB・帯域273GB/s ・ 目安 30〜36万円

要件を満たす中で最も手頃

Amazonで「Mac mini M4 Pro 48GB」を見る →
余裕を持つならMac

Mac mini M4 Pro（メモリ64GB・SSD 1TB）

70BクラスのローカルLLMまで。同じ価格帯のGeForce機より大きいモデルまで動く

M4 Pro・ユニファイドメモリ64GB・SSD 1TB ・ 目安 36〜42万円

将来の用途拡張（大きなモデル・並列エージェント）に余裕

Amazonで「Mac mini M4 Pro 64GB」を見る →
別の形なら常時稼働サーバー型

Ryzen AI Max+ 395 ミニPC（メモリ128GB）

Windows/Linuxで128GBの共有メモリ。GPU側に96GBを割り当てれば、gpt-oss-120bや70Bクラスを常時サーバとして動かせる

Ryzen AI Max+ 395・LPDDR5X 128GB（256GB/s）・NVMe 2TB ・ 目安 32〜48万円

Windowsで同じ仕事をするなら

Amazonで「Ryzen AI Max+ 395 128GB ミニPC」を見る →

よくある質問

Granite 4.0 H-Small 32B-A9Bを動かすのに必要なVRAMは？

4bit量子化（4bit（Q4_K_M））でファイル18GB、8,192トークンのKVキャッシュを含めて約19GBが必要です。GPU単体ならRadeon RX 7900 XT（VRAM 20GB）から実用速度で動きます。

Granite 4.0 H-Small 32B-A9BはMacで動く？

動きます。ユニファイドメモリ32GB以上のApple Silicon（例: Apple M2 Max（32GB））なら、4bit量子化で実用的な速さが出ます。

このクラスの選び方: ローカルLLM（27〜32Bクラス）に必要なPC / MacかWindowsか

手持ちのPCで判定する