AI PCナビ使うAIと、させたい仕事に合うPC・Macを。
トップ › モデル別 › Inkling Small 264B

Inkling Small 264B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Thinking Machines ・ 公開 2026-07 ・ 263.66Bパラメータ（MoE・アクティブ12B） ・ データ更新 2026-10-02

総264BのMoE。メモリ192GB以上のMac Studio級が対象

157GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）
ユニファイドメモリ向けGPU1枚のVRAMでは足りない
256GB実用になるいちばん小さいMac: M5 Ultra（256GB）
1,048,576最大コンテキスト（学習時）

編集部の見立て

Thinking Machinesが公開した、文章・画像・音声を入力できるMoEです。配布元の数字では総276B、1トークンで動くのは12B。当サイトの表は263.66Bで計算しており、Q4_K_Mは151.4GB、8kの文脈込みで156.7GBが要ります。192GBのM2 Ultraでは実効144GBに12.7GB届かず、IQ4_XS（118.7GB）へ下げれば推定48.1tok/s。

Q4_K_MのままならM5 Ultra（256GB）で推定55.8tok/sです。個人の作業用PCで回すモデルではありません。検証機を用意できる研究者や開発チーム向けです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（unsloth/Inkling-Small-GGUF） に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（42層・うち35層は直近の範囲だけを見る層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化ファイルKVキャッシュ（8k）必要合計GPUならMacなら
2bit（IQ2_M）
品質劣化大。最後の手段		77GB0.3GB80GBGPU単体では不可128GB〜
3bit（Q3_K_M）
メモリ優先		111GB0.3GB115GBGPU単体では不可192GB〜
4bit（IQ4_XS）
Q4_K_Mより一回り小さい		119GB0.3GB123GBGPU単体では不可192GB〜
4bit（MXFP4 MoE）
MoE専用のMXFP4		147GB0.3GB152GBGPU単体では不可256GB〜
4bit（Q4_K_M）
標準。迷ったらこれ		151GB0.3GB157GBGPU単体では不可256GB〜
5bit（Q5_K_M）
品質重視		183GB0.3GB189GBGPU単体では不可256GB〜
6bit（Q6_K）
ほぼ無劣化		204GB0.3GB211GBGPU単体では不可512GB〜
8bit（Q8_0）
無劣化に近い		261GB0.3GB270GBGPU単体では不可512GB〜
16bit（BF16）
元精度		491GB0.3GB507GBGPU単体では不可不可

モデルの構造と、必要メモリの増え方

Inkling Small 264BはThinking Machinesが2026年7月に公開した263.66Bのモデルです。GGUFのヘッダには42層と書かれており、総パラメータ263.66Bのうち、1トークンの生成で実際に読むのは約12Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

注意機構は混合型で、全域注意が7層、残り35層は窓512トークンのスライディングウィンドウです。コンテキストに比例して増えるのは全域注意の7層ぶん（1トークンあたり約28KB）だけで、スライディングウィンドウの35層は窓512トークンぶん（約0.1GB）で頭打ちになります。

実際の値は、8,192トークンで0.3GB、128Kトークンまで伸ばすと3.6GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

M3 Ultra（256GB）の実効192GBならQ5_K_Mまで入りますが、必要188.9GBで余白は3GBほど。128GBのMacやRyzen AI Max+ 395（128GB）は実効85.8〜96GBで、収まるのはIQ2_M（76.8GB）が限度です。

2bit台まで落とす覚悟が要ります。文脈は1,048,576トークンまで伸ばせ、全域注意は42層中7層だけ。KVは1トークン28KBなので、100万トークンを満杯にしても約28GBと、この規模にしては軽い部類です。音声はWAV・16kHzで2分以内が推奨。Q4_K_Mのファイルだけで151.4GBあり、SSDの空きも先に見ておきましょう。

GGUFで画像や音声まで扱えるかはツール側の対応次第。比べる相手はDeepSeek-V4-FlashとQwen3 235B-A22Bです。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはinklingで、当サイト収録の204モデル中1本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はunsloth/Inkling-Small-GGUF、元になったモデルはthinkingmachines/Inkling-Smallです。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（151GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。このモデルは42層のうち35層がスライディングウィンドウ注意（窓512トークン）なので、長くしてもKVが伸びにくい構造です。

コンテキストKVキャッシュ必要合計必要なGPU必要なMac
4,0960.2GB157GBGPU単体では不可256GB〜
8,192既定0.3GB157GBGPU単体では不可256GB〜
16,3840.5GB157GBGPU単体では不可256GB〜
32,7680.9GB157GBGPU単体では不可256GB〜
65,5361.8GB158GBGPU単体では不可256GB〜
131,0723.6GB160GBGPU単体では不可256GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約0.9GBから約0.5GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル開発元4bitで必要一言
DeepSeek-V4-FlashDeepSeek132GB総284BのMoEでMIT。MLA採用でKVキャッシュが小さい。メモリ192GB以上向け
Qwen3 235B-A22BAlibaba138GBメモリ128GB級のMac StudioやStrix Haloで動かす巨大なMoE
MiniMax-M2.5 229B-A10BMiniMax135GBコードとエージェント用途に重点を置いた229BのMoE（アクティブ10B）。Mac 192GB以上が対象
Hy3 295B-A21BTencent178GBTencentの295BのMoE（アクティブ21B）。Apache 2.0。Mac 256GB以上が対象
ERNIE 4.5 300B-A47BBaidu175GBBaiduの300BのMoE（アクティブ47B）。Apache 2.0。Mac 256GB以上が対象
MiMo-V2.6-Flash-RLXiaomi161GBXiaomiの総309B・活性15BのMoE。画像・動画・音声も扱う。MIT。MXFP4で約156GB、Mac 256GBから

4bit（Q4_K_M）が動く機種と推定速度

4bit（Q4_K_M）なら4機種で20 tok/s以上、0機種で8〜20 tok/s（テキスト生成の推定・計算方法）。

快適 20 tok/s以上（4機種）

実用 8〜20 tok/s（0機種）

  • なし

遅い 動くが遅い（0機種）

  • なし

メモリに一部を逃がせば動く（0機種・CPUオフロード、PCのメモリ32GB想定）

  • なし
動かない機種（138）を見る

今のPCのまま、Inkling Small 264Bを動かすために足すもの

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

NVMe SSD / 外付けSSD 2TB

Inkling Small 264Bは4bit（IQ4_XS）で119GB、8bitのQ8_0なら261GB。精度違いを3種類そろえるだけで約377GB使います。何本か試すうちに、まず内蔵SSDが先に埋まります。Macは内蔵を増設できないので外付けが前提です。

Amazonで「NVMe SSD 2TB」を見る →Amazonで「外付けSSD 2TB USB 3.2」を見る →

メモリ増設（32GB化）

Inkling Small 264BはMoEで、1トークンごとに動くのは12B分だけです。だからGPUに全部載せなくても、システムメモリ側に置いて実用速度が出ます。必要なのは157GBぶんの空きで、この型はVRAMを足すより先にメモリを増やすほうが効きます。

Amazonで「DDR5 16GB 2枚組」を見る →Amazonで「DDR5 SO-DIMM 16GB 2枚組」を見る →Amazonで「DDR4 16GB 2枚組」を見る →

ローカルLLM / AIエージェント入門書

Inkling Small 264BのようなGGUF版のモデルを落として動かす手順、量子化の選び方、Ollama と LM Studio の使い分けは、一冊まとまったものを手元に置くと早い。

Amazonで「ローカルLLM 本」を見る →Amazonで「AIエージェント 開発 本」を見る →

Inkling Small 264Bを動かせるPC・Macを今日買うなら

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

ぴったりMac

Mac Studio M5 Ultra（メモリ256GB・SSD 2TB）

235B級のMoE型を1台で動かせる。帯域1.2TB/sはRTX 4090を上回る。個人で持てる上限

M5 Ultra（30コアCPU・64コアGPU）・ユニファイドメモリ256GB・SSD 2TB ・ 目安 167〜185万円

要件を満たす中で最も手頃

Amazonで「Mac Studio M5 Ultra 256GB」を見る →
別の形なら常時稼働サーバー型

Mac Studio M5 Ultra（メモリ512GB）をLLMサーバに

DeepSeek V3級（671B）の4bitを1台で。帯域1.2TB/s。チームのローカルLLMサーバ

M5 Ultra（36コア・80コアGPU）・ユニファイドメモリ512GB・SSD 4TB ・ 目安 240〜280万円

別の形で同じ仕事をするなら

Amazonで「Mac Studio M5 Ultra 512GB」を見る →

よくある質問

Inkling Small 264Bを動かすのに必要なVRAMは？

4bit量子化（4bit（Q4_K_M））でファイル151GB、8,192トークンのKVキャッシュを含めて約157GBが必要です。GPU単体のVRAMには載らず、Macのユニファイドメモリか複数GPUが必要です。

Inkling Small 264BはMacで動く？

動きます。ユニファイドメモリ256GB以上のApple Silicon（例: Apple M5 Ultra（256GB））なら、4bit量子化で実用的な速さが出ます。

このクラスの選び方: ローカルLLM（70B〜120B MoE）に必要なPC / MacかWindowsか

手持ちのPCで判定する