AI PCナビ使うAIと、させたい仕事に合うPC・Macを。
トップ › モデル別 › Magistral Small 2509

Magistral Small 2509 を動かすPCスペック(必要VRAM・メモリ・速度の目安)

Mistralの推論モデル24B。VRAM 16GB

16GB4bitで動かすのに要るメモリ(会話8,192トークン分込み)
VRAM 16GB実用になるいちばん安いGPU: GeForce RTX 5080
24GB実用になるいちばん小さいMac: M5 Pro(24GB)
131,072最大コンテキスト(学習時)

編集部の見立て

Mistral Small 3.2を土台に、上位のMagistral Mediumの推論過程で教師あり学習をかけ、強化学習を重ねた24Bの推論モデルです。前版から画像エンコーダが加わりました。配布元が挙げる対応言語には日本語も入っています。配布元の説明では、量子化すればRTX 4090 1枚か32GBのMacBookに収まる。

4bitで8kの文脈を含めて15.5GB、RTX 5080なら推定46.4tok/s。Macでは実効16.1GBのM5 Pro(24GB)が推定18.6tok/sです。答えの前に長く考える推論型を、手元のGPUやMacで回したい人向け。

量子化別の必要メモリ

ファイルサイズは Hugging Face(unsloth/Magistral-Small-2509-GGUF) に置かれている実際のファイルサイズです。KVキャッシュ(会話の作業メモリ)は8,192トークン・fp16として、モデルの構造(40層)から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化ファイルKVキャッシュ(8k)必要合計GPUならMacなら
2bit(IQ2_M)
品質劣化大。最後の手段
7.7GB1.3GB9.7GBVRAM 11GB〜16GB〜
2bit(Q2_K)
品質劣化大。最後の手段
8.3GB1.3GB10GBVRAM 11GB〜16GB〜
3bit(Q3_K_M)
メモリ優先
11GB1.3GB13GBVRAM 16GB〜24GB〜
4bit(IQ4_XS)
Q4_K_Mより一回り小さい
12GB1.3GB14GBVRAM 16GB〜24GB〜
4bit(Q4_K_M)
標準。迷ったらこれ
13GB1.3GB15GBVRAM 16GB〜24GB〜
5bit(Q5_K_M)
品質重視
16GB1.3GB18GBVRAM 20GB〜32GB〜
6bit(Q6_K)
ほぼ無劣化
18GB1.3GB20GBVRAM 24GB〜32GB〜
8bit(Q8_0)
無劣化に近い
23GB1.3GB26GBVRAM 32GB〜48GB〜
16bit(BF16)
元精度
44GB1.3GB47GBVRAM 48GB〜64GB〜

モデルの構造と、必要メモリの増え方

Magistral Small 2509はMistral AIが2025年9月に公開した23.57Bのモデルです。GGUFのヘッダには40層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全40層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約160KB(fp16)で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.3GB、学習時の上限131,072トークンまで伸ばすと20GBです。

ライセンス表記: apache-2.0(層数と窓の大きさはGGUFヘッダから取得)

このモデルを実際に使うなら

つまずくのは思考部分の扱いです。考える過程は[THINK]と[/THINK]という特別なトークンで囲まれ、これを文字列ではなくトークンとして扱う必要があります。配布元はmistral-commonを正とするよう求めており、自前でテンプレートを組むと崩れやすい。

推奨はtemperature 0.7・top_p 0.95で、最大出力は131,072トークン。文脈は128kまで扱えますが、4万トークンを超えると性能が落ちる可能性があると書かれています。全40層がKVを持つので1トークン160KB、4万トークンまで伸ばすと8k時より約4.9GB増えて20GB強。

24GBのGPUなら収まり、実効16.1GBのM5 Pro(24GB)では足りません。同じ骨格のDevstral Small 2507とMistral Small 3.2 24Bは、必要メモリも推定速度も同じ値です。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はunsloth/Magistral-Small-2509-GGUF、元になったモデルはmistralai/Magistral-Small-2509です。

得意分野は推論(段階を踏んで考える処理)、画像を含む文書の読み取りです。

同じMistral AIのモデルでは、サイズの近いものにDevstral Small 2 24B(23.57B)、Devstral Small 2507(23.57B)、Mistral Small 3.2 24B(23.57B)があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit(Q4_K_M)(13GB)を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキストKVキャッシュ必要合計必要なGPU必要なMac
4,0960.6GB15GBVRAM 16GB〜24GB〜
8,192既定1.3GB15GBVRAM 16GB〜24GB〜
16,3842.5GB17GBVRAM 20GB〜32GB〜
32,7685.0GB19GBVRAM 20GB〜32GB〜
65,53610GB24GBVRAM 32GB〜48GB〜
131,07220GB34GBVRAM 48GB〜48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約5.0GBから約2.5GBに減ります(品質はわずかに落ちます)。

同じサイズ帯の他のモデル

モデル開発元4bitで必要一言
Devstral Small 2 24BMistral AI16GBDevstral Smallの第2世代。コーディングエージェント向け。VRAM 16GB / Mac 24GBから
Devstral Small 2507Mistral AI15GBコーディングエージェント向けに調整された24B。VRAM 16GB
Mistral Small 3.2 24BMistral AI15GBQ4ならVRAM 16GBに収まる欧州製
Codestral 22BMistral AI15GBMistralのコード専用22B。VRAM 16GB / Mac 24GBから
Gemma 4 26B-A4BGoogle17GB2026年のGoogle製MoE。メモリ24〜32GBで速い
ERNIE 4.5 21B-A3B ThinkingBaidu14GBBaiduの推論型MoE(総21B・アクティブ3B)。Apache 2.0。VRAM 16GB / Mac 24GBから

4bit(Q4_K_M)が動く機種と推定速度

4bit(Q4_K_M)なら46機種で20 tok/s以上、25機種で8〜20 tok/s(テキスト生成の推定・計算方法)。

快適 20 tok/s以上(46機種)

実用 8〜20 tok/s(25機種)

メモリに一部を逃がせば動く(41機種・CPUオフロード、PCのメモリ32GB想定)

動かない機種(17)を見る

今のPCのまま、Magistral Small 2509を動かすために足すもの

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

NVMe SSD / 外付けSSD 2TB

Magistral Small 2509は4bit(IQ4_XS)で12GB、8bitのQ8_0なら23GB。精度違いを3種類そろえるだけで約36GB使います。何本か試すうちに、まず内蔵SSDが先に埋まります。Macは内蔵を増設できないので外付けが前提です。

メモリ増設(32GB化)

VRAMに載りきらない分は、システムメモリに逃がして動かせます(CPUオフロード)。Magistral Small 2509は16GB要るので、VRAM 12GBのカードなら約4.0GBをメモリ側で受ける計算です。メモリ16GBのままだとOSとブラウザで詰まるので、32GBが下限。

GPUを1枚替える: RTX 5060 Ti 16GB

「あと数GB足りない」を埋めるのに、PC一式を買い替える必要はありません。RTX 5060 Ti 16GBなら4bit(IQ4_XS)の16GBがVRAMに収まります。先に見るのは、今のケースに入る長さか、電源の容量と補助電源のコネクタが足りるかの2点です。

ローカルLLM / AIエージェント入門書

Magistral Small 2509のようなGGUF版のモデルを落として動かす手順、量子化の選び方、Ollama と LM Studio の使い分けは、一冊まとまったものを手元に置くと早い。

Magistral Small 2509を動かせるPC・Macを今日買うなら

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

ぴったり自作

自作: RTX 5070 Ti(16GB)・メモリ32GB

BTOより同予算で一段上のGPUに届く。画像生成とローカルLLMの定番

Ryzen 7 9700X・DDR5 16GB×2・RTX 5070 Ti・NVMe 2TB・電源850W ・ 目安 27〜35万円

要件を満たす中で最も手頃

余裕を持つなら自作

自作: RTX 5090(32GB)・メモリ96GB

動画生成・学習・32BクラスのLLM。メモリ96GBあれば、大型のMoE型を一部メインメモリに逃がして動かせる

Ryzen 9 9950X・DDR5 48GB×2・RTX 5090・NVMe 4TB・電源1000W・大型ケース ・ 目安 60〜80万円

将来の用途拡張(大きなモデル・並列エージェント)に余裕

別の形ならMac

Mac mini M4 Pro(メモリ48GB・SSD 1TB)

30BクラスのローカルLLMとエージェント並列運用を1台で。コスパの中心

M4 Pro・ユニファイドメモリ48GB・SSD 1TB・帯域273GB/s ・ 目安 30〜36万円

Macで同じ仕事をするなら

よくある質問

Magistral Small 2509を動かすのに必要なVRAMは?

4bit量子化(4bit(Q4_K_M))でファイル13GB、8,192トークンのKVキャッシュを含めて約16GBが必要です。GPU単体ならGeForce RTX 5080(VRAM 16GB)から実用速度で動きます。

Magistral Small 2509はMacで動く?

動きます。ユニファイドメモリ24GB以上のApple Silicon(例: Apple M5 Pro(24GB))なら、4bit量子化で実用的な速さが出ます。

このクラスの選び方: ローカルLLM(27〜32Bクラス)に必要なPC / MacかWindowsか

手持ちのPCで判定する