AI PCナビ使うAIと、させたい仕事に合うPC・Macを。
トップ › モデル別 › Codestral 22B

Codestral 22B を動かすPCスペック(必要VRAM・メモリ・速度の目安)

Mistralのコード専用22B。VRAM 16GB / Mac 24GBから

15GB4bitで動かすのに要るメモリ(会話8,192トークン分込み)
VRAM 16GB実用になるいちばん安いGPU: GeForce RTX 5080
24GB実用になるいちばん小さいMac: M5 Pro(24GB)
32,768最大コンテキスト(学習時)

編集部の見立て

Mistral AIが2024年5月に出した、コード専用の22Bのdense型です。配布元は80を超えるプログラミング言語で学習したとし、質問に答えるinstructの使い方に加えて、前後のコードから真ん中を埋めるFIMに対応する点を挙げています。Q4_K_Mなら12.4GBのファイルに8k分の文脈を足して、必要量は15.1GBになります。

VRAM 16GBのRTX 5080で推定48.7tok/s、M5 Pro(24GB)で19.5tok/s、Ryzen AI Max+ 395(32GB)で10.8tok/s。16GB級GPUで補完を回したい人向けですが、ライセンスは独自です。

量子化別の必要メモリ

ファイルサイズは Hugging Face(bartowski/Codestral-22B-v0.1-GGUF) に置かれている実際のファイルサイズです。KVキャッシュ(会話の作業メモリ)は8,192トークン・fp16として、モデルの構造(56層)から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化ファイルKVキャッシュ(8k)必要合計GPUならMacなら
2bit(IQ2_M)
品質劣化大。最後の手段
7.1GB1.8GB9.6GBVRAM 11GB〜16GB〜
2bit(Q2_K)
品質劣化大。最後の手段
7.7GB1.8GB10GBVRAM 11GB〜16GB〜
3bit(IQ3_M)
メモリ優先
9.4GB1.8GB12GBVRAM 16GB〜18GB〜
3bit(Q3_K_M)
メモリ優先
10GB1.8GB13GBVRAM 16GB〜24GB〜
4bit(IQ4_XS)
Q4_K_Mより一回り小さい
11GB1.8GB14GBVRAM 16GB〜24GB〜
4bit(Q4_K_M)
標準。迷ったらこれ
12GB1.8GB15GBVRAM 16GB〜24GB〜
5bit(Q5_K_M)
品質重視
15GB1.8GB17GBVRAM 20GB〜32GB〜
6bit(Q6_K)
ほぼ無劣化
17GB1.8GB20GBVRAM 24GB〜32GB〜
8bit(Q8_0)
無劣化に近い
22GB1.8GB25GBVRAM 32GB〜48GB〜

モデルの構造と、必要メモリの増え方

Codestral 22BはMistral AIが2024年5月に公開した22.25Bのモデルです。GGUFのヘッダには56層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全56層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約224KB(fp16)で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.8GB、学習時の上限32,768トークンまで伸ばすと7.0GBです。

このモデルを実際に使うなら

最初に見るのはライセンスです。Codestral 22BはMNLP-0.1という配布元独自の条件で、Apache 2.0のDevstralやMistral Smallとは扱いが違います。業務のコードに使う前に原文を読むのが先。次に文脈です。全56層が全域注意でKVは1トークン224KBと、22Bとしては重い。

RTX 5080の実効15.5GBにQ4_K_M(12.4GB)を置くと、文脈は1万1千トークン前後で頭打ち。IQ4_XS(11.1GB)でも1万7千トークン程度で、リポジトリ全体を読ませるには足りません。上限の32,768トークンではKVだけで7GBかかり、24GB級のGPUが要ります。

エージェントに任せるなら、同じ社のDevstral Small 2 24Bが8kの文脈込みで15.5GBとほぼ同じ重さで、Apache 2.0、文脈も長い。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はbartowski/Codestral-22B-v0.1-GGUF、元になったモデルはmistralai/Codestral-22B-v0.1です。

得意分野はコードを書く作業です。

同じMistral AIのモデルでは、サイズの近いものにDevstral Small 2 24B(23.57B)、Magistral Small 2509(23.57B)、Devstral Small 2507(23.57B)があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit(Q4_K_M)(12GB)を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキストKVキャッシュ必要合計必要なGPU必要なMac
4,0960.9GB14GBVRAM 16GB〜24GB〜
8,192既定1.8GB15GBVRAM 16GB〜24GB〜
16,3843.5GB17GBVRAM 20GB〜32GB〜
32,7687.0GB20GBVRAM 24GB〜32GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約7.0GBから約3.5GBに減ります(品質はわずかに落ちます)。

同じサイズ帯の他のモデル

モデル開発元4bitで必要一言
ERNIE 4.5 21B-A3B ThinkingBaidu14GBBaiduの推論型MoE(総21B・アクティブ3B)。Apache 2.0。VRAM 16GB / Mac 24GBから
Devstral Small 2 24BMistral AI16GBDevstral Smallの第2世代。コーディングエージェント向け。VRAM 16GB / Mac 24GBから
Magistral Small 2509Mistral AI15GBMistralの推論モデル24B。VRAM 16GB
Devstral Small 2507Mistral AI15GBコーディングエージェント向けに調整された24B。VRAM 16GB
Mistral Small 3.2 24BMistral AI15GBQ4ならVRAM 16GBに収まる欧州製
GPT-OSS-Swallow 20BSwallow(東京科学大学・産総研)16GBgpt-oss-20bの日本語強化版。VRAM 16GBに載る

4bit(Q4_K_M)が動く機種と推定速度

4bit(Q4_K_M)なら51機種で20 tok/s以上、20機種で8〜20 tok/s(テキスト生成の推定・計算方法)。

快適 20 tok/s以上(51機種)

実用 8〜20 tok/s(20機種)

メモリに一部を逃がせば動く(41機種・CPUオフロード、PCのメモリ32GB想定)

動かない機種(17)を見る

今のPCのまま、Codestral 22Bを動かすために足すもの

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

NVMe SSD / 外付けSSD 2TB

Codestral 22Bは4bit(IQ4_XS)で11GB、8bitのQ8_0なら22GB。精度違いを3種類そろえるだけで約34GB使います。何本か試すうちに、まず内蔵SSDが先に埋まります。Macは内蔵を増設できないので外付けが前提です。

メモリ増設(32GB化)

VRAMに載りきらない分は、システムメモリに逃がして動かせます(CPUオフロード)。Codestral 22Bは15GB要るので、VRAM 12GBのカードなら約3.6GBをメモリ側で受ける計算です。メモリ16GBのままだとOSとブラウザで詰まるので、32GBが下限。

GPUを1枚替える: RTX 5060 Ti 16GB

「あと数GB足りない」を埋めるのに、PC一式を買い替える必要はありません。RTX 5060 Ti 16GBなら4bit(IQ4_XS)の15GBがVRAMに収まります。先に見るのは、今のケースに入る長さか、電源の容量と補助電源のコネクタが足りるかの2点です。

ローカルLLM / AIエージェント入門書

Codestral 22BのようなGGUF版のモデルを落として動かす手順、量子化の選び方、Ollama と LM Studio の使い分けは、一冊まとまったものを手元に置くと早い。

Codestral 22Bを動かせるPC・Macを今日買うなら

PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。

ぴったり自作

自作: RTX 5070 Ti(16GB)・メモリ32GB

BTOより同予算で一段上のGPUに届く。画像生成とローカルLLMの定番

Ryzen 7 9700X・DDR5 16GB×2・RTX 5070 Ti・NVMe 2TB・電源850W ・ 目安 27〜35万円

要件を満たす中で最も手頃

余裕を持つなら自作

自作: RTX 5090(32GB)・メモリ96GB

動画生成・学習・32BクラスのLLM。メモリ96GBあれば、大型のMoE型を一部メインメモリに逃がして動かせる

Ryzen 9 9950X・DDR5 48GB×2・RTX 5090・NVMe 4TB・電源1000W・大型ケース ・ 目安 60〜80万円

将来の用途拡張(大きなモデル・並列エージェント)に余裕

別の形ならMac

Mac mini M4 Pro(メモリ48GB・SSD 1TB)

30BクラスのローカルLLMとエージェント並列運用を1台で。コスパの中心

M4 Pro・ユニファイドメモリ48GB・SSD 1TB・帯域273GB/s ・ 目安 30〜36万円

Macで同じ仕事をするなら

よくある質問

Codestral 22Bを動かすのに必要なVRAMは?

4bit量子化(4bit(Q4_K_M))でファイル12GB、8,192トークンのKVキャッシュを含めて約15GBが必要です。GPU単体ならGeForce RTX 5080(VRAM 16GB)から実用速度で動きます。

Codestral 22BはMacで動く?

動きます。ユニファイドメモリ24GB以上のApple Silicon(例: Apple M5 Pro(24GB))なら、4bit量子化で実用的な速さが出ます。

このクラスの選び方: ローカルLLM(27〜32Bクラス)に必要なPC / MacかWindowsか

手持ちのPCで判定する