RakutenAI-3.0 671B-A37B を動かすPCスペック(必要VRAM・メモリ・速度の目安)
日本語向けに調整した671BのMoE(アクティブ37B)。Mac 512GB級が対象
編集部の見立て
楽天が2026年3月に出した総671Bの日本語向けMoEで、1トークンで働くのは37B。構造はdeepseek2系のMLAで、配布元の説明では日本語と英語の両方を対象に、自社の日英データを使って学習したとあります。Q4_K_Mは376.7GBあり、8kの文脈込みで389.5GB。
当サイトの収録機ではM5 Ultra(512GB)の実効384GBにも4bitでは入らず、条件を満たす機種はありません。個人のPCで動かすものではなく、サーバー級の機材を持つ組織か、API経由で使う人のためのモデルです。
量子化別の必要メモリ
ファイルサイズは Hugging Face(mmnga-o/RakutenAI-3.0-gguf) に置かれている実際のファイルサイズです。KVキャッシュ(会話の作業メモリ)は8,192トークン・fp16として、モデルの構造(61層・KVを圧縮するMLA方式)から計算しています。必要メモリの合計には計算用のバッファも含めています。
| 量子化 | ファイル | KVキャッシュ(8k) | 必要合計 | GPUなら | Macなら |
|---|---|---|---|---|---|
| 2bit(Q2_K) 品質劣化大。最後の手段 | 227GB | 1.0GB | 236GB | GPU単体では不可 | 512GB〜 |
| 3bit(Q3_K_M) メモリ優先 | 297GB | 1.0GB | 308GB | GPU単体では不可 | 512GB〜 |
| 4bit(MXFP4 MoE) MoE専用のMXFP4 | 340GB | 1.0GB | 352GB | GPU単体では不可 | 512GB〜 |
| 4bit(Q4_K_M) 標準。迷ったらこれ | 377GB | 1.0GB | 390GB | GPU単体では不可 | 不可 |
| 5bit(Q5_K_M) 品質重視 | 443GB | 1.0GB | 458GB | GPU単体では不可 | 不可 |
| 6bit(Q6_K) ほぼ無劣化 | 513GB | 1.0GB | 530GB | GPU単体では不可 | 不可 |
モデルの構造と、必要メモリの増え方
RakutenAI-3.0 671B-A37Bは楽天が2026年3月に公開した671.03Bのモデルです。GGUFのヘッダには61層と書かれており、総パラメータ671.03Bのうち、1トークンの生成で実際に読むのは約37Bです(MoE)。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。
KVを低ランク(rank 512)に圧縮するMLA方式です。同じ規模の一般的なモデルよりKVキャッシュが小さく済みます。1トークンあたりのKVキャッシュは約130KB(fp16)で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限131,072トークンまで伸ばすと16GBです。
ライセンス表記: apache-2.0(層数と窓の大きさはGGUFヘッダから取得)
このモデルを実際に使うなら
手元に置くとすれば、量子化を落とす前提の話になります。MXFP4_MOEの340.3GBか、Q3_K_Mの297.3GBなら、M5 Ultra(512GB)の実効384GBに8kの文脈を足して収まる計算です。速度の推定は当サイトにはありません。MLAのおかげでKVは1トークン130KBと、この規模にしては軽く、学習時上限の163,840トークンでも約20GB。
Q3_K_Mと足して320GB前後で、512GB機なら長文も入ります。配布元が推奨する実行環境はSGLangのDockerイメージで、GGUFは第三者の変換版です。ライセンスは、配布元のモデルカードにApache 2.0と記されています。似た規模のMistral Large 3 675B(アクティブ39B)も必要量は391.9GBでほぼ同じです。
このモデルの系統
GGUFヘッダに書かれたアーキテクチャはdeepseek2で、当サイト収録の204モデル中4本が同じ系統です。DeepSeek系。KVを圧縮するMLAを使い、同規模のモデルよりKVキャッシュが小さく済みます。
配布元はmmnga-o/RakutenAI-3.0-gguf、元になったモデルはRakuten/RakutenAI-3.0です。
得意分野は日本語の文章です。
同じ楽天のモデルでは、サイズの近いものにRakutenAI-2.0 8x7B(46.83B)、RakutenAI-2.0 mini(1.53B)があります。
コンテキスト長を伸ばすと必要メモリはどう増えるか
長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit(Q4_K_M)(377GB)を前提に、コンテキスト長ごとの必要メモリを計算しました。MLA(圧縮KV)採用のため、長いコンテキストでもKVが小さく収まります。
| コンテキスト | KVキャッシュ | 必要合計 | 必要なGPU | 必要なMac |
|---|---|---|---|---|
| 4,096 | 0.5GB | 389GB | GPU単体では不可 | 不可 |
| 8,192既定 | 1.0GB | 390GB | GPU単体では不可 | 不可 |
| 16,384 | 2.0GB | 391GB | GPU単体では不可 | 不可 |
| 32,768 | 4.1GB | 393GB | GPU単体では不可 | 不可 |
| 65,536 | 8.1GB | 397GB | GPU単体では不可 | 不可 |
| 131,072 | 16GB | 405GB | GPU単体では不可 | 不可 |
KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.1GBから約2.0GBに減ります(品質はわずかに落ちます)。
同じサイズ帯の他のモデル
| モデル | 開発元 | 4bitで必要 | 一言 |
|---|---|---|---|
| Mistral Large 3 675B | Mistral AI | 392GB | Mistralの最上位MoE(総673B・アクティブ39B)。Apache 2.0。Q4_K_Mは512GBのMacにも載らず、IQ4_XSかMXFP4で収まる |
| GLM-5.3 | Z.ai | 352GB | 総754BのMoE。4bitでも400GB級で、Mac Studio 512GBが対象 |
| Qwen3-Coder 480B-A35B | Alibaba | 281GB | Qwen3-Coderの最上位MoE(総480B・アクティブ35B)。Apache 2.0。Mac 512GB以上が対象 |
| Kimi K2.6 | Moonshot AI | 329GB | 総1T・アクティブ32BのMoE。2〜3bitでも300GBを超え、Mac 512GBの構成が対象 |
4bit(Q4_K_M)が動く機種と推定速度
4bit(Q4_K_M)なら0機種で20 tok/s以上、0機種で8〜20 tok/s(テキスト生成の推定・計算方法)。
快適 20 tok/s以上(0機種)
- なし
実用 8〜20 tok/s(0機種)
- なし
遅い 動くが遅い(0機種)
- なし
メモリに一部を逃がせば動く(0機種・CPUオフロード、PCのメモリ32GB想定)
- なし
動かない機種(142)を見る
- GeForce RTX 3060 12GB あと378GB
- GeForce RTX 3060 Ti あと382GB
- GeForce RTX 3070 あと382GB
- GeForce RTX 3070 Ti あと382GB
- GeForce RTX 3080 10GB あと380GB
- GeForce RTX 3080 12GB あと378GB
- GeForce RTX 3080 Ti あと378GB
- GeForce RTX 3090 あと366GB
- GeForce RTX 3090 Ti あと366GB
- GeForce RTX 4060 あと382GB
- GeForce RTX 4060 Ti 8GB あと382GB
- GeForce RTX 4060 Ti 16GB あと374GB
- GeForce RTX 4070 あと378GB
- GeForce RTX 4070 SUPER あと378GB
- GeForce RTX 4070 Ti あと378GB
- GeForce RTX 4070 Ti SUPER あと374GB
- GeForce RTX 4080 あと374GB
- GeForce RTX 4080 SUPER あと374GB
- GeForce RTX 4090 あと366GB
- GeForce RTX 5060 あと382GB
- GeForce RTX 5060 Ti 8GB あと382GB
- GeForce RTX 5060 Ti 16GB あと374GB
- GeForce RTX 5070 あと378GB
- GeForce RTX 5070 Ti あと374GB
- GeForce RTX 5080 あと374GB
- GeForce RTX 5090 あと358GB
- GeForce RTX 3050 8GB あと382GB
- GeForce RTX 5050 あと382GB
- GeForce RTX 2060 6GB あと384GB
- GeForce RTX 2060 12GB あと378GB
- GeForce RTX 2060 SUPER あと382GB
- GeForce RTX 2070 あと382GB
- GeForce RTX 2070 SUPER あと382GB
- GeForce RTX 2080 あと382GB
- GeForce RTX 2080 SUPER あと382GB
- GeForce RTX 2080 Ti あと379GB
- GeForce GTX 1080 Ti あと379GB
- RTX 2000 Ada あと374GB
- RTX 6000 Ada あと342GB
- GeForce RTX 3050 Laptop あと386GB
- GeForce RTX 3060 Laptop あと384GB
- GeForce RTX 3070 Laptop あと382GB
- GeForce RTX 3080 Laptop 16GB あと374GB
- GeForce RTX 3080 Ti Laptop あと374GB
- GeForce RTX 4050 Laptop あと384GB
- GeForce RTX 4060 Laptop あと382GB
- GeForce RTX 4070 Laptop あと382GB
- GeForce RTX 4080 Laptop あと378GB
- GeForce RTX 4090 Laptop あと374GB
- GeForce RTX 5060 Laptop あと382GB
- GeForce RTX 5070 Laptop あと382GB
- GeForce RTX 5070 Ti Laptop あと378GB
- GeForce RTX 5080 Laptop あと374GB
- GeForce RTX 5090 Laptop あと366GB
- Radeon RX 7600 あと382GB
- Radeon RX 7700 XT あと378GB
- Radeon RX 7800 XT あと374GB
- Radeon RX 7900 XT あと370GB
- Radeon RX 7900 XTX あと366GB
- Radeon RX 7600 XT 16GB あと374GB
今のPCのまま、RakutenAI-3.0 671B-A37Bを動かすために足すもの
PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
NVMe SSD / 外付けSSD 2TB
RakutenAI-3.0 671B-A37Bは4bit(MXFP4 MoE)で340GB。精度違いを3種類そろえるだけで約1014GB使います。何本か試すうちに、まず内蔵SSDが先に埋まります。Macは内蔵を増設できないので外付けが前提です。
メモリ増設(32GB化)
RakutenAI-3.0 671B-A37BはMoEで、1トークンごとに動くのは37B分だけです。だからGPUに全部載せなくても、システムメモリ側に置いて実用速度が出ます。必要なのは390GBぶんの空きで、この型はVRAMを足すより先にメモリを増やすほうが効きます。
ローカルLLM / AIエージェント入門書
RakutenAI-3.0 671B-A37BのようなGGUF版のモデルを落として動かす手順、量子化の選び方、Ollama と LM Studio の使い分けは、一冊まとまったものを手元に置くと早い。
RakutenAI-3.0 671B-A37Bを動かせるPC・Macを今日買うなら
PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
GPUなし開発デスクトップ(メモリ32GB・SSD 1TB)
コーディングAI・データ分析・自動化のサーバ役。GPUは後から足せる
Ryzen 7 / Core i7 クラス・メモリ32GB・NVMe 1TB・電源650W以上(GPU増設余地) ・ 目安 12〜18万円
この形態に要件を満たす機種がありません: VRAM 391GB以上が必要
よくある質問
RakutenAI-3.0 671B-A37Bを動かすのに必要なVRAMは?
4bit量子化(4bit(Q4_K_M))でファイル377GB、8,192トークンのKVキャッシュを含めて約390GBが必要です。GPU単体のVRAMには載らず、Macのユニファイドメモリか複数GPUが必要です。
RakutenAI-3.0 671B-A37BはMacで動く?
収録したApple Silicon構成では4bit量子化が実効メモリに載りません。
このクラスの選び方: ローカルLLM(70B〜120B MoE)に必要なPC / MacかWindowsか