RakutenAI-2.0 8x7B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

楽天・公開 2025-01 ・ 46.83Bパラメータ（MoE・アクティブ13B）・データ更新 2026-10-02

楽天の日本語MoE（総47B・アクティブ13B）。Mac 48GB以上かVRAM 32GB向け

29GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 32GB実用になるいちばん安いGPU: GeForce RTX 5090

48GB実用になるいちばん小さいMac: M5 Max（48GB）

32,768最大コンテキスト（学習時）

編集部の見立て

楽天の日本語MoEで、総パラメータ46.83Bのうち1トークンで働くのは13B。8つの専門家から2つを使う構成です。4bitのファイルは26.6GBで、8kの文脈を足すと28.9GBになり、24GBのGPUには収まりません。単体ならRTX 5090（推定78.6tok/s）、MacはM5 Max（48GB）で推定35.5tok/s。ノートの選択肢はなし。32GB以上のGPUか48GB以上のMacを持つ人が、速さを優先して選ぶモデルです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/RakutenAI-2.0-8x7B-instruct-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	14GB	1.0GB	16GB	VRAM 20GB〜	32GB〜
2bit（Q2_K）品質劣化大。最後の手段	16GB	1.0GB	18GB	VRAM 20GB〜	32GB〜
3bit（IQ3_M）メモリ優先	20GB	1.0GB	22GB	VRAM 24GB〜	36GB〜
3bit（Q3_K_M）メモリ優先	21GB	1.0GB	23GB	VRAM 24GB〜	36GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	23GB	1.0GB	26GB	VRAM 32GB〜	48GB〜
4bit（Q4_K_M）標準。迷ったらこれ	27GB	1.0GB	29GB	VRAM 32GB〜	48GB〜
5bit（Q5_K_M）品質重視	31GB	1.0GB	33GB	VRAM 48GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	36GB	1.0GB	38GB	VRAM 48GB〜	64GB〜
8bit（Q8_0）無劣化に近い	46GB	1.0GB	49GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

RakutenAI-2.0 8x7Bは楽天が2025年1月に公開した46.83Bのモデルです。GGUFのヘッダには32層と書かれており、総パラメータ46.83Bのうち、1トークンの生成で実際に読むのは約13Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

全32層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限32,768トークンまで伸ばすと4.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

MoEはアクティブパラメータが小さいぶん速く、GPUなしでもRyzen AI Max+ 395のメモリ64GB構成で推定10.9tok/s出ます。ただし読み込むのは総パラメータぶんで、容量の要求は47B級のまま。RTX 4090や3090の24GB（実効23.5GB）に載せるならIQ3_M（20GB）へ落とす形になり、8k分のKV 1.0GBを足して21GB台と計算上は収まります。

KVは32層で1トークン128KBと軽く、32Kでも4.0GB。M5 Max 48GB（実効36GB）ならQ5_K_M（31GB）に8kの文脈を足して32GBで、量子化を一段上げても余白が残ります。近い大きさのSeed-OSS 36Bはdense型で、同じ容量でも速度の出方が違う。

Apache 2.0で、同じシリーズのRakutenAI-2.0 miniと条件は同じです。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はmmnga/RakutenAI-2.0-8x7B-instruct-gguf、元になったモデルはRakuten/RakutenAI-2.0-8x7B-instructです。

得意分野は日本語の文章です。

同じ楽天のモデルでは、サイズの近いものにRakutenAI-2.0 mini（1.53B）、RakutenAI-3.0 671B-A37B（671.03B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（27GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	28GB	VRAM 32GB〜	48GB〜
8,192既定	1.0GB	29GB	VRAM 32GB〜	48GB〜
16,384	2.0GB	30GB	VRAM 32GB〜	48GB〜
32,768	4.0GB	32GB	VRAM 48GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.0GBから約2.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Mixtral 8x7B	Mistral AI	29GB	公開MoEの先駆け（総47B・アクティブ13B）。Apache 2.0。VRAM 32GB / Mac 48GBから
Tanuki-8x8B	松尾・岩澤研究室 GENIAC	29GB	Tanuki-8BをMoE化した47B（アクティブ13B）。Apache 2.0。VRAM 32GB / Mac 48GBから
Kimi Linear 48B-A3B	Moonshot AI	29GB	線形注意を使う48BのMoE（アクティブ3B）。長文でもKVキャッシュが増えにくい。MIT。VRAM 32GB / Mac 48GBから
Seed-OSS 36B	ByteDance	23GB	長文コンテキストに強い36Bのdense型。VRAM 24〜32GB向け
BigBang v1 35B	endless-frontier	22GB	35BのMoEで画像対応。Apache 2.0。アクティブパラメータが小さくメモリ32GB級でも速い
Ornith 1.5 35B-A3B	ornith-ai	22GB	35BのMoE（アクティブ3B）でMIT。メモリ32GBクラスで速く動く