Mixtral 8x7B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Mistral AI ・公開 2023-12 ・ 46.7Bパラメータ（MoE・アクティブ13B）・データ更新 2026-10-02

公開MoEの先駆け（総47B・アクティブ13B）。Apache 2.0。VRAM 32GB / Mac 48GBから

29GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 32GB実用になるいちばん安いGPU: GeForce RTX 5090

48GB実用になるいちばん小さいMac: M5 Max（48GB）

32,768最大コンテキスト（学習時）

編集部の見立て

2023年12月に公開された、重みが公開されたMoEとして最初に広く使われたモデルです。8つの専門家のうち各トークンで2つが働き、総46.7Bに対してアクティブパラメータは13B。読み込みは総量ぶん必要で、Q4_K_Mの26.5GBに8kの文脈を足して28.8GBです。

推定はRTX 5090（32GB）で78.7tok/s、M5 Max（48GB）なら35.5tok/sです。ノート向けGPUで収まる機種はありません。Apache 2.0。当時の英語圏の記事や評価の土台になったモデルで、MoEの挙動を手元で確かめたい人と、これを前提に組んだ仕組みを維持している人が対象です。

量子化別の必要メモリ

ファイルサイズは Hugging Face（MaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（Q2_K）品質劣化大。最後の手段	16GB	1.0GB	18GB	VRAM 20GB〜	32GB〜
3bit（Q3_K_M）メモリ優先	21GB	1.0GB	23GB	VRAM 24GB〜	36GB〜
4bit（Q4_K_M）標準。迷ったらこれ	26GB	1.0GB	29GB	VRAM 32GB〜	48GB〜
5bit（Q5_K_M）品質重視	31GB	1.0GB	33GB	VRAM 48GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	36GB	1.0GB	38GB	VRAM 48GB〜	64GB〜
8bit（Q8_0）無劣化に近い	46GB	1.0GB	49GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

Mixtral 8x7BはMistral AIが2023年12月に公開した46.7Bのモデルです。GGUFのヘッダには32層と書かれており、総パラメータ46.7Bのうち、1トークンの生成で実際に読むのは約13Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

全32層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限32,768トークンまで伸ばすと4.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

指示の書式に厳格です。配布元は[INST]と[/INST]で挟む形式を守らないと出力が崩れると明記しており、Ollamaやllama.cppのテンプレートが正しく適用されているか、最初の応答で確かめましょう。安全側の仕組みは入っていないと配布元自身が書いています。

KVは1トークン128KBと軽く、上限の32,768トークンでも4GB。RTX 5090の実効31.5GBにQ4_K_M（26.5GB）を置くと残りは5GBで、上限近くまで文脈を伸ばせます。同じ形をした日本語MoEが2つあります。RakutenAI-2.0 8x7B（総46.83B）は同じ8x7Bの形を日本語に向けた版、Tanuki-8x8B（総46.97B）はGENIACで一から学習した版で、必要量はどれも29GB前後。日本語主体ならその2つ、英語の資料やコードならこちらです。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はMaziyarPanahi/Mixtral-8x7B-Instruct-v0.1-GGUF、元になったモデルはmistralai/Mixtral-8x7B-Instruct-v0.1です。

同じMistral AIのモデルでは、サイズの近いものにDevstral Small 2 24B（23.57B）、Magistral Small 2509（23.57B）、Devstral Small 2507（23.57B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（26GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	28GB	VRAM 32GB〜	48GB〜
8,192既定	1.0GB	29GB	VRAM 32GB〜	48GB〜
16,384	2.0GB	30GB	VRAM 32GB〜	48GB〜
32,768	4.0GB	32GB	VRAM 48GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.0GBから約2.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
RakutenAI-2.0 8x7B	楽天	29GB	楽天の日本語MoE（総47B・アクティブ13B）。Mac 48GB以上かVRAM 32GB向け
Tanuki-8x8B	松尾・岩澤研究室 GENIAC	29GB	Tanuki-8BをMoE化した47B（アクティブ13B）。Apache 2.0。VRAM 32GB / Mac 48GBから
Kimi Linear 48B-A3B	Moonshot AI	29GB	線形注意を使う48BのMoE（アクティブ3B）。長文でもKVキャッシュが増えにくい。MIT。VRAM 32GB / Mac 48GBから
Seed-OSS 36B	ByteDance	23GB	長文コンテキストに強い36Bのdense型。VRAM 24〜32GB向け
BigBang v1 35B	endless-frontier	22GB	35BのMoEで画像対応。Apache 2.0。アクティブパラメータが小さくメモリ32GB級でも速い
Ornith 1.5 35B-A3B	ornith-ai	22GB	35BのMoE（アクティブ3B）でMIT。メモリ32GBクラスで速く動く