Mistral 7B v0.3 を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Mistral AI ・公開 2024-05 ・ 7.25Bパラメータ・データ更新 2026-10-02

2023〜2024年の定番7B。Apache 2.0。GPUなしのメモリ16GBのPCでも動く

5.7GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

32,768最大コンテキスト（学習時）

編集部の見立て

Mistral AIの7Bの3代目にあたる指示調整版で、2024年5月の公開です。7.25Bのdense型で、Q4_K_Mは4.1GB、8kの文脈込みで5.7GB。VRAM 8GBのRTX 3070 Tiで推定89.8tok/s、M2 Pro（16GB）で33.6tok/s、GPUなしのRyzen AI 300（16GB）でも14.7tok/sと、敷居は低い部類です。

Apache 2.0。2024年前半までの解説記事やツールの手順は、この7Bを前提に書かれたものが目立ちます。いま新しく選ぶ7Bというより、当時の記事どおりの環境を組み直したい人向け。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/Mistral-7B-Instruct-v0.3-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.3GB	1.0GB	3.9GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	2.5GB	1.0GB	4.1GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.1GB	1.0GB	4.7GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.3GB	1.0GB	4.9GB	VRAM 6GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	3.6GB	1.0GB	5.3GB	VRAM 6GB〜	8GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.1GB	1.0GB	5.7GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	4.8GB	1.0GB	6.4GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	5.5GB	1.0GB	7.2GB	VRAM 8GB〜	16GB〜
8bit（Q8_0）無劣化に近い	7.2GB	1.0GB	8.9GB	VRAM 10GB〜	16GB〜

モデルの構造と、必要メモリの増え方

Mistral 7B v0.3はMistral AIが2024年5月に公開した7.25Bのモデルです。GGUFのヘッダには32層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全32層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限32,768トークンまで伸ばすと4.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

配布元の注意で最初に引っかかるのがシステムプロンプトです。このモデルはsystem役の指示に対応しておらず、ツールが自動で差し込む定型文は効果がありません。役割や口調の指定はユーザーの発話に含めましょう。32層ぶんのKVは1トークン128KBで、8kなら1GB、学習時上限の32,768トークンでは4GBになります。

RTX 3070 Tiの実効7.5GBだと、Q4_K_Mの4.1GBを引いて文脈は2万トークン強が上限。Q6_K（5.5GB）にすると1万トークン強まで縮みます。同じMistral AIのMinistral 3 8Bは2025年12月の版で、8kの文脈込みで6.5GBと重さはほぼ同じまま画像入力と長い文脈が付きました。

手順の再現でなければ、そちらを先に試すほうが話が早い。7B級の日本語ならTanuki-8B（5.9GB）が同じ機材で並びます。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はbartowski/Mistral-7B-Instruct-v0.3-GGUFです。

同じMistral AIのモデルでは、サイズの近いものにMinistral 3 8B（8.49B）、Ministral 3 3B（3.43B）、Mistral Nemo 12B（12.25B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.1GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	5.2GB	VRAM 6GB〜	8GB〜
8,192既定	1.0GB	5.7GB	VRAM 8GB〜	16GB〜
16,384	2.0GB	6.7GB	VRAM 8GB〜	16GB〜
32,768	4.0GB	8.7GB	VRAM 10GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.0GBから約2.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
CAT-Translate 7B	CyberAgent	5.9GB	サイバーエージェントの翻訳専用7B。MIT。VRAM 8GBで手元の翻訳に使える
Hunyuan 7B	Tencent	5.9GB	Tencentの7B（dense型）。学習時の文脈256K。GPUなしのメモリ16GBのPCでも動く
Tanuki-8B	松尾・岩澤研究室 GENIAC	5.9GB	GENIACで国産フルスクラッチ開発した8B。Apache 2.0。GPUなしのメモリ16GBのPCでも動く
Gemma 4 E4B	Google	5.5GB	ノート・省メモリ向け設計。メモリ8〜16GBで動く
Granite 4.0 H-Tiny	IBM	4.6GB	Mamba系の層を混ぜたIBMの小型MoE。長文でもKVキャッシュが増えにくい。GPUなしのメモリ16GBでも動く
Falcon-H1R 7B	TII	5.3GB	Mamba系を混ぜたハイブリッド構造の推論型7B。GPUなしのメモリ16GBのPCでも動く