Llama 3.1 70B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Meta ・公開 2024-07 ・ 70.55Bパラメータ・データ更新 2026-10-02

Llama 3.3 70Bの前の世代の70B（dense型）。VRAM 48GB / Mac 64GBから

44GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 48GB実用になるいちばん安いGPU: RTX 6000 Ada

64GB実用になるいちばん小さいMac: M5 Max（64GB）

131,072最大コンテキスト（学習時）

編集部の見立て

2024年7月に出たMetaの70Bのdense型で、半年後のLlama 3.3 70Bと重さはまったく同じです。Q4_K_Mの39.6GBに8kの文脈を足すと43.8GBです。単体のGPUではVRAM 48GBのRTX 6000 Ada（推定15.3tok/s）から動き、ノート向けGPUに収まる機種はありません。

MacならM5 Max（64GB）の実効48GBに収まり、推定11.4tok/s。いまから新しく入れる理由は薄く、3.1を前提に組んだ手順や評価を手元で再現したい人のための1本です。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/Meta-Llama-3.1-70B-Instruct-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（80層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	22GB	2.5GB	26GB	VRAM 32GB〜	48GB〜
2bit（Q2_K）品質劣化大。最後の手段	25GB	2.5GB	28GB	VRAM 32GB〜	48GB〜
3bit（IQ3_M）メモリ優先	30GB	2.5GB	34GB	VRAM 48GB〜	48GB〜
3bit（Q3_K_M）メモリ優先	32GB	2.5GB	36GB	VRAM 48GB〜	48GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	35GB	2.5GB	39GB	VRAM 48GB〜	64GB〜
4bit（Q4_K_M）標準。迷ったらこれ	40GB	2.5GB	44GB	VRAM 48GB〜	64GB〜
5bit（Q5_K_M）品質重視	47GB	2.5GB	51GB	GPU単体では不可	96GB〜
6bit（Q6_K）ほぼ無劣化	54GB	2.5GB	59GB	GPU単体では不可	96GB〜
8bit（Q8_0）無劣化に近い	70GB	2.5GB	75GB	GPU単体では不可	128GB〜

モデルの構造と、必要メモリの増え方

Llama 3.1 70BはMetaが2024年7月に公開した70.55Bのモデルです。GGUFのヘッダには80層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全80層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約320KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.5GB、学習時の上限131,072トークンまで伸ばすと40GBです。

ライセンス表記: llama3.1（層数と窓の大きさはGGUFヘッダから取得）

同じ数字のモデルと、実際は何が違うか

表の数字はLlama 3.3 70Bと同じです。必要メモリは4bitで43.8GB、Apple M5 Max（64GB）で推定11.4tok/s。こちらは2024年7月に8B・405Bと同時に公開された世代で、指示追従版に加えてベース版も配られています。自社のデータで追加学習させる土台が欲しいなら、ベース版のある3.1を選ぶ理由になります。

対応言語は英語やドイツ語など8言語で、日本語は公式の対象外です。日本語で使うなら、Llama 3.1を日本語で追加学習した派生モデル（Swallowなど）も候補に入ります。

このモデルを実際に使うなら

全80層が全域注意なので、KVは1トークン320KBと重めです。32kで10GB、学習時上限の131,072トークンでは40GBに達します。Q4_K_Mの39.6GBに32kを積むと49.6GBで、RTX 6000 Adaの実効47.5GBもM5 Max（64GB）の実効48GBも超える。

16kまでなら収まる計算です。長い資料を丸ごと読ませたいなら、実効96GBのM5 Max（128GB）が現実的。GPUなしのDDR5機は128GB積んでも推定0.9tok/sで、会話になりません。ライセンスはMeta独自のLlama 3.1版。日本語中心なら、同じ70.55BのLlama 3.3 Swallow 70BやShisa V2.1 Llama 3.3 70Bも同じ機材で動きます。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はbartowski/Meta-Llama-3.1-70B-Instruct-GGUF、元になったモデルはmeta-llama/Meta-Llama-3.1-70B-Instructです。

同じMetaのモデルでは、サイズの近いものにLlama 3.3 70B（70.55B）、Llama 4 Scout 17B-16E（107.77B）、Llama 3.1 8B（8.03B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（40GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.3GB	43GB	VRAM 48GB〜	64GB〜
8,192既定	2.5GB	44GB	VRAM 48GB〜	64GB〜
16,384	5.0GB	46GB	VRAM 48GB〜	64GB〜
32,768	10GB	51GB	GPU単体では不可	96GB〜
65,536	20GB	61GB	GPU単体では不可	96GB〜
131,072	40GB	81GB	GPU単体では不可	128GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約10GBから約5.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Shisa V2.1 Llama 3.3 70B	Shisa.AI	44GB	日英バイリンガルに調整した70B。Mac 64GB以上かVRAM 48GB級
Llama 3.3 Swallow 70B	Swallow（東京科学大学・産総研）	44GB	Llama 3.3 70Bの日本語強化版。Mac 64GB以上かVRAM 48GB級
DeepSeek-R1 Distill Llama 70B	DeepSeek	44GB	R1をLlama 70Bに蒸留した推論型。VRAM 48GB / Mac 64GBから
Llama 3.3 70B	Meta	44GB	70Bのdense型。VRAM 48GB以上かMac 64GB以上
Llama 3 Youko 70B	rinna	44GB	rinnaの日本語70B。VRAM 48GB / Mac 64GBから
Llama 3.1 70B Japanese	CyberAgent	44GB	サイバーエージェントがLlama 3.1 70Bに日本語を追加学習。VRAM 48GB / Mac 64GBから