トップ › モデル別 › Llama 3.1 70B Japanese

Llama 3.1 70B Japanese を動かすPCスペック（必要VRAM・メモリ・速度の目安）

CyberAgent ・公開 2024-07 ・ 70.55Bパラメータ・データ更新 2026-10-02

サイバーエージェントがLlama 3.1 70Bに日本語を追加学習。VRAM 48GB / Mac 64GBから

44GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 48GB実用になるいちばん安いGPU: RTX 6000 Ada

64GB実用になるいちばん小さいMac: M5 Max（64GB）

131,072最大コンテキスト（学習時）

編集部の見立て

サイバーエージェントが2024年7月、Llama 3.1 70Bと同じ月に日本語で追加学習して出した版です。4bitに8kの文脈を足して43.8GBが要り、RTX 6000 Ada（48GB）で推定15.3tok/s、M5 Max（64GB）で11.4tok/s。

この数字はLlama 3.3 Swallow 70BやrinnaのLlama 3 Youko 70Bと1つ残らず同じで、表だけ見ても区別がつきません。分かれるのは土台です。Youko 70Bが文脈8,192トークンのLlama 3なのに対し、こちらは131,072トークンまで学習したLlama 3.1。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/Llama-3.1-70B-Japanese-Instruct-2407-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（80層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	22GB	2.5GB	26GB	VRAM 32GB〜	48GB〜
2bit（Q2_K）品質劣化大。最後の手段	25GB	2.5GB	28GB	VRAM 32GB〜	48GB〜
3bit（IQ3_M）メモリ優先	30GB	2.5GB	34GB	VRAM 48GB〜	48GB〜
3bit（Q3_K_M）メモリ優先	32GB	2.5GB	36GB	VRAM 48GB〜	48GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	35GB	2.5GB	39GB	VRAM 48GB〜	64GB〜
4bit（Q4_K_M）標準。迷ったらこれ	40GB	2.5GB	44GB	VRAM 48GB〜	64GB〜

モデルの構造と、必要メモリの増え方

Llama 3.1 70B JapaneseはCyberAgentが2024年7月に公開した70.55Bのモデルです。GGUFのヘッダには80層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全80層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約320KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.5GB、学習時の上限131,072トークンまで伸ばすと40GBです。

ライセンス表記: llama3.1（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

Youko 70Bと同じ機材で、こちらだけができるのが長文です。学習時上限は131,072トークンで、KVは1トークン320KB。上限まで埋めると40GBになり、Q4_K_M（39.6GB）と合わせて80GB前後。当サイトの収録機で使い切れるのは実効96GBのM5 Max（128GB）以上です。

M5 Max（64GB）の実効48GBでは、8kの文脈込みの43.8GBを引いた残り4.2GBがKVの余白で、文脈は2万1千トークン前後が限度。RTX 6000 Ada（実効47.5GB）もほぼ同じ線です。量子化はQ4_K_Mが最大で、Q5以上は配られていません。

imatrixの作成にTFMCの日本語データを使った変換版で、ライセンスはLlama 3.1のMeta独自条件。同じ社で軽いのはMistral Nemo Japanese 12B（8.9GB）です。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はmmnga/Llama-3.1-70B-Japanese-Instruct-2407-ggufです。

得意分野は日本語の文章です。

同じCyberAgentのモデルでは、サイズの近いものにDeepSeek-R1 Distill Qwen 32B Japanese（32.76B）、DeepSeek-R1 Distill Qwen 14B Japanese（14.77B）、Mistral Nemo Japanese 12B（12.25B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（40GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.3GB	43GB	VRAM 48GB〜	64GB〜
8,192既定	2.5GB	44GB	VRAM 48GB〜	64GB〜
16,384	5.0GB	46GB	VRAM 48GB〜	64GB〜
32,768	10GB	51GB	GPU単体では不可	96GB〜
65,536	20GB	61GB	GPU単体では不可	96GB〜
131,072	40GB	81GB	GPU単体では不可	128GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約10GBから約5.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Shisa V2.1 Llama 3.3 70B	Shisa.AI	44GB	日英バイリンガルに調整した70B。Mac 64GB以上かVRAM 48GB級
Llama 3.3 Swallow 70B	Swallow（東京科学大学・産総研）	44GB	Llama 3.3 70Bの日本語強化版。Mac 64GB以上かVRAM 48GB級
DeepSeek-R1 Distill Llama 70B	DeepSeek	44GB	R1をLlama 70Bに蒸留した推論型。VRAM 48GB / Mac 64GBから
Llama 3.3 70B	Meta	44GB	70Bのdense型。VRAM 48GB以上かMac 64GB以上
Llama 3 Youko 70B	rinna	44GB	rinnaの日本語70B。VRAM 48GB / Mac 64GBから
Llama 3.1 70B	Meta	44GB	Llama 3.3 70Bの前の世代の70B（dense型）。VRAM 48GB / Mac 64GBから