Llama 3 Youko 70B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

rinna ・公開 2024-07 ・ 70.55Bパラメータ・データ更新 2026-10-02

rinnaの日本語70B。VRAM 48GB / Mac 64GBから

44GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 48GB実用になるいちばん安いGPU: RTX 6000 Ada

64GB実用になるいちばん小さいMac: M5 Max（64GB）

8,192最大コンテキスト（学習時）

編集部の見立て

70.55BのLlama系日本語モデルは当サイトに複数あり、Llama 3.3 Swallow 70B、Shisa V2.1 Llama 3.3 70B、Llama 3.1 70Bと、必要量43.8GBも推定速度も全部同じです。数字では選べません。rinnaのYoukoを選ぶ理由は出自にあります。

土台はLlama 3.3ではなく2024年春のLlama 3で、文脈は8,192トークンまで。公開は2024年7月、8B版と同じシリーズです。機材はRTX 6000 Ada（48GB）の推定15.3tok/sか、M5 Max（64GB）の11.4tok/sから。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/rinna-llama-3-youko-70b-instruct-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（80層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	22GB	2.5GB	26GB	VRAM 32GB〜	48GB〜
2bit（Q2_K）品質劣化大。最後の手段	25GB	2.5GB	28GB	VRAM 32GB〜	48GB〜
3bit（IQ3_M）メモリ優先	30GB	2.5GB	34GB	VRAM 48GB〜	48GB〜
3bit（Q3_K_M）メモリ優先	32GB	2.5GB	36GB	VRAM 48GB〜	48GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	35GB	2.5GB	39GB	VRAM 48GB〜	64GB〜
4bit（Q4_K_M）標準。迷ったらこれ	40GB	2.5GB	44GB	VRAM 48GB〜	64GB〜

モデルの構造と、必要メモリの増え方

Llama 3 Youko 70Bはrinnaが2024年7月に公開した70.55Bのモデルです。GGUFのヘッダには80層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全80層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約320KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.5GB、学習時の上限8,192トークンまで伸ばすと2.5GBです。

ライセンス表記: llama3（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

GGUFの出どころが判断材料になります。当サイトの数値はmmngaの変換版で、量子化で使う重要度行列（imatrix）の作成にTFMCの日本語向けデータを使ったと明記されています。日本語で使う前提の量子化です。用意されているのはQ4_K_M（39.6GB）までで、Q5以上はありません。

文脈は8,192トークンが学習時の上限。KVは80層で1トークン320KBと重い設計ですが、上限が短いので8kで2.5GB止まりです。M5 Max（64GB）の実効48GBに8kの文脈込みの43.8GBが収まる時点で、文脈の心配は要りません。長い資料を扱いたいなら、131,072トークンまで学習したLlama 3.3 Swallow 70Bのほうが同じ機材で伸ばせます。

ライセンスはMeta Llama 3の独自条件。GPUなしのメモリ128GB機は推定0.9tok/sで、待つ用途にも厳しい。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はmmnga/rinna-llama-3-youko-70b-instruct-ggufです。

得意分野は日本語の文章です。

同じrinnaのモデルでは、サイズの近いものにLlama 3 Youko 8B（8.03B）、Gemma 2 Baku 2B（2.61B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（40GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.3GB	43GB	VRAM 48GB〜	64GB〜
8,192既定	2.5GB	44GB	VRAM 48GB〜	64GB〜

KVキャッシュをq8_0に量子化すると、8,192トークンでのKVは約2.5GBから約1.3GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Shisa V2.1 Llama 3.3 70B	Shisa.AI	44GB	日英バイリンガルに調整した70B。Mac 64GB以上かVRAM 48GB級
Llama 3.3 Swallow 70B	Swallow（東京科学大学・産総研）	44GB	Llama 3.3 70Bの日本語強化版。Mac 64GB以上かVRAM 48GB級
DeepSeek-R1 Distill Llama 70B	DeepSeek	44GB	R1をLlama 70Bに蒸留した推論型。VRAM 48GB / Mac 64GBから
Llama 3.3 70B	Meta	44GB	70Bのdense型。VRAM 48GB以上かMac 64GB以上
Llama 3.1 70B	Meta	44GB	Llama 3.3 70Bの前の世代の70B（dense型）。VRAM 48GB / Mac 64GBから
Llama 3.1 70B Japanese	CyberAgent	44GB	サイバーエージェントがLlama 3.1 70Bに日本語を追加学習。VRAM 48GB / Mac 64GBから