Llama 3.1 Swallow 8B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Swallow（東京科学大学・産総研）・公開 2025-06 ・ 8.03Bパラメータ・データ更新 2026-10-02

Llama 3.1 8Bの日本語強化版（v0.5）。VRAM 8GB

6.2GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

131,072最大コンテキスト（学習時）

編集部の見立て

MetaのLlama 3.1 8B Instructから継続事前学習し、日本語向けの合成データで指示調整したv0.5です。配布元はgemma-3-27b-itのふるまいをまねるよう学習させたと説明しています。シリーズの継続事前学習に使ったのは約2,000億トークンで、日本語のウェブコーパスと日英のWikipedia、数学・コードの文書が中心。

考える過程を出さずにすぐ答える型なので、GPUなしのRyzen AI 300（16GB）の推定13.2tok/sでも待ち時間は短め。4bitで8kの会話込みなら6.2GB、RTX 3070 Tiなら推定80.8tok/sです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/Llama-3.1-Swallow-8B-Instruct-v0.5-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.7GB	1.0GB	4.3GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	3.0GB	1.0GB	4.5GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.5GB	1.0GB	5.1GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.7GB	1.0GB	5.4GB	VRAM 6GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.1GB	1.0GB	5.8GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.6GB	1.0GB	6.2GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.3GB	1.0GB	7.0GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	6.1GB	1.0GB	7.8GB	VRAM 10GB〜	16GB〜
8bit（Q8_0）無劣化に近い	8.0GB	1.0GB	9.7GB	VRAM 11GB〜	16GB〜

モデルの構造と、必要メモリの増え方

Llama 3.1 Swallow 8BはSwallow（東京科学大学・産総研）が2025年6月に公開した8.03Bのモデルです。GGUFのヘッダには32層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全32層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限131,072トークンまで伸ばすと16GBです。

ライセンス表記: llama3.3（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

ダウンロードで間違えやすいのは版です。Llama 3.1 Swallow 8BはInstructだけでもv0.1・v0.2・v0.3・v0.5が並んでおり、v0.4は70B側の番号。DBの数値はmmngaが配布するv0.5のGGUFなので、ファイル名の末尾を確かめてから落としましょう。

ライセンスはLlama 3.3の条件に従う形で、Meta独自の規約を読む必要があります。学習時の文脈長は131,072トークンあるものの、KVは1トークン128KBで、上限まで伸ばすと約16GB。8GBのGPUにQ4_K_M（4.6GB）を置いた場合、会話は1万8千トークン前後が限度です。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はmmnga/Llama-3.1-Swallow-8B-Instruct-v0.5-gguf、元になったモデルはtokyotech-llm/Llama-3.1-Swallow-8B-Instruct-v0.5です。

得意分野は日本語の文章です。

同じSwallow（東京科学大学・産総研）のモデルでは、サイズの近いものにQwen3-Swallow 8B（8.19B）、Gemma-2-Llama-Swallow 9B（9.24B）、GPT-OSS-Swallow 20B（20.91B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.6GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	5.7GB	VRAM 8GB〜	16GB〜
8,192既定	1.0GB	6.2GB	VRAM 8GB〜	16GB〜
16,384	2.0GB	7.2GB	VRAM 8GB〜	16GB〜
32,768	4.0GB	9.2GB	VRAM 10GB〜	16GB〜
65,536	8.0GB	13GB	VRAM 16GB〜	24GB〜
131,072	16GB	21GB	VRAM 24GB〜	32GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.0GBから約2.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
DeepSeek-R1 Distill Llama 8B	DeepSeek	6.2GB	R1をLlama 8Bに蒸留した推論型。4bitならVRAM 8GBに収まる
Command R7B	Cohere	6.0GB	Cohereの7B。研究用途向けライセンス（CC BY-NC）。GPUなしのメモリ16GBのPCでも動く
Aya Expanse 8B	Cohere	6.4GB	日本語を含む23言語向けの8B。CC BY-NC。GPUなしのメモリ16GBのPCでも動く
Llama 3 Youko 8B	rinna	6.2GB	rinnaがLlama 3 8Bに日本語を追加学習。GPUなしのメモリ16GBのPCでも動く
Llama 3.1 8B	Meta	6.2GB	英語圏の基準モデル。日本語はQwenに劣る
Llama-3-ELYZA-JP-8B	ELYZA	6.2GB	国産の日本語特化8B。VRAM 8GB