トップ › モデル別 › DeepSeek-R1 Distill Llama 8B

DeepSeek-R1 Distill Llama 8B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

DeepSeek ・公開 2025-01 ・ 8.03Bパラメータ・データ更新 2026-10-02

R1をLlama 8Bに蒸留した推論型。4bitならVRAM 8GBに収まる

6.2GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

131,072最大コンテキスト（学習時）

編集部の見立て

DeepSeek-R1の出力で蒸留した6本のうち、Llamaを土台にした小さいほうです。土台は指示調整前のLlama-3.1-8Bで、同じ系列のDistill Qwen 7B（土台はQwen2.5-Math-7B）とは元になったモデルが違います。4bitに8kの会話を足して6.2GB。

VRAM 8GBのRTX 3070 Tiで推定80.8tok/s、M2 Pro（16GB）で推定30.2tok/s、GPUなしでもRyzen AI 300（16GB）で推定13.2tok/sです。8GB級GPUに推論型を1本入れたい人向けで、6GB級ならQwen 7Bのほうが収まります。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/DeepSeek-R1-Distill-Llama-8B-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.7GB	1.0GB	4.3GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	3.0GB	1.0GB	4.5GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.5GB	1.0GB	5.1GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.7GB	1.0GB	5.4GB	VRAM 6GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.1GB	1.0GB	5.8GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.6GB	1.0GB	6.2GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.3GB	1.0GB	7.0GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	6.1GB	1.0GB	7.8GB	VRAM 10GB〜	16GB〜
8bit（Q8_0）無劣化に近い	8.0GB	1.0GB	9.7GB	VRAM 11GB〜	16GB〜
16bit（F16）元精度	15GB	1.0GB	17GB	VRAM 20GB〜	32GB〜

モデルの構造と、必要メモリの増え方

DeepSeek-R1 Distill Llama 8BはDeepSeekが2025年1月に公開した8.03Bのモデルです。GGUFのヘッダには32層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全32層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限131,072トークンまで伸ばすと16GBです。

このモデルを実際に使うなら

気をつけたいのは、思考の長さとKVの重さの組み合わせです。このモデルは1トークンあたり128KBのKVを持ち、Distill Qwen 7Bの56KBの2倍を超えます。32,768トークン考えさせるとKVだけで4GB、Q4_K_Mの4.6GBと合わせて8.6GB。

VRAM 8GB（実効7.5GB）の枠からはみ出し、収まらない分をCPU側に回すと速度が落ちます。8GB級のGPUでは文脈を16k程度に絞るのが確実です。配布元はLlama本来の設定に手を加えたと明記しているので、設定ファイルは配布元の版を使いましょう。同じ8B級なら、4か月後に出たDeepSeek-R1-0528 Qwen3 8B（8.19B）も比べる相手になります。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はbartowski/DeepSeek-R1-Distill-Llama-8B-GGUF、元になったモデルはdeepseek-ai/DeepSeek-R1-Distill-Llama-8Bです。

得意分野は推論（段階を踏んで考える処理）です。

同じDeepSeekのモデルでは、サイズの近いものにDeepSeek-R1-0528 Qwen3 8B（8.19B）、DeepSeek-R1 Distill Qwen 7B（7.62B）、DeepSeek-R1 Distill Qwen 14B（14.77B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.6GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	5.7GB	VRAM 8GB〜	16GB〜
8,192既定	1.0GB	6.2GB	VRAM 8GB〜	16GB〜
16,384	2.0GB	7.2GB	VRAM 8GB〜	16GB〜
32,768	4.0GB	9.2GB	VRAM 10GB〜	16GB〜
65,536	8.0GB	13GB	VRAM 16GB〜	24GB〜
131,072	16GB	21GB	VRAM 24GB〜	32GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.0GBから約2.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Llama 3.1 Swallow 8B	Swallow（東京科学大学・産総研）	6.2GB	Llama 3.1 8Bの日本語強化版（v0.5）。VRAM 8GB
Command R7B	Cohere	6.0GB	Cohereの7B。研究用途向けライセンス（CC BY-NC）。GPUなしのメモリ16GBのPCでも動く
Aya Expanse 8B	Cohere	6.4GB	日本語を含む23言語向けの8B。CC BY-NC。GPUなしのメモリ16GBのPCでも動く
Llama 3 Youko 8B	rinna	6.2GB	rinnaがLlama 3 8Bに日本語を追加学習。GPUなしのメモリ16GBのPCでも動く
Llama 3.1 8B	Meta	6.2GB	英語圏の基準モデル。日本語はQwenに劣る
Llama-3-ELYZA-JP-8B	ELYZA	6.2GB	国産の日本語特化8B。VRAM 8GB