LLM-jp-4 8B thinking を動かすPCスペック（必要VRAM・メモリ・速度の目安）

LLM-jp（国立情報学研究所）・公開 2026-03 ・ 8.59Bパラメータ・データ更新 2026-10-02

国産フルスクラッチの推論型8B。4bitならVRAM 8GBに収まる

6.6GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

65,536最大コンテキスト（学習時）

編集部の見立て

国産の推論型を、16GBのノートや8GB級のGPUで手元に置きたい人のモデルです。LLM-jp-4シリーズ最小で、4bitに8kの会話を足して6.6GB。Apple M2 Pro（16GB）で推定28.2tok/s、GPUなしのRyzen AI 300（16GB）でも推定12.3tok/sの実用域に入ります。

弱いのは長文。KVが1トークン128KBと重く、上限の65,536トークンまで伸ばすとKVだけで約8GBになります。実効10.7GBの16GB機では、長い資料を丸ごと読ませる使い方は収まりません。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga-o/llm-jp-4-8b-thinking-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
3bit（IQ3_M）メモリ優先	3.8GB	1.0GB	5.5GB	VRAM 6GB〜	16GB〜
3bit（Q3_K_M）メモリ優先	4.1GB	1.0GB	5.7GB	VRAM 8GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.5GB	1.0GB	6.1GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.9GB	1.0GB	6.6GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.7GB	1.0GB	7.4GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	6.6GB	1.0GB	8.3GB	VRAM 10GB〜	16GB〜
8bit（Q8_0）無劣化に近い	8.5GB	1.0GB	10GB	VRAM 11GB〜	16GB〜

モデルの構造と、必要メモリの増え方

LLM-jp-4 8B thinkingはLLM-jp（国立情報学研究所）が2026年3月に公開した8.59Bのモデルです。GGUFのヘッダには32層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。

全32層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限65,536トークンまで伸ばすと8.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

同じ数字のモデルと、実際は何が違うか

同じ2026年3月に、考える過程を出さずにすぐ答えるinstruct版も公開されています。パラメータ数も層の構成も量子化後のファイルサイズも同じなので、必要メモリと推定速度はこのページの表がそのまま当てはまります。当サイトでthinking版だけを収録しているのはこのためです。

違うのは答え方。thinking版は、答えの前に考える過程を文章として出力します。1回の回答で生成するトークンが増えるので、同じ推定速度でも、答えが返ってくるまでの時間はinstruct版より長くなると見ておきましょう。

このモデルを実際に使うなら

Q4_K_Mで4.9GB。VRAM 8GBのGPUに載ります。推論型を手元で使うとき、問題になるのはメモリに収まるかどうかより生成速度のほうです。考える過程が数千トークンに及ぶこともあり、1秒に10トークンの環境なら答えまで数分待つ場面が出てきます。GPUなしの構成で試すなら、先にinstruct版で速度を確かめてから切り替えるのが確実です。ライセンスはApache 2.0で、業務での利用を検討しやすい部類に入ります。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はmmnga-o/llm-jp-4-8b-thinking-gguf、元になったモデルはllm-jp/llm-jp-4-8b-thinkingです。

得意分野は推論（段階を踏んで考える処理）、日本語の文章です。

同じLLM-jp（国立情報学研究所）のモデルでは、サイズの近いものにLLM-jp-3.1 13B（13.71B）、LLM-jp-3.1 1.8B（1.87B）、LLM-jp-4 32B-A3B thinking（32.14B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.9GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	6.1GB	VRAM 8GB〜	16GB〜
8,192既定	1.0GB	6.6GB	VRAM 8GB〜	16GB〜
16,384	2.0GB	7.6GB	VRAM 10GB〜	16GB〜
32,768	4.0GB	9.6GB	VRAM 11GB〜	16GB〜
65,536	8.0GB	14GB	VRAM 16GB〜	24GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約4.0GBから約2.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Ministral 3 8B	Mistral AI	6.5GB	Ministral 3の8B。Apache 2.0。GPUなしのメモリ16GBのPCでも動く
LFM2.5 8B-A1B	Liquid AI	5.7GB	総8.3B・アクティブ1.5BのMoE。GPUなしのメモリ8GBのPCでも速い
Granite 4.2 8B	IBM	7.1GB	IBMの業務向け8B。Apache 2.0。4bitならVRAM 8GBに収まり、GPUなしのメモリ16GBでも動く
Nemotron-Nano 9B v2 Japanese	NVIDIA	6.9GB	NVIDIA製の日本語版9B。大半がSSM層でKVキャッシュが小さく、長文でもメモリが増えにくい
MiMo-V2.6-Distill-Qwen-9B	Xiaomi	6.4GB	XiaomiがQwen3.5 9Bを自社MiMoの出力で追加学習したエージェント向け9B。MIT。4bitならVRAM 8GB / Mac 16GBから
Ornith 1.5 9B	ornith-ai	6.4GB	Ornith 1.5の9B（dense型）。MIT。4bitならVRAM 8GBに収まり、GPUなしのメモリ16GBでも動く