Tanuki-8B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

松尾・岩澤研究室 GENIAC ・公開 2024-08 ・ 7.51Bパラメータ・データ更新 2026-10-02

GENIACで国産フルスクラッチ開発した8B。Apache 2.0。GPUなしのメモリ16GBのPCでも動く

5.9GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

8,192最大コンテキスト（学習時）

編集部の見立て

海外モデルへの追加学習ではなく、GENIACの松尾・岩澤研究室のプロジェクトで公募の参加者が約1.3Tトークンを一から学習した7.51Bです。2024年8月公開、Apache 2.0。土台がLlama 3のYouko 8BやLlama 3.1 Swallow 8Bとは成り立ちが別で、Metaの規約に縛られません。

Q4_K_Mは4.2GB、8kまでの文脈を足して5.9GB、RTX 3070 Tiで推定86.6tok/s、M2 Pro（16GB）で32.4tok/s。国産の一からの学習に意味を見いだす人向けですが、配布元はGGUF版を勧めていません。

量子化別の必要メモリ

ファイルサイズは Hugging Face（team-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.5GB	1.0GB	4.0GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	2.7GB	1.0GB	4.3GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.2GB	1.0GB	4.8GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.4GB	1.0GB	5.0GB	VRAM 6GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	3.8GB	1.0GB	5.4GB	VRAM 6GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.2GB	1.0GB	5.9GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.0GB	1.0GB	6.6GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	5.7GB	1.0GB	7.4GB	VRAM 8GB〜	16GB〜
8bit（Q8_0）無劣化に近い	7.4GB	1.0GB	9.2GB	VRAM 10GB〜	16GB〜
16bit（F16）元精度	14GB	1.0GB	16GB	VRAM 20GB〜	24GB〜

モデルの構造と、必要メモリの増え方

Tanuki-8Bは松尾・岩澤研究室 GENIACが2024年8月に公開した7.51Bのモデルです。GGUFのヘッダには32層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全32層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限8,192トークンまで伸ばすと1.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

つまずくのはファイル形式です。配布元はAWQとGPTQの4bit版を用意する一方で、GGUF版には性能低下の可能性があるとして非推奨と明記しています。当サイトの必要量と速度はそのGGUF版で計算したもの。llama.cppやOllamaで手軽に動く数字ではありますが、配布元の想定はvLLMなどでAWQ・GPTQを使う形です。

プロンプトの書式も独特で、日本語版Alpacaの形式に、「以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。」という既定のシステムプロンプトだけを学習しています。別のシステムプロンプトを入れると学習外の入力になるので、役割の指定はユーザー側の文に書きましょう。

文脈は学習時8,192トークンまでで、KVは1トークン128KBなので8kなら1GBです。RTX 3070 Tiの実効7.5GBでも上限まで届きます。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はteam-hatakeyama-phase2/Tanuki-8B-dpo-v1.0-GGUF、元になったモデルはweblab-GENIAC/Tanuki-8B-dpo-v1.0です。

得意分野は日本語の文章です。

同じ松尾・岩澤研究室 GENIACのモデルでは、サイズの近いものにTanuki-8x8B（46.97B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.2GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	5.4GB	VRAM 6GB〜	8GB〜
8,192既定	1.0GB	5.9GB	VRAM 8GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、8,192トークンでのKVは約1.0GBから約0.5GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Gemma 4 E4B	Google	5.5GB	ノート・省メモリ向け設計。メモリ8〜16GBで動く
Hunyuan 7B	Tencent	5.9GB	Tencentの7B（dense型）。学習時の文脈256K。GPUなしのメモリ16GBのPCでも動く
CAT-Translate 7B	CyberAgent	5.9GB	サイバーエージェントの翻訳専用7B。MIT。VRAM 8GBで手元の翻訳に使える
Falcon-H1R 7B	TII	5.3GB	Mamba系を混ぜたハイブリッド構造の推論型7B。GPUなしのメモリ16GBのPCでも動く
ELYZA-Shortcut-1.0 Qwen 7B	ELYZA	5.4GB	推論過程を省いてすぐ答える日本語7B。VRAM 8GB
ABEJA Qwen2.5 7B Japanese	ABEJA	5.4GB	ABEJAの日本語追加学習7B。VRAM 8GB