Tanuki-8x8B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

松尾・岩澤研究室 GENIAC ・公開 2024-08 ・ 46.97Bパラメータ（MoE・アクティブ13B）・データ更新 2026-10-02

Tanuki-8BをMoE化した47B（アクティブ13B）。Apache 2.0。VRAM 32GB / Mac 48GBから

29GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 32GB実用になるいちばん安いGPU: GeForce RTX 5090

48GB実用になるいちばん小さいMac: M5 Max（48GB）

4,096最大コンテキスト（学習時）

編集部の見立て

Tanuki-8Bと同じプロジェクトで作られた8x8BのMoEで、総46.97Bのうち1トークンで働くのは13B。GENIACの公募チームが約1.7Tトークンを一から学習し、2024年8月にApache 2.0で公開しました。形はMixtral 8x7BやRakutenAI-2.0 8x7Bと同じで、必要量も8kの文脈込みで29GBと横並び。

RTX 5090で推定78.6tok/s、M5 Max（48GB）で35.5tok/sも共通です。違いは出自と文脈で、学習時の文脈は4,096トークンと短い。国産の最大級を動かしたい人向け。

量子化別の必要メモリ

ファイルサイズは Hugging Face（team-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	15GB	1.0GB	17GB	VRAM 20GB〜	32GB〜
2bit（Q2_K）品質劣化大。最後の手段	16GB	1.0GB	18GB	VRAM 20GB〜	32GB〜
3bit（IQ3_M）メモリ優先	20GB	1.0GB	22GB	VRAM 24GB〜	36GB〜
3bit（Q3_K_M）メモリ優先	21GB	1.0GB	23GB	VRAM 24GB〜	36GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	24GB	1.0GB	26GB	VRAM 32GB〜	48GB〜
4bit（Q4_K_M）標準。迷ったらこれ	27GB	1.0GB	29GB	VRAM 32GB〜	48GB〜
5bit（Q5_K_M）品質重視	31GB	1.0GB	34GB	VRAM 48GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	36GB	1.0GB	39GB	VRAM 48GB〜	64GB〜
8bit（Q8_0）無劣化に近い	46GB	1.0GB	49GB	GPU単体では不可	96GB〜

モデルの構造と、必要メモリの増え方

Tanuki-8x8Bは松尾・岩澤研究室 GENIACが2024年8月に公開した46.97Bのモデルです。GGUFのヘッダには32層と書かれており、総パラメータ46.97Bのうち、1トークンの生成で実際に読むのは約13Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

全32層が全域注意で、KVヘッド8・head次元128。KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限4,096トークンまで伸ばすと0.5GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

文脈の短さが最初の壁です。学習時の上限は4,096トークンで、8kの文脈込みで29GBという当サイトの計算条件はすでに上限の2倍。長い資料を読ませる仕事には最初から向きません。KVは1トークン128KBで4kなら0.5GB、容量の心配はほぼ本体のQ4_K_M（26.7GB）だけです。

RTX 4090の実効23.5GBにはIQ3_M（20.1GB）まで落とせば計算上は入ります。形式の注意はTanuki-8Bと同じで、配布元はGGUF版を性能低下の可能性から非推奨とし、AWQかGPTQを想定。加えて独自アーキテクチャのため、vLLMは配布元が改変した版をビルドする必要があり、推論にはflash attentionが必須と書かれています。

プロンプトは日本語版Alpaca形式で、既定のシステムプロンプト以外は学習していません。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはllamaで、当サイト収録の204モデル中39本が同じ系統です。Llama系。最も広く使われているアーキテクチャで、対応していないツールを探すほうが難しい水準です。

配布元はteam-hatakeyama-phase2/Tanuki-8x8B-dpo-v1.0-GGUF、元になったモデルはweblab-GENIAC/Tanuki-8x8B-dpo-v1.0です。

得意分野は日本語の文章です。

同じ松尾・岩澤研究室 GENIACのモデルでは、サイズの近いものにTanuki-8B（7.51B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（27GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	28GB	VRAM 32GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、4,096トークンでのKVは約0.5GBから約0.3GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
RakutenAI-2.0 8x7B	楽天	29GB	楽天の日本語MoE（総47B・アクティブ13B）。Mac 48GB以上かVRAM 32GB向け
Mixtral 8x7B	Mistral AI	29GB	公開MoEの先駆け（総47B・アクティブ13B）。Apache 2.0。VRAM 32GB / Mac 48GBから
Kimi Linear 48B-A3B	Moonshot AI	29GB	線形注意を使う48BのMoE（アクティブ3B）。長文でもKVキャッシュが増えにくい。MIT。VRAM 32GB / Mac 48GBから
Seed-OSS 36B	ByteDance	23GB	長文コンテキストに強い36Bのdense型。VRAM 24〜32GB向け
BigBang v1 35B	endless-frontier	22GB	35BのMoEで画像対応。Apache 2.0。アクティブパラメータが小さくメモリ32GB級でも速い
Ornith 1.5 35B-A3B	ornith-ai	22GB	35BのMoE（アクティブ3B）でMIT。メモリ32GBクラスで速く動く