Radeon RX 7600 XT 16GB で動くローカルLLM一覧(2026年10月)
編集部の見立て
容量は16GBなのに、帯域幅は288GB/s。動く本数は111本と上位の16GBカードに並ぶ一方、そのうち48本は実用どまりの判定です。Qwen3.8 27BのIQ4_XSは収まっても推定11.9tok/sで、500トークンの回答に40秒余り。
人が読む速さには追いつきますが、待つ時間は確実に出ます。MoEのGemma 4 26B-A4Bなら、同じIQ4_XSでも推定44.2tok/s。動かせるモデルの数を優先し、速度はMoEで補う使い方に向いたカードです。
まず試すなら: Gemma 4 26B-A4B(4bit(IQ4_XS)・必要14GB・約44 tok/s推定)。2026年のGoogle製MoE。メモリ24〜32GBで速い
足りないのは: Gemma 3 27Bを動かすにはVRAMがあと約1.9GB必要(必要17GB / 実効16GB)。はみ出した分をPCのメモリに逃がせば(CPUオフロード)動きますが、速度は数分の一になります。
- ぴったりMac mini M4 Pro(メモリ48GB・SSD 1TB)目安 30〜36万円
- 余裕を持つならMac mini M4 Pro(メモリ64GB・SSD 1TB)目安 36〜42万円
- 別の形ならRyzen AI Max+ 395 ミニPC(メモリ128GB)目安 32〜48万円
VRAMに収まるモデル
収まる量子化のうち、いちばん精度の高いもので表示しています(速度は推定・計算方法)。
| モデル | 量子化 | 必要 | 判定 | 推定速度 |
|---|---|---|---|---|
| Gemma 3 270M | 8bit(Q8_0) | 0.8GB | 快適 | 約560 tok/s推定 |
| Qwen2.5 0.5B | 8bit(Q8_0) | 1.1GB | 快適 | 約300 tok/s推定 |
| Qwen3.5 0.8B | 8bit(Q8_0) | 1.4GB | 快適 | 約200 tok/s推定 |
| Gemma 3 1B | 8bit(Q8_0) | 1.6GB | 快適 | 約160 tok/s推定 |
| Sarashina2.2 0.5B | 8bit(Q8_0) | 1.8GB | 快適 | 約160 tok/s推定 |
| Qwen3 0.6B | 8bit(Q8_0) | 2.0GB | 快適 | 約160 tok/s推定 |
| LFM2.5 1.2B JP | 8bit(Q8_0) | 1.8GB | 快適 | 約130 tok/s推定 |
| Llama 3.2 1B | 8bit(Q8_0) | 2.0GB | 快適 | 約120 tok/s推定 |
| EXAONE 4.0 1.2B | 8bit(Q8_0) | 2.3GB | 快適 | 約110 tok/s推定 |
| TinySwallow 1.5B | 8bit(Q8_0) | 2.3GB | 快適 | 約98 tok/s推定 |
| Qwen3.5 35B-A3B | 2bit(IQ2_M) | 12GB | 快適 | 約97 tok/s推定 |
| Qwen3.6 35B-A3B | 2bit(IQ2_M) | 12GB | 快適 | 約96 tok/s推定 |
| Ornith 1.0 35B-A3B | 2bit(IQ2_M) | 12GB | 快適 | 約96 tok/s推定 |
| Qwen-AgentWorld 35B-A3B | 2bit(IQ2_M) | 12GB | 快適 | 約96 tok/s推定 |
| RakutenAI-2.0 mini | 8bit(Q8_0) | 2.4GB | 快適 | 約95 tok/s推定 |
| Sarashina2.2 1B | 8bit(Q8_0) | 2.6GB | 快適 | 約93 tok/s推定 |
| KAT-Coder-V2.5-Dev 35B-A3B | 2bit(Q2_K) | 13GB | 快適 | 約88 tok/s推定 |
| Ornith 1.5 35B-A3B | 2bit(Q2_K) | 13GB | 快適 | 約87 tok/s推定 |
| Qwen2.5 1.5B | 8bit(Q8_0) | 2.5GB | 快適 | 約86 tok/s推定 |
| Qwen3.5 2B | 8bit(Q8_0) | 2.6GB | 快適 | 約81 tok/s推定 |
| Holo4 35B-A3B | 2bit(Q2_K) | 14GB | 快適 | 約81 tok/s推定 |
| Laguna XS 2.1 33B-A3B | 2bit(Q2_K) | 13GB | 快適 | 約80 tok/s推定 |
| Qwen3-VL 2B | 8bit(Q8_0) | 3.1GB | 快適 | 約75 tok/s推定 |
| Qwen3 1.7B | 8bit(Q8_0) | 3.1GB | 快適 | 約75 tok/s推定 |
| Thomson 1.0 Small 35B-A3B | 2bit(Q2_K) | 13GB | 快適 | 約75 tok/s推定 |
| XYZ-Aquila mini 35B-A3B | 2bit(Q2_K) | 13GB | 快適 | 約75 tok/s推定 |
| BigBang v1 35B | 2bit(Q2_K) | 13GB | 快適 | 約73 tok/s推定 |
| Ling 3.0 tiny | 8bit(Q8_0) | 8.7GB | 快適 | 約72 tok/s推定 |
| Nex-N2.5-mini | 2bit(Q2_K) | 14GB | 快適 | 約69 tok/s推定 |
| LFM2.5 8B-A1B | 8bit(Q8_0) | 9.2GB | 快適 | 約63 tok/s推定 |
| North Mini Code 1.0 | 3bit(Q3_K_M) | 15GB | 快適 | 約63 tok/s推定 |
| LLM-jp-3.1 1.8B | 8bit(Q8_0) | 3.9GB | 快適 | 約62 tok/s推定 |
| MiniCPM5 2B | 8bit(Q8_0) | 3.4GB | 快適 | 約61 tok/s推定 |
| LFM2.5 2.6B | 8bit(Q8_0) | 3.4GB | 快適 | 約59 tok/s推定 |
| LFM2.5-VL 3B | 8bit(Q8_0) | 3.4GB | 快適 | 約59 tok/s推定 |
| Gemma 2 Baku 2B | 8bit(Q8_0) | 3.8GB | 快適 | 約56 tok/s推定 |
| GLM-4.7-Flash 30B-A3B | 3bit(Q3_K_M) | 15GB | 快適 | 約55 tok/s推定 |
| Qwen3-Swallow 30B-A3B | 3bit(Q3_K_M) | 15GB | 快適 | 約52 tok/s推定 |
| Qwen3-VL 30B-A3B | 3bit(Q3_K_M) | 15GB | 快適 | 約52 tok/s推定 |
| Qwen3 30B-A3B | 3bit(Q3_K_M) | 15GB | 快適 | 約52 tok/s推定 |
| Qwen3-Coder 30B-A3B | 3bit(Q3_K_M) | 15GB | 快適 | 約52 tok/s推定 |
| Qwen2.5-VL 3B | 8bit(Q8_0) | 3.9GB | 快適 | 約50 tok/s推定 |
| Qwen2.5-Coder 3B | 8bit(Q8_0) | 3.9GB | 快適 | 約50 tok/s推定 |
| Qwen2.5 3B | 8bit(Q8_0) | 3.9GB | 快適 | 約50 tok/s推定 |
| ERNIE 4.5 21B-A3B Thinking | 4bit(Q4_K_M) | 14GB | 快適 | 約50 tok/s推定 |
| SmolLM3 3B | 8bit(Q8_0) | 4.2GB | 快適 | 約48 tok/s推定 |
| gpt-oss-20b | 4bit(MXFP4) | 12GB | 快適 | 約47 tok/s推定 |
| GPT-OSS-Swallow 20B | 3bit(Q3_K_M) | 13GB | 快適 | 約45 tok/s推定 |
| Llama 3.2 3B | 8bit(Q8_0) | 4.7GB | 快適 | 約44 tok/s推定 |
| Gemma 4 26B-A4B | 4bit(IQ4_XS) | 14GB | 快適 | 約44 tok/s推定 |
| Ministral 3 3B | 8bit(Q8_0) | 4.8GB | 快適 | 約42 tok/s推定 |
| Granite 4.2 3B | 8bit(Q8_0) | 4.9GB | 快適 | 約41 tok/s推定 |
| Sarashina2.2 3B | 8bit(Q8_0) | 5.2GB | 快適 | 約41 tok/s推定 |
| Gemma 3 4B | 8bit(Q8_0) | 4.7GB | 快適 | 約40 tok/s推定 |
| Nemotron 3 Nano 4B | 8bit(Q8_0) | 4.7GB | 快適 | 約40 tok/s推定 |
| Qwen3.5 4B | 8bit(Q8_0) | 5.0GB | 快適 | 約37 tok/s推定 |
| Phi-4-mini 3.8B | 8bit(Q8_0) | 5.4GB | 快適 | 約37 tok/s推定 |
| AREX-Turbo 4B | 8bit(Q8_0) | 5.1GB | 快適 | 約37 tok/s推定 |
| Fara1.5 4B | 8bit(Q8_0) | 5.1GB | 快適 | 約37 tok/s推定 |
| Nanbeige4.2 3B | 8bit(Q8_0) | 5.4GB | 快適 | 約36 tok/s推定 |
| Gemma 3n E2B | 8bit(Q8_0) | 5.2GB | 快適 | 約36 tok/s推定 |
| Qwen3-VL 4B | 8bit(Q8_0) | 5.7GB | 快適 | 約35 tok/s推定 |
| Qwen3 4B | 8bit(Q8_0) | 5.7GB | 快適 | 約35 tok/s推定 |
| Gemma 4 E2B | 8bit(Q8_0) | 5.5GB | 快適 | 約34 tok/s推定 |
| AFM-4.5B | 8bit(Q8_0) | 5.8GB | 快適 | 約33 tok/s推定 |
| Llama-3-ELYZA-JP-8B | 4bit(Q4_K_M) | 6.2GB | 快適 | 約32 tok/s推定 |
| Phi-3.5-mini 3.8B | 8bit(Q8_0) | 7.4GB | 快適 | 約31 tok/s推定 |
| CAT-Translate 7B | 6bit(Q6_K) | 7.4GB | 快適 | 約26 tok/s推定 |
| Shisa V2.1 Qwen3 8B | 6bit(Q6_K) | 8.1GB | 快適 | 約24 tok/s推定 |
| Granite 4.0 H-Small 32B-A9B | 3bit(Q3_K_M) | 15GB | 快適 | 約24 tok/s推定 |
| Granite 4.0 H-Tiny | 8bit(Q8_0) | 7.7GB | 快適 | 約23 tok/s推定 |
| Gemma 3n E4B | 8bit(Q8_0) | 7.7GB | 快適 | 約23 tok/s推定 |
| Mistral 7B v0.3 | 8bit(Q8_0) | 8.9GB | 快適 | 約21 tok/s推定 |
| Falcon-H1R 7B | 8bit(Q8_0) | 8.6GB | 快適 | 約21 tok/s推定 |
| Gemma 4 E4B | 8bit(Q8_0) | 8.6GB | 快適 | 約21 tok/s推定 |
| ELYZA-Shortcut-1.0 Qwen 7B | 8bit(Q8_0) | 8.7GB | 快適 | 約21 tok/s推定 |
| ABEJA Qwen2.5 7B Japanese | 8bit(Q8_0) | 8.7GB | 快適 | 約21 tok/s推定 |
| DeepSeek-R1 Distill Qwen 7B | 8bit(Q8_0) | 8.7GB | 快適 | 約21 tok/s推定 |
| Qwen2.5-VL 7B | 8bit(Q8_0) | 8.7GB | 快適 | 約21 tok/s推定 |
| Qwen2.5 7B | 8bit(Q8_0) | 8.7GB | 快適 | 約21 tok/s推定 |
| Qwen2.5-Coder 7B | 8bit(Q8_0) | 8.7GB | 快適 | 約21 tok/s推定 |
| Hunyuan 7B | 8bit(Q8_0) | 9.2GB | 快適 | 約20 tok/s推定 |
| Tanuki-8B | 8bit(Q8_0) | 9.2GB | 快適 | 約20 tok/s推定 |
| Command R7B | 8bit(Q8_0) | 9.3GB | 実用 | 約20 tok/s推定 |
| Apertus 8B | 8bit(Q8_0) | 9.7GB | 実用 | 約19 tok/s推定 |
| Llama 3.1 Swallow 8B | 8bit(Q8_0) | 9.7GB | 実用 | 約19 tok/s推定 |
| DeepSeek-R1 Distill Llama 8B | 8bit(Q8_0) | 9.7GB | 実用 | 約19 tok/s推定 |
| Aya Expanse 8B | 8bit(Q8_0) | 9.7GB | 実用 | 約19 tok/s推定 |
| Llama 3 Youko 8B | 8bit(Q8_0) | 9.7GB | 実用 | 約19 tok/s推定 |
| Llama 3.1 8B | 8bit(Q8_0) | 9.7GB | 実用 | 約19 tok/s推定 |
| Qwen3-Swallow 8B | 8bit(Q8_0) | 10.0GB | 実用 | 約19 tok/s推定 |
| Qwen3-VL 8B | 8bit(Q8_0) | 10.0GB | 実用 | 約19 tok/s推定 |
| DeepSeek-R1-0528 Qwen3 8B | 8bit(Q8_0) | 10.0GB | 実用 | 約19 tok/s推定 |
| Qwen3 8B | 8bit(Q8_0) | 10.0GB | 実用 | 約19 tok/s推定 |
| Nemotron-Nano 9B v2 Japanese | 8bit(Q8_0) | 9.7GB | 実用 | 約18 tok/s推定 |
| Ministral 3 8B | 8bit(Q8_0) | 10GB | 実用 | 約18 tok/s推定 |
| MiMo-V2.6-Distill-Qwen-9B | 8bit(Q8_0) | 9.9GB | 実用 | 約18 tok/s推定 |
| Ornith 1.5 9B | 8bit(Q8_0) | 9.9GB | 実用 | 約18 tok/s推定 |
| UI-Mate 9B | 8bit(Q8_0) | 9.9GB | 実用 | 約18 tok/s推定 |
| UI-Venus-2 9B | 8bit(Q8_0) | 9.9GB | 実用 | 約18 tok/s推定 |
| Fara1.5 9B | 8bit(Q8_0) | 9.9GB | 実用 | 約18 tok/s推定 |
| Ornith 1.0 9B | 8bit(Q8_0) | 9.9GB | 実用 | 約18 tok/s推定 |
| LLM-jp-4 8B thinking | 8bit(Q8_0) | 10GB | 実用 | 約18 tok/s推定 |
| Qwen3.5 9B | 8bit(Q8_0) | 9.9GB | 実用 | 約18 tok/s推定 |
| Granite 4.2 8B | 8bit(Q8_0) | 11GB | 実用 | 約17 tok/s推定 |
| GLM-4.6V-Flash 9B | 8bit(Q8_0) | 10GB | 実用 | 約17 tok/s推定 |
| PLaMo 2 Translate | 8bit(Q8_0) | 10GB | 実用 | 約17 tok/s推定 |
| Gemma-2-Llama-Swallow 9B | 8bit(Q8_0) | 12GB | 実用 | 約16 tok/s推定 |
| Gemma 2 9B | 8bit(Q8_0) | 12GB | 実用 | 約16 tok/s推定 |
| Gemma 4 31B | 2bit(IQ2_M) | 12GB | 実用 | 約15 tok/s推定 |
| LLM-jp-3.1 13B | 4bit(Q4_K_M) | 15GB | 実用 | 約15 tok/s推定 |
| Ministral 3 14B | 6bit(Q6_K) | 12GB | 実用 | 約15 tok/s推定 |
| EXAONE 4.0.1 32B | 2bit(Q2_K) | 13GB | 実用 | 約14 tok/s推定 |
| Olmo 3.1 32B | 2bit(Q2_K) | 13GB | 実用 | 約14 tok/s推定 |
| ABEJA Qwen3 14B Agentic | 6bit(Q6_K) | 13GB | 実用 | 約14 tok/s推定 |
| Qwen3 14B | 6bit(Q6_K) | 13GB | 実用 | 約14 tok/s推定 |
| Gemma 4 12B | 8bit(Q8_0) | 13GB | 実用 | 約13 tok/s推定 |
| Shisa V2.1 unphi4 14B | 6bit(Q6_K) | 14GB | 実用 | 約13 tok/s推定 |
| DeepSeek-R1 Distill Qwen 14B | 6bit(Q6_K) | 14GB | 実用 | 約13 tok/s推定 |
| DeepSeek-R1 Distill Qwen 14B Japanese | 6bit(Q6_K) | 14GB | 実用 | 約13 tok/s推定 |
| Phi-4 14B | 6bit(Q6_K) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen2.5-Coder 14B | 6bit(Q6_K) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen2.5 14B | 6bit(Q6_K) | 14GB | 実用 | 約13 tok/s推定 |
| Gemma 3 12B | 8bit(Q8_0) | 13GB | 実用 | 約13 tok/s推定 |
| Nemotron Nano 12B v2 | 8bit(Q8_0) | 13GB | 実用 | 約13 tok/s推定 |
| Devstral Small 2 24B | 4bit(IQ4_XS) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen3-VL 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| ABEJA Qwen2.5 32B Japanese | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| ELYZA-Shortcut-1.0 Qwen 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| ELYZA-Thinking-1.0 Qwen 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen3 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen2.5-VL 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| DeepSeek-R1 Distill Qwen 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| DeepSeek-R1 Distill Qwen 32B Japanese | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| KARAKURI LM 32B Thinking | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen2.5-Coder 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen2.5 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| Aya Expanse 32B | 2bit(Q2_K) | 14GB | 実用 | 約13 tok/s推定 |
| Gemma-2-Llama-Swallow 27B | 3bit(IQ3_M) | 15GB | 実用 | 約13 tok/s推定 |
| Mistral Nemo Japanese 12B | 8bit(Q8_0) | 14GB | 実用 | 約13 tok/s推定 |
| Mistral Nemo 12B | 8bit(Q8_0) | 14GB | 実用 | 約13 tok/s推定 |
| Qwen3.6 27B | 3bit(Q3_K_M) | 14GB | 実用 | 約13 tok/s推定 |
| Seed-OSS 36B | 2bit(IQ2_M) | 15GB | 実用 | 約13 tok/s推定 |
| Gemma 3 27B | 3bit(Q3_K_M) | 14GB | 実用 | 約12 tok/s推定 |
| Muse-Glimmer 30B | 3bit(IQ3_M) | 14GB | 実用 | 約12 tok/s推定 |
| Codestral 22B | 4bit(Q4_K_M) | 15GB | 実用 | 約12 tok/s推定 |
| Granite 4.2 30B | 3bit(IQ3_M) | 15GB | 実用 | 約12 tok/s推定 |
| Qwen3.8 27B | 4bit(IQ4_XS) | 15GB | 実用 | 約12 tok/s推定 |
| UI-Mate 27B | 3bit(Q3_K_M) | 15GB | 実用 | 約12 tok/s推定 |
| Fara1.5 27B | 3bit(Q3_K_M) | 15GB | 実用 | 約12 tok/s推定 |
| AREX-2 27B | 3bit(IQ3_M) | 15GB | 実用 | 約12 tok/s推定 |
| Magistral Small 2509 | 4bit(Q4_K_M) | 16GB | 実用 | 約12 tok/s推定 |
| Devstral Small 2507 | 4bit(Q4_K_M) | 16GB | 実用 | 約12 tok/s推定 |
| Mistral Small 3.2 24B | 4bit(Q4_K_M) | 16GB | 実用 | 約12 tok/s推定 |
| Qwen3.5 27B | 4bit(IQ4_XS) | 15GB | 実用 | 約11 tok/s推定 |
PCのメモリに一部を逃がせば動く(CPUオフロード・メモリ32GB想定)
| モデル | 量子化 | 必要 | 判定 | 推定速度 |
|---|---|---|---|---|
| LLM-jp-4 33B thinking | 4bit(Q4_K_M) | 22GB | 遅いCPUオフロード | 約4.2 tok/s推定 |
| Nemotron 3.5 Lightning 30B-A3B | 8bit(Q8_0) | 33GB | 実用CPUオフロード | 約12 tok/s推定 |
| Nemotron 3 Nano Omni 30B-A3B | 4bit(Q4_K_M) | 23GB | 快適CPUオフロード | 約21 tok/s推定 |
| LLM-jp-4 32B-A3B thinking | 4bit(Q4_K_M) | 22GB | 快適CPUオフロード | 約24 tok/s推定 |
| Kimi Linear 48B-A3B | 4bit(Q4_K_M) | 29GB | 快適CPUオフロード | 約21 tok/s推定 |
| RakutenAI-2.0 8x7B | 4bit(Q4_K_M) | 29GB | 遅いCPUオフロード | 約4.9 tok/s推定 |
| Tanuki-8x8B | 4bit(Q4_K_M) | 29GB | 遅いCPUオフロード | 約4.8 tok/s推定 |
| Mixtral 8x7B | 4bit(Q4_K_M) | 29GB | 遅いCPUオフロード | 約4.9 tok/s推定 |
動かないモデルと不足分
| モデル | 量子化 | 必要 | 不足 |
|---|---|---|---|
| Shisa V2.1 Llama 3.3 70B | 4bit(Q4_K_M) | 44GB | あと28GB |
| Llama 3.3 Swallow 70B | 4bit(Q4_K_M) | 44GB | あと28GB |
| DeepSeek-R1 Distill Llama 70B | 4bit(Q4_K_M) | 44GB | あと28GB |
| Llama 3.3 70B | 4bit(Q4_K_M) | 44GB | あと28GB |
| Llama 3 Youko 70B | 4bit(Q4_K_M) | 44GB | あと28GB |
| Llama 3.1 70B | 4bit(Q4_K_M) | 44GB | あと28GB |
| Llama 3.1 70B Japanese | 4bit(Q4_K_M) | 44GB | あと28GB |
| Qwen3-Next 80B-A3B | 4bit(Q4_K_M) | 47GB | あと32GB |
| Qwen3-Coder-Next 80B-A3B | 4bit(Q4_K_M) | 47GB | あと32GB |
| Qwen2.5 72B | 4bit(Q4_K_M) | 48GB | あと33GB |
| Hunyuan-A13B 80B | 4bit(Q4_K_M) | 49GB | あと33GB |
| Stockmark-2 100B | 4bit(Q4_K_M) | 58GB | あと43GB |
| gpt-oss-120b | 4bit(MXFP4) | 62GB | あと46GB |
| Llama 4 Scout 17B-16E | 4bit(Q4_K_M) | 65GB | あと49GB |
| Command A 111B | 4bit(Q4_K_M) | 66GB | あと51GB |
| Laguna S 2.1 118B-A8B | 4bit(Q4_K_M) | 71GB | あと56GB |
| Mistral Small 4 119B | 4bit(Q4_K_M) | 72GB | あと56GB |
| GLM-4.5-Air 106B-A12B | 4bit(Q4_K_M) | 72GB | あと56GB |
| Qwen3.5 122B-A10B | 4bit(Q4_K_M) | 74GB | あと59GB |
| Devstral 2 123B | 4bit(Q4_K_M) | 75GB | あと60GB |
| Ling 3.0 flash | 4bit(Q4_K_M) | 75GB | あと60GB |
| Mixtral 8x22B | 4bit(Q4_K_M) | 84GB | あと69GB |
| GPT-OSS-Swallow 120B | 4bit(Q4_K_M) | 85GB | あと70GB |
| Qwen3.8-Flash-Next | 4bit(IQ4_XS) | 91GB | あと75GB |
| Step-3.7-Flash | 4bit(Q4_K_M) | 118GB | あと103GB |
| DeepSeek-V4-Flash | 4bit(IQ4_XS) | 132GB | あと117GB |
| MiniMax-M2.5 229B-A10B | 4bit(Q4_K_M) | 135GB | あと120GB |
| Qwen3 235B-A22B | 4bit(Q4_K_M) | 138GB | あと123GB |
| GLM-5.3-Flash | 4bit(IQ4_XS) | 151GB | あと136GB |
| Inkling Small 264B | 4bit(Q4_K_M) | 157GB | あと141GB |
| MiMo-V2.6-Flash-RL | 4bit(MXFP4) | 161GB | あと146GB |
| ERNIE 4.5 300B-A47B | 4bit(Q4_K_M) | 175GB | あと160GB |
| Hy3 295B-A21B | 4bit(Q4_K_M) | 178GB | あと162GB |
| GLM-4.5 355B-A32B | 4bit(Q4_K_M) | 211GB | あと196GB |
| Qwen3.5 397B-A17B | 4bit(Q4_K_M) | 235GB | あと219GB |
| Llama 4 Maverick 17B-128E | 4bit(Q4_K_M) | 235GB | あと219GB |
| Qwen3-Coder 480B-A35B | 4bit(Q4_K_M) | 281GB | あと265GB |
| Kimi K2.6 | 2bit(IQ2_M) | 329GB | あと314GB |
| GLM-5.3 | 4bit(IQ4_XS) | 352GB | あと337GB |
| RakutenAI-3.0 671B-A37B | 4bit(Q4_K_M) | 390GB | あと374GB |
| Mistral Large 3 675B | 4bit(Q4_K_M) | 392GB | あと376GB |
量子化を落とせば収まるモデル
4bitでは溢れても、量子化を落とせばVRAM16GBに収まる12本です。
| モデル | 標準(4bit)だと | 落とすなら | 必要 | 推定速度 |
|---|---|---|---|---|
| Seed-OSS 36B | 23GB(あと7.9GB足りない) | 2bit(IQ2_M) | 15GB | 約13 tok/s推定 |
| BigBang v1 35B | 22GB(あと6.1GB足りない) | 2bit(Q2_K) | 13GB | 約73 tok/s推定 |
| Ornith 1.5 35B-A3B | 22GB(あと6.1GB足りない) | 2bit(Q2_K) | 13GB | 約87 tok/s推定 |
| Holo4 35B-A3B | 22GB(あと6.6GB足りない) | 2bit(Q2_K) | 14GB | 約81 tok/s推定 |
| Nex-N2.5-mini | 22GB(あと6.6GB足りない) | 2bit(Q2_K) | 14GB | 約69 tok/s推定 |
| Thomson 1.0 Small 35B-A3B | 21GB(あと5.7GB足りない) | 2bit(Q2_K) | 13GB | 約75 tok/s推定 |
| KAT-Coder-V2.5-Dev 35B-A3B | 21GB(あと5.7GB足りない) | 2bit(Q2_K) | 13GB | 約88 tok/s推定 |
| Ornith 1.0 35B-A3B | 22GB(あと6.4GB足りない) | 2bit(IQ2_M) | 12GB | 約96 tok/s推定 |
| XYZ-Aquila mini 35B-A3B | 21GB(あと5.7GB足りない) | 2bit(Q2_K) | 13GB | 約75 tok/s推定 |
| Qwen-AgentWorld 35B-A3B | 22GB(あと6.4GB足りない) | 2bit(IQ2_M) | 12GB | 約96 tok/s推定 |
| Qwen3.6 35B-A3B | 22GB(あと6.4GB足りない) | 2bit(IQ2_M) | 12GB | 約96 tok/s推定 |
| Qwen3.5 35B-A3B | 22GB(あと6.3GB足りない) | 2bit(IQ2_M) | 12GB | 約97 tok/s推定 |
同じVRAM16GBの機種の中での位置
当サイトにはVRAM16GBの機種が20件あります。帯域幅は288GB/sで20機種中19番目。最速のGeForce RTX 5080(960GB/s)の約30%、最も遅いRTX 2000 Ada(224GB/s)の約1.3倍です。この機種のVRAMに収まるのは155本で、その中で快適に動くのは83本です。
この機種の公開ベンチマークはまだ見つかっておらず、同系統の実効係数(60%)を当てています。実機はこれより上下します。
この機種と結果が同じになる機種: GeForce RTX 4060 Ti 16GB。VRAM16GBと帯域幅288GB/sが同じなので、動くモデルの一覧も推定速度もこのページと同じ値になります。
数値が同じ機種を分けるのは、発売時期と、いま手に入る価格だけです。この2機種は2023年から2024年まで1年の幅があり、Radeon RX 7600 XT 16GBは最も新しい機種にあたります(2024年)。結果が同じなら、いちばん新しいこの機種が無難です。ドライバとツールの対応が続く期間が長く、消費電力も抑えられています。中古の旧世代と価格が近いなら、迷う理由はありません。
この機種を実際に使うなら
日常はGemma 4 26B-A4BのIQ4_XSを常駐させ、27Bのdense型は必要なときだけ呼ぶ形が回しやすいはずです。コードでは差がはっきり出ます。Devstral Small 2507のQ4_K_Mは推定11.5tok/s、Qwen2.5-Coder 14BのQ6_Kでも13.4tok/s。
エディタの補完に使うと、候補が出るまでの間が気になる速さです。補完は7B級に任せ、14B以上は相談役に回すと分担が決まります。GPT-OSS-Swallow 20Bは4bitであと0.3GB届かないので、試すなら3bit台の量子化を探すことに。ソフトはVulkan版のllama.cppかLM Studioで動かすのが手間の少ない入り方です。
買うときの見どころ
同じ16GBで直接の競合はGeForce RTX 5060 Ti 16GB(448GB/s)。当サイトの推定ではQwen3.8 27Bが23.9tok/sで、7600 XTのほぼ倍です。帯域幅が同じ288GB/sのRTX 4060 Ti 16GBとは速度も近く、こちらと比べるならCUDAの有無と価格差で決めることになります。
RX 9060 XT 16GBは320GB/sで少しだけ速い新世代。一段上のRX 7900 XT(20GB)では+43本と、30B台のMoEがまとめて入ります。16GBを抑えた予算で手に入れること自体が目的なら、このカードは筋が通った選択です。
RX 7000シリーズの中での位置
AMDの前世代です。RX 7000シリーズ6機種の中では、容量が小さいほうから3番目です。一段上のRadeon RX 7900 XT(VRAM20GB)にすると、4bit以上で動くモデルが43本増えます。
買う前に確認すること: 画像生成・動画生成はCUDA前提のツールが多く、Windowsでは特に不利です。この用途を捨てられるかどうかが判断の分かれ目になります。 シリーズ全体の選び方はRX 7000シリーズでローカルAIはどこまで動くかにまとめています。
この機種で足りるAI用途
| 用途 | 必要な容量 | この機種(16GB) |
|---|---|---|
| Stable Diffusion / SDXL | VRAM 12GB | 動かない CUDA前提のツールが多く不向き |
| FLUX / 高品質画像生成 | VRAM 16GB | 動かない CUDA前提のツールが多く不向き |
| 動画生成AI(Wan / Hunyuan / LTX) | VRAM 24GB | 動かない CUDA前提のツールが多く不向き |
| ローカルLLM(8Bクラス) | VRAM 8GB | 快適 |
| ローカルLLM(27〜32Bクラス) | VRAM 24GB | 動かない あと8GB |
| ローカルLLM(70B〜120B MoE) | VRAM 40GB | 動かない あと24GB |
| 文字起こし(Whisper) | VRAM 6GB | 快適 |
VRAMが同じくらいの他の機種
| 機種 | メモリ | 帯域幅 | 快適に動く数 |
|---|---|---|---|
| GeForce RTX 5080 | 16GB | 960 GB/s | 158 |
| GeForce RTX 5070 Ti | 16GB | 896 GB/s | 158 |
| GeForce RTX 4080 SUPER | 16GB | 736 GB/s | 158 |
| GeForce RTX 4080 | 16GB | 717 GB/s | 158 |
| GeForce RTX 4070 Ti SUPER | 16GB | 672 GB/s | 158 |
| Radeon RX 9070 XT | 16GB | 645 GB/s | 158 |
| Radeon RX 7800 XT | 16GB | 624 GB/s | 158 |
| Radeon RX 9070 | 16GB | 624 GB/s | 158 |
Gemma 3 27Bが動くPC・Macに買い替えるなら
PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
Mac mini M4 Pro(メモリ48GB・SSD 1TB)
30BクラスのローカルLLMとエージェント並列運用を1台で。コスパの中心
M4 Pro・ユニファイドメモリ48GB・SSD 1TB・帯域273GB/s ・ 目安 30〜36万円
要件を満たす中で最も手頃
Mac mini M4 Pro(メモリ64GB・SSD 1TB)
70BクラスのローカルLLMまで。同じ価格帯のGeForce機より大きいモデルまで動く
M4 Pro・ユニファイドメモリ64GB・SSD 1TB ・ 目安 36〜42万円
将来の用途拡張(大きなモデル・並列エージェント)に余裕
Ryzen AI Max+ 395 ミニPC(メモリ128GB)
Windows/Linuxで128GBの共有メモリ。GPU側に96GBを割り当てれば、gpt-oss-120bや70Bクラスを常時サーバとして動かせる
Ryzen AI Max+ 395・LPDDR5X 128GB(256GB/s)・NVMe 2TB ・ 目安 32〜48万円
Windowsで同じ仕事をするなら
この機種の公開ベンチマークは未収録のため、同系統機種の実効係数(60%)で推定しています。
よくある質問
Radeon RX 7600 XT 16GBでローカルLLMは動く?
動きます。VRAM16GB(実効約16GB)に、収録204モデル中155本が収まります。日本語チャットならGemma 4 26B-A4B(4bit(IQ4_XS))が推定約44 tok/sです。
Radeon RX 7600 XT 16GBで動かないモデルは?
Gemma 3 27Bは4bitで約17GB必要で、VRAMがあと約1.9GB足りません。