RTX 6000 Ada で動くローカルLLM一覧（2026年10月）
157快適（20 tok/s以上）
26実用（8〜20 tok/s）
1メモリに一部を逃がせば動く
20動かない
編集部の見立て
VRAM 48GBの1枚で、Shisa V2.1 Llama 3.3 70BとLlama 3.3 Swallow 70BのQ4_K_M（必要43.8GB）が収まります。ベンチで補正した推定で15.3tok/s、判定は実用。MoEのQwen3-Next 80B-A3Bなら必要47.2GBで推定209.5tok/sです。
届かないのはStockmark-2 100B（あと11GB）とgpt-oss-120b（あと14.1GB）。70B級を1枚のCUDA環境で扱いたい業務用途のカードで、個人が趣味で選ぶ理由は薄いと見ています。
まず試すなら: Qwen-AgentWorld 35B-A3B（8bit（Q8_0）・必要36GB・約120 tok/s補正済み）。エージェント用途を名前に掲げた35BのMoE（アクティブ3B）。Apache 2.0
足りないのは: gpt-oss-120bを動かすにはVRAMがあと約14GB必要（必要62GB / 実効48GB）。はみ出した分をPCのメモリに逃がせば（CPUオフロード）動きますが、速度は数分の一になります。
gpt-oss-120bが動く機種に買い替えるなら
- ぴったりRyzen AI Max+ 395 ミニPC（メモリ128GB）目安 32〜48万円
- 余裕を持つならMac Studio M5 Ultra（メモリ512GB）をLLMサーバに目安 240〜280万円
- 別の形ならMac Studio M4 Max（メモリ128GB・SSD 2TB）目安 62〜72万円
VRAMに収まるモデル
収まる量子化のうち、いちばん精度の高いもので表示しています（速度は推定・計算方法）。
| モデル | 量子化 | 必要 | 判定 | 推定速度 |
|---|---|---|---|---|
| Gemma 3 270M | 8bit（Q8_0） | 0.8GB | 快適 | 約2180 tok/s補正済み |
| Qwen2.5 0.5B | 8bit（Q8_0） | 1.1GB | 快適 | 約1160 tok/s補正済み |
| Qwen3.5 0.8B | 8bit（Q8_0） | 1.4GB | 快適 | 約760 tok/s補正済み |
| Gemma 3 1B | 8bit（Q8_0） | 1.6GB | 快適 | 約620 tok/s補正済み |
| Sarashina2.2 0.5B | 8bit（Q8_0） | 1.8GB | 快適 | 約610 tok/s補正済み |
| Qwen3 0.6B | 8bit（Q8_0） | 2.0GB | 快適 | 約610 tok/s補正済み |
| LFM2.5 1.2B JP | 8bit（Q8_0） | 1.8GB | 快適 | 約520 tok/s補正済み |
| Llama 3.2 1B | 8bit（Q8_0） | 2.0GB | 快適 | 約460 tok/s補正済み |
| EXAONE 4.0 1.2B | 8bit（Q8_0） | 2.3GB | 快適 | 約420 tok/s補正済み |
| TinySwallow 1.5B | 8bit（Q8_0） | 2.3GB | 快適 | 約380 tok/s補正済み |
| RakutenAI-2.0 mini | 8bit（Q8_0） | 2.4GB | 快適 | 約370 tok/s補正済み |
| Sarashina2.2 1B | 8bit（Q8_0） | 2.6GB | 快適 | 約360 tok/s補正済み |
| Qwen2.5 1.5B | 8bit（Q8_0） | 2.5GB | 快適 | 約330 tok/s補正済み |
| Qwen3.5 2B | 8bit（Q8_0） | 2.6GB | 快適 | 約320 tok/s補正済み |
| Qwen3-VL 2B | 8bit（Q8_0） | 3.1GB | 快適 | 約290 tok/s補正済み |
| Qwen3 1.7B | 8bit（Q8_0） | 3.1GB | 快適 | 約290 tok/s補正済み |
| Ling 3.0 tiny | 8bit（Q8_0） | 8.7GB | 快適 | 約280 tok/s補正済み |
| LFM2.5 8B-A1B | 8bit（Q8_0） | 9.2GB | 快適 | 約250 tok/s補正済み |
| LLM-jp-3.1 1.8B | 8bit（Q8_0） | 3.9GB | 快適 | 約240 tok/s補正済み |
| MiniCPM5 2B | 8bit（Q8_0） | 3.4GB | 快適 | 約240 tok/s補正済み |
| LFM2.5 2.6B | 8bit（Q8_0） | 3.4GB | 快適 | 約230 tok/s補正済み |
| LFM2.5-VL 3B | 8bit（Q8_0） | 3.4GB | 快適 | 約230 tok/s補正済み |
| Gemma 2 Baku 2B | 8bit（Q8_0） | 3.8GB | 快適 | 約220 tok/s補正済み |
| Ling 3.0 flash | 2bit（Q2_K） | 45GB | 快適 | 約210 tok/s補正済み |
| Qwen3-Next 80B-A3B | 4bit（Q4_K_M） | 47GB | 快適 | 約210 tok/s補正済み |
| Qwen3-Coder-Next 80B-A3B | 4bit（Q4_K_M） | 47GB | 快適 | 約210 tok/s補正済み |
| Qwen2.5-VL 3B | 8bit（Q8_0） | 3.9GB | 快適 | 約200 tok/s補正済み |
| Qwen2.5-Coder 3B | 8bit（Q8_0） | 3.9GB | 快適 | 約200 tok/s補正済み |
| Qwen2.5 3B | 8bit（Q8_0） | 3.9GB | 快適 | 約200 tok/s補正済み |
| SmolLM3 3B | 8bit（Q8_0） | 4.2GB | 快適 | 約190 tok/s補正済み |
| gpt-oss-20b | 4bit（MXFP4） | 12GB | 快適 | 約180 tok/s補正済み |
| Mistral Small 4 119B | 2bit（IQ2_M） | 37GB | 快適 | 約180 tok/s補正済み |
| Llama 3.2 3B | 8bit（Q8_0） | 4.7GB | 快適 | 約170 tok/s補正済み |
| Ministral 3 3B | 8bit（Q8_0） | 4.8GB | 快適 | 約160 tok/s補正済み |
| Kimi Linear 48B-A3B | 6bit（Q6_K） | 39GB | 快適 | 約160 tok/s補正済み |
| Granite 4.2 3B | 8bit（Q8_0） | 4.9GB | 快適 | 約160 tok/s補正済み |
| Sarashina2.2 3B | 8bit（Q8_0） | 5.2GB | 快適 | 約160 tok/s補正済み |
| LLM-jp-4 32B-A3B thinking | 5bit（Q5_K_M） | 24GB | 快適 | 約160 tok/s補正済み |
| Gemma 3 4B | 8bit（Q8_0） | 4.7GB | 快適 | 約160 tok/s補正済み |
| Nemotron 3 Nano 4B | 8bit（Q8_0） | 4.7GB | 快適 | 約160 tok/s補正済み |
| Qwen3.5 4B | 8bit（Q8_0） | 5.0GB | 快適 | 約150 tok/s補正済み |
| Phi-4-mini 3.8B | 8bit（Q8_0） | 5.4GB | 快適 | 約150 tok/s補正済み |
| Laguna S 2.1 118B-A8B | 2bit（IQ2_M） | 37GB | 快適 | 約150 tok/s補正済み |
| AREX-Turbo 4B | 8bit（Q8_0） | 5.1GB | 快適 | 約150 tok/s補正済み |
| Fara1.5 4B | 8bit（Q8_0） | 5.1GB | 快適 | 約150 tok/s補正済み |
| Nanbeige4.2 3B | 8bit（Q8_0） | 5.4GB | 快適 | 約140 tok/s補正済み |
| Gemma 3n E2B | 8bit（Q8_0） | 5.2GB | 快適 | 約140 tok/s補正済み |
| Qwen3-VL 4B | 8bit（Q8_0） | 5.7GB | 快適 | 約140 tok/s補正済み |
| Qwen3 4B | 8bit（Q8_0） | 5.7GB | 快適 | 約140 tok/s補正済み |
| Gemma 4 E2B | 8bit（Q8_0） | 5.5GB | 快適 | 約130 tok/s補正済み |
| AFM-4.5B | 8bit（Q8_0） | 5.8GB | 快適 | 約130 tok/s補正済み |
| Nemotron 3.5 Lightning 30B-A3B | 8bit（Q8_0） | 33GB | 快適 | 約130 tok/s補正済み |
| Nemotron 3 Nano Omni 30B-A3B | 8bit（Q8_0） | 33GB | 快適 | 約130 tok/s補正済み |
| Llama-3-ELYZA-JP-8B | 4bit（Q4_K_M） | 6.2GB | 快適 | 約120 tok/s補正済み |
| Holo4 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約120 tok/s補正済み |
| Ornith 1.5 35B-A3B | 8bit（Q8_0） | 37GB | 快適 | 約120 tok/s補正済み |
| KAT-Coder-V2.5-Dev 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約120 tok/s補正済み |
| Ornith 1.0 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約120 tok/s補正済み |
| Qwen-AgentWorld 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約120 tok/s補正済み |
| Qwen3.6 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約120 tok/s補正済み |
| Qwen3.5 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約120 tok/s補正済み |
| Qwen3.5 122B-A10B | 2bit（IQ2_M） | 38GB | 快適 | 約120 tok/s補正済み |
| Laguna XS 2.1 33B-A3B | 8bit（Q8_0） | 35GB | 快適 | 約120 tok/s補正済み |
| Phi-3.5-mini 3.8B | 8bit（Q8_0） | 7.4GB | 快適 | 約120 tok/s補正済み |
| ERNIE 4.5 21B-A3B Thinking | 8bit（Q8_0） | 23GB | 快適 | 約120 tok/s補正済み |
| North Mini Code 1.0 | 8bit（Q8_0） | 32GB | 快適 | 約120 tok/s補正済み |
| GLM-4.7-Flash 30B-A3B | 8bit（Q8_0） | 32GB | 快適 | 約110 tok/s補正済み |
| Nex-N2.5-mini | 8bit（Q8_0） | 36GB | 快適 | 約100 tok/s補正済み |
| Thomson 1.0 Small 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約100 tok/s補正済み |
| XYZ-Aquila mini 35B-A3B | 8bit（Q8_0） | 36GB | 快適 | 約100 tok/s補正済み |
| Qwen3-Swallow 30B-A3B | 8bit（Q8_0） | 32GB | 快適 | 約100 tok/s補正済み |
| Qwen3-VL 30B-A3B | 8bit（Q8_0） | 32GB | 快適 | 約100 tok/s補正済み |
| Qwen3 30B-A3B | 8bit（Q8_0） | 32GB | 快適 | 約100 tok/s補正済み |
| Qwen3-Coder 30B-A3B | 8bit（Q8_0） | 32GB | 快適 | 約100 tok/s補正済み |
| GPT-OSS-Swallow 20B | 8bit（Q8_0） | 22GB | 快適 | 約100 tok/s補正済み |
| BigBang v1 35B | 8bit（Q8_0） | 37GB | 快適 | 約100 tok/s補正済み |
| CAT-Translate 7B | 6bit（Q6_K） | 7.4GB | 快適 | 約100 tok/s補正済み |
| Shisa V2.1 Qwen3 8B | 6bit（Q6_K） | 8.1GB | 快適 | 約92 tok/s補正済み |
| Gemma 4 26B-A4B | 8bit（Q8_0） | 27GB | 快適 | 約91 tok/s補正済み |
| Granite 4.0 H-Tiny | 8bit（Q8_0） | 7.7GB | 快適 | 約91 tok/s補正済み |
| Gemma 3n E4B | 8bit（Q8_0） | 7.7GB | 快適 | 約91 tok/s補正済み |
| Mistral 7B v0.3 | 8bit（Q8_0） | 8.9GB | 快適 | 約82 tok/s補正済み |
| Falcon-H1R 7B | 8bit（Q8_0） | 8.6GB | 快適 | 約82 tok/s補正済み |
| Gemma 4 E4B | 8bit（Q8_0） | 8.6GB | 快適 | 約81 tok/s補正済み |
| ELYZA-Shortcut-1.0 Qwen 7B | 8bit（Q8_0） | 8.7GB | 快適 | 約81 tok/s補正済み |
| ABEJA Qwen2.5 7B Japanese | 8bit（Q8_0） | 8.7GB | 快適 | 約81 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 7B | 8bit（Q8_0） | 8.7GB | 快適 | 約81 tok/s補正済み |
| Qwen2.5-VL 7B | 8bit（Q8_0） | 8.7GB | 快適 | 約81 tok/s補正済み |
| Qwen2.5 7B | 8bit（Q8_0） | 8.7GB | 快適 | 約81 tok/s補正済み |
| Qwen2.5-Coder 7B | 8bit（Q8_0） | 8.7GB | 快適 | 約81 tok/s補正済み |
| Hunyuan 7B | 8bit（Q8_0） | 9.2GB | 快適 | 約79 tok/s補正済み |
| Tanuki-8B | 8bit（Q8_0） | 9.2GB | 快適 | 約79 tok/s補正済み |
| Command R7B | 8bit（Q8_0） | 9.3GB | 快適 | 約76 tok/s補正済み |
| Llama 3.1 Swallow 8B | 8bit（Q8_0） | 9.7GB | 快適 | 約74 tok/s補正済み |
| DeepSeek-R1 Distill Llama 8B | 8bit（Q8_0） | 9.7GB | 快適 | 約74 tok/s補正済み |
| Aya Expanse 8B | 8bit（Q8_0） | 9.7GB | 快適 | 約74 tok/s補正済み |
| Llama 3 Youko 8B | 8bit（Q8_0） | 9.7GB | 快適 | 約74 tok/s補正済み |
| Llama 3.1 8B | 8bit（Q8_0） | 9.7GB | 快適 | 約74 tok/s補正済み |
| Apertus 8B | 8bit（Q8_0） | 9.7GB | 快適 | 約74 tok/s補正済み |
| Qwen3-Swallow 8B | 8bit（Q8_0） | 10.0GB | 快適 | 約72 tok/s補正済み |
| Qwen3-VL 8B | 8bit（Q8_0） | 10.0GB | 快適 | 約72 tok/s補正済み |
| DeepSeek-R1-0528 Qwen3 8B | 8bit（Q8_0） | 10.0GB | 快適 | 約72 tok/s補正済み |
| Qwen3 8B | 8bit（Q8_0） | 10.0GB | 快適 | 約72 tok/s補正済み |
| Nemotron-Nano 9B v2 Japanese | 8bit（Q8_0） | 9.7GB | 快適 | 約71 tok/s補正済み |
| GLM-4.5-Air 106B-A12B | 2bit（Q2_K） | 45GB | 快適 | 約71 tok/s補正済み |
| Ministral 3 8B | 8bit（Q8_0） | 10GB | 快適 | 約70 tok/s補正済み |
| Ornith 1.0 9B | 8bit（Q8_0） | 9.9GB | 快適 | 約70 tok/s補正済み |
| Qwen3.5 9B | 8bit（Q8_0） | 9.9GB | 快適 | 約70 tok/s補正済み |
| LLM-jp-4 8B thinking | 8bit（Q8_0） | 10GB | 快適 | 約70 tok/s補正済み |
| MiMo-V2.6-Distill-Qwen-9B | 8bit（Q8_0） | 9.9GB | 快適 | 約70 tok/s補正済み |
| Ornith 1.5 9B | 8bit（Q8_0） | 9.9GB | 快適 | 約70 tok/s補正済み |
| UI-Mate 9B | 8bit（Q8_0） | 9.9GB | 快適 | 約70 tok/s補正済み |
| UI-Venus-2 9B | 8bit（Q8_0） | 9.9GB | 快適 | 約70 tok/s補正済み |
| Fara1.5 9B | 8bit（Q8_0） | 9.9GB | 快適 | 約70 tok/s補正済み |
| Granite 4.2 8B | 8bit（Q8_0） | 11GB | 快適 | 約67 tok/s補正済み |
| GLM-4.6V-Flash 9B | 8bit（Q8_0） | 10GB | 快適 | 約66 tok/s補正済み |
| PLaMo 2 Translate | 8bit（Q8_0） | 10GB | 快適 | 約66 tok/s補正済み |
| Gemma-2-Llama-Swallow 9B | 8bit（Q8_0） | 12GB | 快適 | 約62 tok/s補正済み |
| Gemma 2 9B | 8bit（Q8_0） | 12GB | 快適 | 約62 tok/s補正済み |
| Llama 4 Scout 17B-16E | 2bit（Q2_K） | 40GB | 快適 | 約57 tok/s補正済み |
| Hunyuan-A13B 80B | 4bit（IQ4_XS） | 43GB | 快適 | 約53 tok/s補正済み |
| Gemma 4 12B | 8bit（Q8_0） | 13GB | 快適 | 約52 tok/s補正済み |
| Gemma 3 12B | 8bit（Q8_0） | 13GB | 快適 | 約52 tok/s補正済み |
| Nemotron Nano 12B v2 | 8bit（Q8_0） | 13GB | 快適 | 約51 tok/s補正済み |
| Mistral Nemo Japanese 12B | 8bit（Q8_0） | 14GB | 快適 | 約49 tok/s補正済み |
| Mistral Nemo 12B | 8bit（Q8_0） | 14GB | 快適 | 約49 tok/s補正済み |
| Ministral 3 14B | 8bit（Q8_0） | 16GB | 快適 | 約45 tok/s補正済み |
| Granite 4.0 H-Small 32B-A9B | 8bit（Q8_0） | 33GB | 快適 | 約42 tok/s補正済み |
| ABEJA Qwen3 14B Agentic | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| Qwen3 14B | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| Shisa V2.1 unphi4 14B | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| Phi-4 14B | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 14B | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 14B Japanese | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| Qwen2.5-Coder 14B | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| Qwen2.5 14B | 8bit（Q8_0） | 17GB | 快適 | 約41 tok/s補正済み |
| LLM-jp-3.1 13B | 8bit（Q8_0） | 21GB | 快適 | 約38 tok/s補正済み |
| RakutenAI-2.0 8x7B | 6bit（Q6_K） | 38GB | 快適 | 約36 tok/s補正済み |
| Tanuki-8x8B | 6bit（Q6_K） | 39GB | 快適 | 約36 tok/s補正済み |
| Mixtral 8x7B | 6bit（Q6_K） | 38GB | 快適 | 約36 tok/s補正済み |
| Codestral 22B | 8bit（Q8_0） | 25GB | 快適 | 約27 tok/s補正済み |
| Devstral Small 2 24B | 8bit（Q8_0） | 26GB | 快適 | 約26 tok/s補正済み |
| Magistral Small 2509 | 8bit（Q8_0） | 26GB | 快適 | 約26 tok/s補正済み |
| Devstral Small 2507 | 8bit（Q8_0） | 26GB | 快適 | 約26 tok/s補正済み |
| Mistral Small 3.2 24B | 8bit（Q8_0） | 26GB | 快適 | 約26 tok/s補正済み |
| Qwen2.5-VL 32B | 6bit（Q6_K） | 28GB | 快適 | 約24 tok/s補正済み |
| AREX-2 27B | 8bit（Q8_0） | 29GB | 快適 | 約23 tok/s補正済み |
| UI-Mate 27B | 8bit（Q8_0） | 29GB | 快適 | 約23 tok/s補正済み |
| Fara1.5 27B | 8bit（Q8_0） | 29GB | 快適 | 約23 tok/s補正済み |
| Qwen3.6 27B | 8bit（Q8_0） | 28GB | 快適 | 約23 tok/s補正済み |
| Qwen3.5 27B | 8bit（Q8_0） | 28GB | 快適 | 約23 tok/s補正済み |
| Qwen3.8 27B | 8bit（Q8_0） | 29GB | 快適 | 約23 tok/s補正済み |
| Gemma 3 27B | 8bit（Q8_0） | 29GB | 快適 | 約23 tok/s補正済み |
| Muse-Glimmer 30B | 8bit（Q8_0） | 29GB | 快適 | 約23 tok/s補正済み |
| Gemma-2-Llama-Swallow 27B | 8bit（Q8_0） | 30GB | 快適 | 約22 tok/s補正済み |
| Granite 4.2 30B | 8bit（Q8_0） | 32GB | 快適 | 約21 tok/s補正済み |
| Gemma 4 31B | 8bit（Q8_0） | 33GB | 快適 | 約20 tok/s補正済み |
| EXAONE 4.0.1 32B | 8bit（Q8_0） | 34GB | 実用 | 約19 tok/s補正済み |
| Olmo 3.1 32B | 8bit（Q8_0） | 35GB | 実用 | 約19 tok/s補正済み |
| Aya Expanse 32B | 8bit（Q8_0） | 35GB | 実用 | 約19 tok/s補正済み |
| Qwen3-VL 32B | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| ABEJA Qwen2.5 32B Japanese | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| ELYZA-Shortcut-1.0 Qwen 32B | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| ELYZA-Thinking-1.0 Qwen 32B | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| Qwen3 32B | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 32B | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 32B Japanese | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| KARAKURI LM 32B Thinking | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| Qwen2.5-Coder 32B | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| Qwen2.5 32B | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| LLM-jp-4 33B thinking | 8bit（Q8_0） | 36GB | 実用 | 約19 tok/s補正済み |
| Stockmark-2 100B | 2bit（Q2_K） | 37GB | 実用 | 約18 tok/s補正済み |
| Seed-OSS 36B | 8bit（Q8_0） | 39GB | 実用 | 約17 tok/s補正済み |
| Qwen2.5 72B | 4bit（IQ4_XS） | 41GB | 実用 | 約16 tok/s補正済み |
| Command A 111B | 2bit（Q2_K） | 42GB | 実用 | 約16 tok/s補正済み |
| Shisa V2.1 Llama 3.3 70B | 4bit（Q4_K_M） | 44GB | 実用 | 約15 tok/s補正済み |
| Llama 3.3 Swallow 70B | 4bit（Q4_K_M） | 44GB | 実用 | 約15 tok/s補正済み |
| DeepSeek-R1 Distill Llama 70B | 4bit（Q4_K_M） | 44GB | 実用 | 約15 tok/s補正済み |
| Llama 3.3 70B | 4bit（Q4_K_M） | 44GB | 実用 | 約15 tok/s補正済み |
| Llama 3 Youko 70B | 4bit（Q4_K_M） | 44GB | 実用 | 約15 tok/s補正済み |
| Llama 3.1 70B | 4bit（Q4_K_M） | 44GB | 実用 | 約15 tok/s補正済み |
| Llama 3.1 70B Japanese | 4bit（Q4_K_M） | 44GB | 実用 | 約15 tok/s補正済み |
| Devstral 2 123B | 2bit（IQ2_M） | 45GB | 実用 | 約15 tok/s補正済み |
PCのメモリに一部を逃がせば動く（CPUオフロード・メモリ32GB想定）
| モデル | 量子化 | 必要 | 判定 | 推定速度 |
|---|---|---|---|---|
| gpt-oss-120b | 4bit（MXFP4） | 62GB | 快適CPUオフロード | 約30 tok/s補正済み |
動かないモデルと不足分
| モデル | 量子化 | 必要 | 不足 |
|---|---|---|---|
| Mixtral 8x22B | 4bit（Q4_K_M） | 84GB | あと37GB |
| GPT-OSS-Swallow 120B | 4bit（Q4_K_M） | 85GB | あと38GB |
| Qwen3.8-Flash-Next | 4bit（IQ4_XS） | 91GB | あと43GB |
| Step-3.7-Flash | 4bit（Q4_K_M） | 118GB | あと71GB |
| DeepSeek-V4-Flash | 4bit（IQ4_XS） | 132GB | あと85GB |
| MiniMax-M2.5 229B-A10B | 4bit（Q4_K_M） | 135GB | あと88GB |
| Qwen3 235B-A22B | 4bit（Q4_K_M） | 138GB | あと91GB |
| GLM-5.3-Flash | 4bit（IQ4_XS） | 151GB | あと104GB |
| Inkling Small 264B | 4bit（Q4_K_M） | 157GB | あと109GB |
| MiMo-V2.6-Flash-RL | 4bit（MXFP4） | 161GB | あと114GB |
| ERNIE 4.5 300B-A47B | 4bit（Q4_K_M） | 175GB | あと128GB |
| Hy3 295B-A21B | 4bit（Q4_K_M） | 178GB | あと130GB |
| GLM-4.5 355B-A32B | 4bit（Q4_K_M） | 211GB | あと164GB |
| Qwen3.5 397B-A17B | 4bit（Q4_K_M） | 235GB | あと187GB |
| Llama 4 Maverick 17B-128E | 4bit（Q4_K_M） | 235GB | あと187GB |
| Qwen3-Coder 480B-A35B | 4bit（Q4_K_M） | 281GB | あと233GB |
| Kimi K2.6 | 2bit（IQ2_M） | 329GB | あと282GB |
| GLM-5.3 | 4bit（IQ4_XS） | 352GB | あと305GB |
| RakutenAI-3.0 671B-A37B | 4bit（Q4_K_M） | 390GB | あと342GB |
| Mistral Large 3 675B | 4bit（Q4_K_M） | 392GB | あと344GB |
量子化を落とせば収まるモデル
4bitでは溢れても、量子化を落とせばVRAM48GBに収まる11本です。
| モデル | 標準（4bit）だと | 落とすなら | 必要 | 推定速度 |
|---|---|---|---|---|
| Ling 3.0 flash | 75GB（あと28GB足りない） | 2bit（Q2_K） | 45GB | 約210 tok/s補正済み |
| Devstral 2 123B | 75GB（あと28GB足りない） | 2bit（IQ2_M） | 45GB | 約15 tok/s補正済み |
| Qwen3.5 122B-A10B | 74GB（あと27GB足りない） | 2bit（IQ2_M） | 38GB | 約120 tok/s補正済み |
| Mistral Small 4 119B | 72GB（あと24GB足りない） | 2bit（IQ2_M） | 37GB | 約180 tok/s補正済み |
| Laguna S 2.1 118B-A8B | 71GB（あと24GB足りない） | 2bit（IQ2_M） | 37GB | 約150 tok/s補正済み |
| Command A 111B | 66GB（あと19GB足りない） | 2bit（Q2_K） | 42GB | 約16 tok/s補正済み |
| GLM-4.5-Air 106B-A12B | 72GB（あと24GB足りない） | 2bit（Q2_K） | 45GB | 約71 tok/s補正済み |
| Llama 4 Scout 17B-16E | 65GB（あと17GB足りない） | 2bit（Q2_K） | 40GB | 約57 tok/s補正済み |
| Stockmark-2 100B | 58GB（あと11GB足りない） | 2bit（Q2_K） | 37GB | 約18 tok/s補正済み |
| Hunyuan-A13B 80B | 49GB（あと1.3GB足りない） | 4bit（IQ4_XS） | 43GB | 約53 tok/s補正済み |
| Qwen2.5 72B | 48GB（あと1.0GB足りない） | 4bit（IQ4_XS） | 41GB | 約16 tok/s補正済み |
この機種を実際に使うなら
コード用途はQwen3-Coder-Next 80B-A3BのQ4_K_M（推定209.4tok/s）が主力ですが、必要47.2GBで実効47.5GBをほぼ使い切ります。長い入力を渡す日は、Qwen2.5-Coder 32BをQ8_0（推定18.8tok/s）で回す形に切り替えたほうが無難です。
日本語の70B級は15tok/s台なので、1,000トークンの回答に1分強。待てる用途向けです。RakutenAI-2.0 8x7BをQ6_K（推定36tok/s）で回す手もあります。冷却はブロワー型で、複数枚を隙間なく並べるワークステーション構成を前提にした設計です。
買うときの見どころ
型番の混同に一番注意が要るカードです。「RTX 6000」を名乗る製品には、Turing世代のQuadro RTX 6000（24GB）、このRTX 6000 Ada（48GB）、Blackwell世代のRTX PRO 6000（96GB）の3つがあります。中古や法人向けの出品では世代名が省かれることがあるので、Adaの表記とVRAM容量で確かめましょう。
同じ48GBの比較相手は当サイトのDBにありません。RTX 3090を2枚使っても合計48GBに届きますが、分割の設定と電源の手間は増える。gpt-oss-120bまで届かせるには、容量をもう一段上げる必要があります。
この機種で足りるAI用途
| 用途 | 必要な容量 | この機種（48GB） |
|---|---|---|
| Stable Diffusion / SDXL | VRAM 12GB | 快適 |
| FLUX / 高品質画像生成 | VRAM 16GB | 快適 |
| 動画生成AI（Wan / Hunyuan / LTX） | VRAM 24GB | 快適 |
| ローカルLLM（8Bクラス） | VRAM 8GB | 快適 |
| ローカルLLM（27〜32Bクラス） | VRAM 24GB | 快適 |
| ローカルLLM（70B〜120B MoE） | VRAM 40GB | 快適 |
| 文字起こし（Whisper） | VRAM 6GB | 快適 |
gpt-oss-120bが動くPC・Macに買い替えるなら
PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
ぴったり常時稼働サーバー型
Ryzen AI Max+ 395 ミニPC（メモリ128GB）
Windows/Linuxで128GBの共有メモリ。GPU側に96GBを割り当てれば、gpt-oss-120bや70Bクラスを常時サーバとして動かせる
Ryzen AI Max+ 395・LPDDR5X 128GB（256GB/s）・NVMe 2TB ・ 目安 32〜48万円
要件を満たす中で最も手頃
余裕を持つなら常時稼働サーバー型
Mac Studio M5 Ultra（メモリ512GB）をLLMサーバに
DeepSeek V3級（671B）の4bitを1台で。帯域1.2TB/s。チームのローカルLLMサーバ
M5 Ultra（36コア・80コアGPU）・ユニファイドメモリ512GB・SSD 4TB ・ 目安 240〜280万円
将来の用途拡張（大きなモデル・並列エージェント）に余裕
別の形ならMac
Mac Studio M4 Max（メモリ128GB・SSD 2TB）
gpt-oss-120bやQwen3.5 122Bがメモリに収まり、帯域546GB/sで実用的な速さが出る。個人向けローカルLLMの本命
M4 Max・ユニファイドメモリ128GB・SSD 2TB ・ 目安 62〜72万円
Macで同じ仕事をするなら
この機種の公開ベンチマーク（出典）
RTX 6000 Ada の llama.cpp 公開ベンチマーク（GitHub Discussion）: llama-2-7b Q4_0 = 176.07 tok/s。この値からメモリ帯域幅に対する実効係数（70%）を求め、他モデルの速度推定に使っています。
よくある質問
RTX 6000 AdaでローカルLLMは動く？
動きます。VRAM48GB（実効約48GB）に、収録204モデル中183本が収まります。日本語チャットならQwen-AgentWorld 35B-A3B（8bit（Q8_0））が推定約120 tok/sです。
RTX 6000 Adaで動かないモデルは？
gpt-oss-120bは4bitで約62GB必要で、VRAMがあと約14GB足りません。