VRAM 24GBで動くローカルLLM一覧（2026年10月）
24GBで4bit以上のまま動くのは204本中158本。20GBの154本からほとんど増えず、この容量の値打ちは本数より、36B級をQ4_K_Mのまま動かせることにあります。
1584bit以上で動くモデル（全204本中）
158その中で快適に動くもの（20 tok/s以上）
162量子化を落とせば動く数
36.15B4bit以上で動く最大のモデル
編集部の見立て
70B級の手前で、しばらく本数が伸びなくなる容量です。Shisa V2.1 Llama 3.3 70BもLlama 3.3 Swallow 70Bも、最小量子化で必要26.1GB。あと2.6GB足りません。Qwen3-Coder-Next 80B-A3Bはあと1.1GBまで迫りますが、それでも入りません。
32GBへ上げて増えるのはRakutenAI-2.0 8x7Bの1本きり。該当するのはRTX 3090から4090、RX 7900 XTXまで5機種で、2020年以降の上位カードが横並びになる帯です。ここから先は48GB級まで、本数はほとんど動きません。
この容量に該当する機種
動くモデルと推定速度
各モデルについて、この容量に収まる量子化のうち、いちばん精度の高いものを表示しています。速度はGeForce RTX 4090での推定値で、同じ容量でも帯域幅の広いGPUならこれより速く、狭ければ遅くなります。
| モデル | パラメータ | 量子化 | 必要 | 判定 | 推定速度 |
|---|---|---|---|---|---|
| Gemma 3 270M | 0.27B | 8bit（Q8_0） | 0.8GB | 快適 | 約2310 tok/s補正済み |
| Qwen2.5 0.5B | 0.49B | 8bit（Q8_0） | 1.1GB | 快適 | 約1220 tok/s補正済み |
| Qwen3.5 0.8B | 0.77B | 8bit（Q8_0） | 1.4GB | 快適 | 約800 tok/s補正済み |
| Gemma 3 1B | 1B | 8bit（Q8_0） | 1.6GB | 快適 | 約650 tok/s補正済み |
| Sarashina2.2 0.5B | 0.79B | 8bit（Q8_0） | 1.8GB | 快適 | 約650 tok/s補正済み |
| Qwen3 0.6B | 0.6B | 8bit（Q8_0） | 2.0GB | 快適 | 約640 tok/s補正済み |
| LFM2.5 1.2B JP | 1.17B | 8bit（Q8_0） | 1.8GB | 快適 | 約550 tok/s補正済み |
| Llama 3.2 1B | 1.24B | 8bit（Q8_0） | 2.0GB | 快適 | 約490 tok/s補正済み |
| EXAONE 4.0 1.2B | 1.28B | 8bit（Q8_0） | 2.3GB | 快適 | 約440 tok/s補正済み |
| TinySwallow 1.5B | 1.54B | 8bit（Q8_0） | 2.3GB | 快適 | 約400 tok/s補正済み |
| RakutenAI-2.0 mini | 1.53B | 8bit（Q8_0） | 2.4GB | 快適 | 約390 tok/s補正済み |
| Sarashina2.2 1B | 1.41B | 8bit（Q8_0） | 2.6GB | 快適 | 約380 tok/s補正済み |
| Qwen2.5 1.5B | 1.78B | 8bit（Q8_0） | 2.5GB | 快適 | 約350 tok/s補正済み |
| Qwen3.5 2B | 1.94B | 8bit（Q8_0） | 2.6GB | 快適 | 約330 tok/s補正済み |
| Qwen3-VL 2B | 1.72B | 8bit（Q8_0） | 3.1GB | 快適 | 約310 tok/s補正済み |
| Qwen3 1.7B | 1.72B | 8bit（Q8_0） | 3.1GB | 快適 | 約310 tok/s補正済み |
| Ling 3.0 tiny | 7.89B アクティブ1.3B | 8bit（Q8_0） | 8.7GB | 快適 | 約300 tok/s補正済み |
| Kimi Linear 48B-A3B | 49.12B アクティブ3B | 3bit（Q3_K_M） | 22GB | 快適 | 約300 tok/s補正済み |
| LFM2.5 8B-A1B | 8.47B アクティブ1.5B | 8bit（Q8_0） | 9.2GB | 快適 | 約260 tok/s補正済み |
| LLM-jp-3.1 1.8B | 1.87B | 8bit（Q8_0） | 3.9GB | 快適 | 約250 tok/s補正済み |
| MiniCPM5 2B | 2.52B | 8bit（Q8_0） | 3.4GB | 快適 | 約250 tok/s補正済み |
| LFM2.5 2.6B | 2.7B | 8bit（Q8_0） | 3.4GB | 快適 | 約240 tok/s補正済み |
| LFM2.5-VL 3B | 2.7B | 8bit（Q8_0） | 3.4GB | 快適 | 約240 tok/s補正済み |
| Gemma 2 Baku 2B | 2.61B | 8bit（Q8_0） | 3.8GB | 快適 | 約230 tok/s補正済み |
| Ornith 1.5 35B-A3B | 35.51B アクティブ3B | 4bit（Q4_K_M） | 22GB | 快適 | 約220 tok/s補正済み |
| KAT-Coder-V2.5-Dev 35B-A3B | 34.66B アクティブ3B | 4bit（Q4_K_M） | 21GB | 快適 | 約220 tok/s補正済み |
| Qwen3.5 35B-A3B | 34.66B アクティブ3B | 4bit（Q4_K_M） | 22GB | 快適 | 約210 tok/s補正済み |
| Ornith 1.0 35B-A3B | 34.66B アクティブ3B | 4bit（Q4_K_M） | 22GB | 快適 | 約210 tok/s補正済み |
| Qwen-AgentWorld 35B-A3B | 34.66B アクティブ3B | 4bit（Q4_K_M） | 22GB | 快適 | 約210 tok/s補正済み |
| Qwen3.6 35B-A3B | 34.66B アクティブ3B | 4bit（Q4_K_M） | 22GB | 快適 | 約210 tok/s補正済み |
| Holo4 35B-A3B | 34.66B アクティブ3B | 4bit（Q4_K_M） | 22GB | 快適 | 約210 tok/s補正済み |
| Laguna XS 2.1 33B-A3B | 33.44B アクティブ3B | 4bit（Q4_K_M） | 21GB | 快適 | 約210 tok/s補正済み |
| Qwen2.5-VL 3B | 3.09B | 8bit（Q8_0） | 3.9GB | 快適 | 約210 tok/s補正済み |
| Qwen2.5-Coder 3B | 3.09B | 8bit（Q8_0） | 3.9GB | 快適 | 約210 tok/s補正済み |
| Qwen2.5 3B | 3.09B | 8bit（Q8_0） | 3.9GB | 快適 | 約210 tok/s補正済み |
| SmolLM3 3B | 3.08B | 8bit（Q8_0） | 4.2GB | 快適 | 約200 tok/s補正済み |
| gpt-oss-20b | 20.91B アクティブ3.6B | 4bit（MXFP4） | 12GB | 快適 | 約200 tok/s補正済み |
| LLM-jp-4 32B-A3B thinking | 32.14B アクティブ3B | 4bit（Q4_K_M） | 22GB | 快適 | 約190 tok/s補正済み |
| Thomson 1.0 Small 35B-A3B | 34.66B アクティブ3.58B | 4bit（Q4_K_M） | 21GB | 快適 | 約190 tok/s補正済み |
| XYZ-Aquila mini 35B-A3B | 34.66B アクティブ3.58B | 4bit（Q4_K_M） | 21GB | 快適 | 約190 tok/s補正済み |
| Nemotron 3 Nano Omni 30B-A3B | 31.58B アクティブ3B | 4bit（Q4_K_M） | 23GB | 快適 | 約190 tok/s補正済み |
| BigBang v1 35B | 35.51B アクティブ3.65B | 4bit（Q4_K_M） | 22GB | 快適 | 約180 tok/s補正済み |
| Llama 3.2 3B | 3.21B | 8bit（Q8_0） | 4.7GB | 快適 | 約180 tok/s補正済み |
| Nex-N2.5-mini | 34.66B アクティブ3.58B | 4bit（Q4_K_M） | 22GB | 快適 | 約180 tok/s補正済み |
| Ministral 3 3B | 3.43B | 8bit（Q8_0） | 4.8GB | 快適 | 約170 tok/s補正済み |
| North Mini Code 1.0 | 30.48B アクティブ3B | 5bit（Q5_K_M） | 23GB | 快適 | 約170 tok/s補正済み |
| Granite 4.2 3B | 3.66B | 8bit（Q8_0） | 4.9GB | 快適 | 約170 tok/s補正済み |
| Sarashina2.2 3B | 3.36B | 8bit（Q8_0） | 5.2GB | 快適 | 約170 tok/s補正済み |
| GLM-4.7-Flash 30B-A3B | 29.94B アクティブ3B | 5bit（Q5_K_M） | 22GB | 快適 | 約170 tok/s補正済み |
| Gemma 3 4B | 3.88B | 8bit（Q8_0） | 4.7GB | 快適 | 約170 tok/s補正済み |
| Nemotron 3 Nano 4B | 3.97B | 8bit（Q8_0） | 4.7GB | 快適 | 約170 tok/s補正済み |
| Qwen3-Swallow 30B-A3B | 30.53B アクティブ3.3B | 5bit（Q5_K_M） | 22GB | 快適 | 約160 tok/s補正済み |
| Qwen3-VL 30B-A3B | 30.53B アクティブ3.3B | 5bit（Q5_K_M） | 22GB | 快適 | 約160 tok/s補正済み |
| Qwen3 30B-A3B | 30.53B アクティブ3.3B | 5bit（Q5_K_M） | 22GB | 快適 | 約160 tok/s補正済み |
| Qwen3-Coder 30B-A3B | 30.53B アクティブ3.3B | 5bit（Q5_K_M） | 22GB | 快適 | 約160 tok/s補正済み |
| Qwen3.5 4B | 4.21B | 8bit（Q8_0） | 5.0GB | 快適 | 約150 tok/s補正済み |
| Phi-4-mini 3.8B | 3.84B | 8bit（Q8_0） | 5.4GB | 快適 | 約150 tok/s補正済み |
| AREX-Turbo 4B | 4.21B | 8bit（Q8_0） | 5.1GB | 快適 | 約150 tok/s補正済み |
| Fara1.5 4B | 4.21B | 8bit（Q8_0） | 5.1GB | 快適 | 約150 tok/s補正済み |
| Nanbeige4.2 3B | 4.17B | 8bit（Q8_0） | 5.4GB | 快適 | 約150 tok/s補正済み |
| Gemma 3n E2B | 4.46B | 8bit（Q8_0） | 5.2GB | 快適 | 約150 tok/s補正済み |
| Qwen3-VL 4B | 4.02B | 8bit（Q8_0） | 5.7GB | 快適 | 約150 tok/s補正済み |
| Qwen3 4B | 4.02B | 8bit（Q8_0） | 5.7GB | 快適 | 約150 tok/s補正済み |
| Gemma 4 E2B | 4.65B | 8bit（Q8_0） | 5.5GB | 快適 | 約140 tok/s補正済み |
| AFM-4.5B | 4.62B | 8bit（Q8_0） | 5.8GB | 快適 | 約140 tok/s補正済み |
| Llama-3-ELYZA-JP-8B | 8.03B | 4bit（Q4_K_M） | 6.2GB | 快適 | 約130 tok/s補正済み |
| Phi-3.5-mini 3.8B | 3.82B | 8bit（Q8_0） | 7.4GB | 快適 | 約130 tok/s補正済み |
| ERNIE 4.5 21B-A3B Thinking | 21.83B アクティブ3B | 8bit（Q8_0） | 23GB | 快適 | 約120 tok/s補正済み |
| Gemma 4 26B-A4B | 25.23B アクティブ4B | 6bit（Q6_K） | 23GB | 快適 | 約110 tok/s補正済み |
| GPT-OSS-Swallow 20B | 20.91B アクティブ3.6B | 8bit（Q8_0） | 22GB | 快適 | 約110 tok/s補正済み |
| CAT-Translate 7B | 7.49B | 6bit（Q6_K） | 7.4GB | 快適 | 約110 tok/s補正済み |
| Shisa V2.1 Qwen3 8B | 8.19B | 6bit（Q6_K） | 8.1GB | 快適 | 約97 tok/s補正済み |
| Granite 4.0 H-Tiny | 6.94B | 8bit（Q8_0） | 7.7GB | 快適 | 約96 tok/s補正済み |
| Gemma 3n E4B | 6.87B | 8bit（Q8_0） | 7.7GB | 快適 | 約96 tok/s補正済み |
| Mistral 7B v0.3 | 7.25B | 8bit（Q8_0） | 8.9GB | 快適 | 約86 tok/s補正済み |
| Falcon-H1R 7B | 7.59B | 8bit（Q8_0） | 8.6GB | 快適 | 約86 tok/s補正済み |
| Gemma 4 E4B | 7.52B | 8bit（Q8_0） | 8.6GB | 快適 | 約86 tok/s補正済み |
| ELYZA-Shortcut-1.0 Qwen 7B | 7.62B | 8bit（Q8_0） | 8.7GB | 快適 | 約85 tok/s補正済み |
| ABEJA Qwen2.5 7B Japanese | 7.62B | 8bit（Q8_0） | 8.7GB | 快適 | 約85 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 7B | 7.62B | 8bit（Q8_0） | 8.7GB | 快適 | 約85 tok/s補正済み |
| Qwen2.5-VL 7B | 7.62B | 8bit（Q8_0） | 8.7GB | 快適 | 約85 tok/s補正済み |
| Qwen2.5 7B | 7.62B | 8bit（Q8_0） | 8.7GB | 快適 | 約85 tok/s補正済み |
| Qwen2.5-Coder 7B | 7.62B | 8bit（Q8_0） | 8.7GB | 快適 | 約85 tok/s補正済み |
| Hunyuan 7B | 7.5B | 8bit（Q8_0） | 9.2GB | 快適 | 約84 tok/s補正済み |
| Tanuki-8B | 7.51B | 8bit（Q8_0） | 9.2GB | 快適 | 約84 tok/s補正済み |
| Command R7B | 8.03B | 8bit（Q8_0） | 9.3GB | 快適 | 約80 tok/s補正済み |
| Llama 3.1 Swallow 8B | 8.03B | 8bit（Q8_0） | 9.7GB | 快適 | 約78 tok/s補正済み |
| DeepSeek-R1 Distill Llama 8B | 8.03B | 8bit（Q8_0） | 9.7GB | 快適 | 約78 tok/s補正済み |
| Aya Expanse 8B | 8.03B | 8bit（Q8_0） | 9.7GB | 快適 | 約78 tok/s補正済み |
| Llama 3 Youko 8B | 8.03B | 8bit（Q8_0） | 9.7GB | 快適 | 約78 tok/s補正済み |
| Llama 3.1 8B | 8.03B | 8bit（Q8_0） | 9.7GB | 快適 | 約78 tok/s補正済み |
| Apertus 8B | 8.05B | 8bit（Q8_0） | 9.7GB | 快適 | 約78 tok/s補正済み |
| Qwen3-Swallow 8B | 8.19B | 8bit（Q8_0） | 10.0GB | 快適 | 約76 tok/s補正済み |
| Qwen3-VL 8B | 8.19B | 8bit（Q8_0） | 10.0GB | 快適 | 約76 tok/s補正済み |
| DeepSeek-R1-0528 Qwen3 8B | 8.19B | 8bit（Q8_0） | 10.0GB | 快適 | 約76 tok/s補正済み |
| Qwen3 8B | 8.19B | 8bit（Q8_0） | 10.0GB | 快適 | 約76 tok/s補正済み |
| Nemotron-Nano 9B v2 Japanese | 8.89B | 8bit（Q8_0） | 9.7GB | 快適 | 約75 tok/s補正済み |
| Ministral 3 8B | 8.49B | 8bit（Q8_0） | 10GB | 快適 | 約74 tok/s補正済み |
| Ornith 1.0 9B | 8.95B | 8bit（Q8_0） | 9.9GB | 快適 | 約74 tok/s補正済み |
| Qwen3.5 9B | 8.95B | 8bit（Q8_0） | 9.9GB | 快適 | 約74 tok/s補正済み |
| LLM-jp-4 8B thinking | 8.59B | 8bit（Q8_0） | 10GB | 快適 | 約74 tok/s補正済み |
| MiMo-V2.6-Distill-Qwen-9B | 8.95B | 8bit（Q8_0） | 9.9GB | 快適 | 約74 tok/s補正済み |
| Ornith 1.5 9B | 8.95B | 8bit（Q8_0） | 9.9GB | 快適 | 約74 tok/s補正済み |
| UI-Mate 9B | 8.95B | 8bit（Q8_0） | 9.9GB | 快適 | 約74 tok/s補正済み |
| UI-Venus-2 9B | 8.95B | 8bit（Q8_0） | 9.9GB | 快適 | 約74 tok/s補正済み |
| Fara1.5 9B | 8.95B | 8bit（Q8_0） | 9.9GB | 快適 | 約74 tok/s補正済み |
| Granite 4.2 8B | 8.79B | 8bit（Q8_0） | 11GB | 快適 | 約71 tok/s補正済み |
| GLM-4.6V-Flash 9B | 9.4B | 8bit（Q8_0） | 10GB | 快適 | 約70 tok/s補正済み |
| PLaMo 2 Translate | 9.53B | 8bit（Q8_0） | 10GB | 快適 | 約69 tok/s補正済み |
| Granite 4.0 H-Small 32B-A9B | 32.21B アクティブ9B | 5bit（Q5_K_M） | 23GB | 快適 | 約66 tok/s補正済み |
| Gemma-2-Llama-Swallow 9B | 9.24B | 8bit（Q8_0） | 12GB | 快適 | 約65 tok/s補正済み |
| Gemma 2 9B | 9.24B | 8bit（Q8_0） | 12GB | 快適 | 約65 tok/s補正済み |
| Mixtral 8x7B | 46.7B アクティブ13B | 3bit（Q3_K_M） | 23GB | 快適 | 約63 tok/s補正済み |
| RakutenAI-2.0 8x7B | 46.83B アクティブ13B | 3bit（Q3_K_M） | 23GB | 快適 | 約63 tok/s補正済み |
| Tanuki-8x8B | 46.97B アクティブ13B | 3bit（Q3_K_M） | 23GB | 快適 | 約63 tok/s補正済み |
| Gemma 4 12B | 11.91B | 8bit（Q8_0） | 13GB | 快適 | 約55 tok/s補正済み |
| Gemma 3 12B | 11.77B | 8bit（Q8_0） | 13GB | 快適 | 約55 tok/s補正済み |
| Nemotron Nano 12B v2 | 12.31B | 8bit（Q8_0） | 13GB | 快適 | 約54 tok/s補正済み |
| Mistral Nemo Japanese 12B | 12.25B | 8bit（Q8_0） | 14GB | 快適 | 約52 tok/s補正済み |
| Mistral Nemo 12B | 12.25B | 8bit（Q8_0） | 14GB | 快適 | 約52 tok/s補正済み |
| Ministral 3 14B | 13.51B | 8bit（Q8_0） | 16GB | 快適 | 約47 tok/s補正済み |
| ABEJA Qwen3 14B Agentic | 14.77B | 8bit（Q8_0） | 17GB | 快適 | 約44 tok/s補正済み |
| Qwen3 14B | 14.77B | 8bit（Q8_0） | 17GB | 快適 | 約44 tok/s補正済み |
| Shisa V2.1 unphi4 14B | 14.66B | 8bit（Q8_0） | 17GB | 快適 | 約43 tok/s補正済み |
| Phi-4 14B | 14.66B | 8bit（Q8_0） | 17GB | 快適 | 約43 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 14B | 14.77B | 8bit（Q8_0） | 17GB | 快適 | 約43 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 14B Japanese | 14.77B | 8bit（Q8_0） | 17GB | 快適 | 約43 tok/s補正済み |
| Qwen2.5-Coder 14B | 14.77B | 8bit（Q8_0） | 17GB | 快適 | 約43 tok/s補正済み |
| Qwen2.5 14B | 14.77B | 8bit（Q8_0） | 17GB | 快適 | 約43 tok/s補正済み |
| LLM-jp-3.1 13B | 13.71B | 8bit（Q8_0） | 21GB | 快適 | 約40 tok/s補正済み |
| Codestral 22B | 22.25B | 6bit（Q6_K） | 20GB | 快適 | 約37 tok/s補正済み |
| Muse-Glimmer 30B | 27.85B | 5bit（Q5_K_M） | 19GB | 快適 | 約37 tok/s補正済み |
| Devstral Small 2 24B | 23.57B | 6bit（Q6_K） | 20GB | 快適 | 約36 tok/s補正済み |
| Magistral Small 2509 | 23.57B | 6bit（Q6_K） | 20GB | 快適 | 約36 tok/s補正済み |
| EXAONE 4.0.1 32B | 32B | 4bit（Q4_K_M） | 20GB | 快適 | 約36 tok/s補正済み |
| Devstral Small 2507 | 23.57B | 6bit（Q6_K） | 20GB | 快適 | 約36 tok/s補正済み |
| Mistral Small 3.2 24B | 23.57B | 6bit（Q6_K） | 20GB | 快適 | 約36 tok/s補正済み |
| Olmo 3.1 32B | 32.23B | 4bit（Q4_K_M） | 20GB | 快適 | 約35 tok/s補正済み |
| Aya Expanse 32B | 32.3B | 4bit（Q4_K_M） | 21GB | 快適 | 約35 tok/s補正済み |
| Gemma-2-Llama-Swallow 27B | 27.23B | 5bit（Q5_K_M） | 21GB | 快適 | 約35 tok/s補正済み |
| Qwen3-VL 32B | 32.76B | 4bit（Q4_K_M） | 21GB | 快適 | 約34 tok/s補正済み |
| Qwen3 32B | 32.76B | 4bit（Q4_K_M） | 21GB | 快適 | 約34 tok/s補正済み |
| AREX-2 27B | 26.9B | 5bit（Q5_K_M） | 21GB | 快適 | 約34 tok/s補正済み |
| ABEJA Qwen2.5 32B Japanese | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| ELYZA-Shortcut-1.0 Qwen 32B | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| ELYZA-Thinking-1.0 Qwen 32B | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| Qwen2.5-VL 32B | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 32B | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| DeepSeek-R1 Distill Qwen 32B Japanese | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| KARAKURI LM 32B Thinking | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| Qwen2.5-Coder 32B | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| Qwen2.5 32B | 32.76B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| LLM-jp-4 33B thinking | 33.22B | 4bit（Q4_K_M） | 22GB | 快適 | 約34 tok/s補正済み |
| Granite 4.2 30B | 29.28B | 5bit（Q5_K_M） | 23GB | 快適 | 約32 tok/s補正済み |
| Qwen3.8 27B | 27.32B | 6bit（Q6_K） | 22GB | 快適 | 約32 tok/s補正済み |
| Gemma 4 31B | 30.7B | 5bit（Q5_K_M） | 23GB | 快適 | 約32 tok/s補正済み |
| Qwen3.5 27B | 26.9B | 6bit（Q6_K） | 23GB | 快適 | 約31 tok/s補正済み |
| Gemma 3 27B | 27.01B | 6bit（Q6_K） | 23GB | 快適 | 約31 tok/s補正済み |
| Qwen3.6 27B | 26.9B | 6bit（Q6_K） | 23GB | 快適 | 約31 tok/s補正済み |
| Seed-OSS 36B | 36.15B | 4bit（Q4_K_M） | 23GB | 快適 | 約31 tok/s補正済み |
| UI-Mate 27B | 26.9B | 6bit（Q6_K） | 23GB | 快適 | 約30 tok/s補正済み |
| Fara1.5 27B | 26.9B | 6bit（Q6_K） | 23GB | 快適 | 約30 tok/s補正済み |
あと少しで収まらないモデル
最も小さい量子化にしても、この容量には収まらなかったモデルです。不足分が小さいものは、コンテキスト長を4,096に絞れば収まることがあります。
| モデル | パラメータ | 必要（最小量子化） | 不足 |
|---|---|---|---|
| Qwen3-Coder-Next 80B-A3B | 79.67B | 25GB | あと1.1GB |
| Shisa V2.1 Llama 3.3 70B | 70.55B | 26GB | あと2.6GB |
| Llama 3.3 Swallow 70B | 70.55B | 26GB | あと2.6GB |
| DeepSeek-R1 Distill Llama 70B | 70.55B | 26GB | あと2.6GB |
| Llama 3.3 70B | 70.55B | 26GB | あと2.6GB |
| Llama 3 Youko 70B | 70.55B | 26GB | あと2.6GB |
| Llama 3.1 70B | 70.55B | 26GB | あと2.6GB |
| Llama 3.1 70B Japanese | 70.55B | 26GB | あと2.6GB |
| Hunyuan-A13B 80B | 80.39B | 26GB | あと2.7GB |
| Qwen3-Next 80B-A3B | 79.67B | 29GB | あと5.2GB |
| Qwen2.5 72B | 72.71B | 31GB | あと7.6GB |
| Nemotron 3.5 Lightning 30B-A3B | 31.58B | 33GB | あと9.3GB |
1段上のVRAM 32GBにすると何が増えるか
VRAM 24GBからVRAM 32GB（RTX 5090）に上げると、新たに11モデルが動くようになります。買い替えや構成の検討で、その差額に見合うかを判断する材料にしてください。
| 新たに動くモデル | パラメータ | 量子化 | 必要 |
|---|---|---|---|
| Hunyuan-A13B 80B | 80.39B | 2bit（Q2_K） | 29GB |
| Qwen3-Coder-Next 80B-A3B | 79.67B | 2bit（Q2_K） | 29GB |
| Qwen3-Next 80B-A3B | 79.67B | 2bit（Q2_K） | 29GB |
| Qwen2.5 72B | 72.71B | 2bit（IQ2_M） | 31GB |
| Shisa V2.1 Llama 3.3 70B | 70.55B | 2bit（Q2_K） | 28GB |
| Llama 3.3 Swallow 70B | 70.55B | 2bit（Q2_K） | 28GB |
| DeepSeek-R1 Distill Llama 70B | 70.55B | 2bit（Q2_K） | 28GB |
| Llama 3.3 70B | 70.55B | 2bit（Q2_K） | 28GB |
| Llama 3 Youko 70B | 70.55B | 2bit（Q2_K） | 28GB |
| Llama 3.1 70B | 70.55B | 2bit（Q2_K） | 28GB |
| Llama 3.1 70B Japanese | 70.55B | 2bit（Q2_K） | 28GB |
この容量での選び方
この容量まで来ると、量子化を落とさないと収まらないモデルは1本だけになります。RakutenAI-2.0 8x7BのQ3_K_M（必要23.2GB・推定62.6tok/s）で、4bitにするには32GBが必要。残りは4bit以上で選べるので、判断は精度ではなく速度へ移ります。
日本語で普段使うならQwen3.5 35B-A3BのQ4_K_M（推定214.7tok/s）、じっくり考えさせるならSeed-OSS 36BのQ4_K_M（推定31.2tok/s）。同じ36B前後で6倍以上の開きがあります。Seed-OSS側は必要23.4GBで余白がほぼ残らないため、長い入力を渡す日はBigBang v1 35BのQ4_K_M（必要21.6GB）へ切り替えるのが無難です。
この容量で足りるAI用途
手元で動かすAIの用途ごとに、VRAM 24GBが要件を満たすかどうかです。クラウドで動くAI（ChatGPT・Claude・Gemini）はどの機種でも使えるので含めていません。
| 用途 | 必要な容量 | VRAM 24GBでは |
|---|---|---|
| Stable Diffusion / SDXL | VRAM 12GB | 快適 |
| FLUX / 高品質画像生成 | VRAM 16GB | 快適 |
| 動画生成AI（Wan / Hunyuan / LTX） | VRAM 24GB | 快適 |
| ローカルLLM（8Bクラス） | VRAM 8GB | 快適 |
| ローカルLLM（27〜32Bクラス） | VRAM 24GB | 快適 |
| ローカルLLM（70B〜120B MoE） | VRAM 40GB | 動かない あと16GB |
| 文字起こし（Whisper） | VRAM 6GB | 快適 |
コンテキスト長をどこまで伸ばせるか
この容量で問題になりやすいのが、一度に読ませる文章の長さ。長くするほどKVキャッシュがメモリを食い、同じモデルでも収まらなくなります。この容量に収まるモデルのうち最も大きいSeed-OSS 36B（4bit（Q4_K_M）・ファイル20GB）で計算すると、次のようになります。
| コンテキスト | KVキャッシュ | 必要合計 | 実効24GBに |
|---|---|---|---|
| 4,096 | 1.0GB | 22GB | 収まる |
| 8,192 | 2.0GB | 23GB | 収まる |
| 32,768 | 8.0GB | 29GB | 溢れる |
| 131,072 | 32GB | 53GB | 溢れる |
このモデルが収まるのは、8,192トークンまで。32,768トークンにすると溢れるので、そこから先はKVキャッシュを8bitに量子化する（必要量がおおむね半分になる）か、1つ小さいモデルに替えるかの判断です。
実際のツール（Ollama・LM Studio・llama.cpp）では既定のコンテキスト長が2,048〜8,192のことが多く、伸ばすときは設定で明示します。長い文書を渡す予定があるなら、どの長さまで使うかを先に決めてからモデルを選びましょう。
VRAM 24GBのPC・Macを買うなら
PR: 以下はAmazonアソシエイトの広告リンクを含みます。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
ぴったりMac
Mac mini M4 Pro（メモリ48GB・SSD 1TB）
30BクラスのローカルLLMとエージェント並列運用を1台で。コスパの中心
M4 Pro・ユニファイドメモリ48GB・SSD 1TB・帯域273GB/s ・ 目安 30〜36万円
要件を満たす中で最も手頃
余裕を持つならMac
Mac mini M4 Pro（メモリ64GB・SSD 1TB）
70BクラスのローカルLLMまで。同じ価格帯のGeForce機より大きいモデルまで動く
M4 Pro・ユニファイドメモリ64GB・SSD 1TB ・ 目安 36〜42万円
将来の用途拡張（大きなモデル・並列エージェント）に余裕
別の形なら常時稼働サーバー型
Ryzen AI Max+ 395 ミニPC（メモリ128GB）
Windows/Linuxで128GBの共有メモリ。GPU側に96GBを割り当てれば、gpt-oss-120bや70Bクラスを常時サーバとして動かせる
Ryzen AI Max+ 395・LPDDR5X 128GB（256GB/s）・NVMe 2TB ・ 目安 32〜48万円
Windowsで同じ仕事をするなら
よくある質問
VRAM 24GBで動くローカルLLMは何本？
当サイト収録の204モデルのうち、4bit（標準的な量子化）で158本がメモリに収まります。量子化を落とせば162本まで増えます。最大はSeed-OSS 36B（36.15B）です。
VRAM 24GBで画像生成はできる？
FLUXのfp8版まで動きます。SDXLはControlNetを重ねても余裕があります。
1段上のVRAM 32GBにすると何が変わる？
新たに11モデルが動くようになります。Hunyuan-A13B 80B、Qwen3-Coder-Next 80B-A3B、Qwen3-Next 80B-A3Bなどです。