RTX 40シリーズでローカルAIはどこまで動くか（2026年10月）
前世代ながら中古・在庫で狙いやすい帯。RTX 4090の24GBはいまも上位です。当サイトの204モデルのデータベースで、シリーズ内の各機種で何本動くかを並べました。
| 機種 | VRAM | 帯域幅 | 動くモデル | 快適に動く | 動く最大 |
|---|---|---|---|---|---|
| GeForce RTX 4060 | 8GB | 272 GB/s | 87 / 204 | 87 | Nemotron Nano 12B v2 |
| GeForce RTX 4060 Ti 8GB | 8GB | 288 GB/s | 87 / 204 | 87 | Nemotron Nano 12B v2 |
| GeForce RTX 4070 | 12GB | 504 GB/s | 100 / 204 | 100 | ABEJA Qwen3 14B Agentic |
| GeForce RTX 4070 SUPER | 12GB | 504 GB/s | 100 / 204 | 100 | ABEJA Qwen3 14B Agentic |
| GeForce RTX 4070 Ti | 12GB | 504 GB/s | 100 / 204 | 100 | ABEJA Qwen3 14B Agentic |
| GeForce RTX 4060 Ti 16GB | 16GB | 288 GB/s | 111 / 204 | 87 | Qwen3.8 27B |
| GeForce RTX 4070 Ti SUPER | 16GB | 672 GB/s | 111 / 204 | 111 | Qwen3.8 27B |
| GeForce RTX 4080 | 16GB | 717 GB/s | 111 / 204 | 111 | Qwen3.8 27B |
| GeForce RTX 4080 SUPER | 16GB | 736 GB/s | 111 / 204 | 111 | Qwen3.8 27B |
| GeForce RTX 4090 | 24GB | 1008 GB/s | 158 / 204 | 158 | Seed-OSS 36B |
RTX 40をAI用途で見ると
前世代ですが、AI用途では今も現実的な選択肢です。とくに4090の24GBは、単体GPUで30Bクラスを4bitで丸ごと載せられる下限に当たり、中古価格が下がりきらない理由になっています。4060 Tiの16GB版は、速度を捨てて容量を取る割り切った選び方ができます。
速度が要るなら4080以上、容量が要るなら4060 Ti 16GBか4090。中間の4070系は12GBで、14Bクラスまでという線引きになります。
容量を一段上げると何本増えるか
このシリーズの中で、VRAMの容量ごとに4bit以上で動くモデル数がどう変わるかです。同じ容量の機種が複数ある場合は、最も多く動く機種の値を採っています。
| 容量 | 4bit以上で動く | 一段下との差 | その容量で動く最大のモデル |
|---|---|---|---|
| 8GB | 87 / 204 | — | Nemotron Nano 12B v2（12.31B） |
| 12GB | 100 / 204 | +13本 | ABEJA Qwen3 14B Agentic（14.77B） |
| 16GB | 111 / 204 | +11本 | Qwen3.8 27B（27.32B） |
| 24GB | 158 / 204 | +47本 | Seed-OSS 36B（36.15B） |
差がいちばん大きいのは16GBから24GBへの一段で、ここで47本増えます。予算を積む余地があるなら、この段を越えられるかどうかが分かれ目です。
このシリーズで勧めやすい構成
4090（24GB）が今も指名で選ばれ続けています。30Bクラスを4bitでVRAMに丸ごと載せられる下限であり、画像も動画もひととおり回る。予算を抑えるなら4060 Ti 16GB版で、速度を捨てて容量を取る割り切りが成立します。中間の4070系は12GBで、14Bクラスまでという線引きです。
避けたい選び方
「上位モデルだから安心」と4080（16GB）を選ぶと、容量では4060 Ti 16GB版と同じ土俵に立ちます。速度は確かに速いものの、VRAMに載るモデルの大きさは変わりません。ローカルLLMが主目的なら、その差額を24GBに届く選択肢へ回すほうが結果につながります。
買うときの見どころ
マイニング利用歴とファンの状態を見ます。長時間フル稼働させる用途なら、購入後にサーマルパッドとグリスを入れ替える前提で予算を組んでおくと安全です。4090は補助電源コネクタの焼損事例が知られているので、ケーブルの差し込みが奥まで入るかを必ず確かめましょう。
このシリーズで何ができるか
手元で動かすAIの用途ごとに、このシリーズの何機種が要件を満たすかです。クラウドで動くAI（ChatGPT・Claude・Gemini）はどの機種でも使えるので含めていません。
| 用途 | 必要な容量 | このシリーズでは |
|---|---|---|
| Stable Diffusion / SDXL | VRAM 12GB | 8機種（最小はGeForce RTX 4070） |
| FLUX / 高品質画像生成 | VRAM 16GB | 5機種（最小はGeForce RTX 4060 Ti 16GB） |
| 動画生成AI（Wan / Hunyuan / LTX） | VRAM 24GB | 1機種（最小はGeForce RTX 4090） |
| ローカルLLM（8Bクラス） | VRAM 8GB | 10機種（最小はGeForce RTX 4060） |
| ローカルLLM（27〜32Bクラス） | VRAM 24GB | 1機種（最小はGeForce RTX 4090） |
| ローカルLLM（70B〜120B MoE） | VRAM 40GB | このシリーズでは容量が足りない |
| 文字起こし（Whisper） | VRAM 6GB | 10機種（最小はGeForce RTX 4060） |
速度の数字をどれだけ信用してよいか
このシリーズの10機種のうち、llama.cppの公開ベンチマークで速度を補正できているのは5機種です。残りは同系統の係数を流用した推定で、表では「補正済み」「推定」の印で区別しています。帯域幅は272〜1008GB/sの幅があり、上下で約3.7倍。同じモデルを載せたときの生成速度も、おおむねこの比に沿って開きます。
買う前に確認すること: 中古で買うならマイニング利用歴とファンの状態。長時間フル稼働させる用途では、購入後にサーマルパッドとグリスを見直す前提で予算を組んでおくと安全です。
量子化を落とすと、どこまで動くか
このシリーズの上位機（GeForce RTX 4090・VRAM24GB）で、標準の4bitでは溢れるものの、より小さい量子化にすれば収まるモデルです。4本あり、最大はKimi Linear 48B-A3B（49.12B）。ファイルが小さくなるぶん回答の品質は少し落ちますが、CPUオフロードで待たされるよりは実用的なことが多い選択肢です。
| モデル | パラメータ | 落とすなら | 必要 | 推定速度 |
|---|---|---|---|---|
| Kimi Linear 48B-A3B | 49.12B | 3bit（Q3_K_M） | 22GB | 約300 tok/s補正済み |
| Tanuki-8x8B | 46.97B | 3bit（Q3_K_M） | 23GB | 約63 tok/s補正済み |
| RakutenAI-2.0 8x7B | 46.83B | 3bit（Q3_K_M） | 23GB | 約63 tok/s補正済み |
| Mixtral 8x7B | 46.7B | 3bit（Q3_K_M） | 23GB | 約63 tok/s補正済み |
それでも収まらないモデルのうち、いちばん惜しいのはQwen3-Next 80B-A3Bで、VRAMがあと約24GB足りません。ここから先は、容量の大きい機種に替えるか、システムメモリへのオフロードを受け入れるかの判断になります。
同じ容量を別の系統で買うなら
VRAM24GBという容量は、他の系統でも手に入ります。動くモデルは同じで、差が出るのは速度と、CUDAが要るツールを使えるかどうかです。
| 機種 | シリーズ | 帯域幅 | この機種比 |
|---|---|---|---|
| GeForce RTX 3090 Ti | RTX 30 | 1008 GB/s | 1.00倍 |
| Radeon RX 7900 XTX | RX 7000 | 960 GB/s | 0.95倍 |
| GeForce RTX 3090 | RTX 30 | 936 GB/s | 0.93倍 |
| GeForce RTX 5090 Laptop | RTX 50 Laptop | 896 GB/s | 0.89倍 |
このシリーズの選びどころ
入口: GeForce RTX 4060（8GB）で87モデル。バランス: GeForce RTX 4060 Ti 16GB（16GB）で111モデル、その中で快適に動くのは87本。上限: GeForce RTX 4090（24GB）で158モデル。同じシリーズ内では容量の差がそのまま動くモデル数の差になり、帯域幅の差は速度に効きます。
代表的なモデルが動くか
よく使われる5本について、シリーズ内の各機種で4bit以上の量子化がメモリに収まるかどうかです。◯は収まる、△は量子化を落とせば収まる、×は収まりません。速度は推定値です。
| 機種 | Qwen3 8B 8.19B | Gemma 3 12B 11.77B | Gemma 3 27B 27.01B | gpt-oss-20b 20.91B | Llama 3.3 70B 70.55B |
|---|---|---|---|---|---|
| GeForce RTX 4060 | ◯ 31 tok/s | △ 31 tok/s | × | × | × |
| GeForce RTX 4060 Ti 8GB | ◯ 38 tok/s | △ 38 tok/s | × | × | × |
| GeForce RTX 4070 | ◯ 39 tok/s | ◯ 36 tok/s | △ 36 tok/s | × | × |
| GeForce RTX 4070 SUPER | ◯ 39 tok/s | ◯ 36 tok/s | △ 36 tok/s | × | × |
| GeForce RTX 4070 Ti | ◯ 39 tok/s | ◯ 36 tok/s | △ 36 tok/s | × | × |
| GeForce RTX 4060 Ti 16GB | ◯ 22 tok/s | ◯ 16 tok/s | △ 15 tok/s | ◯ 57 tok/s | × |
| GeForce RTX 4070 Ti SUPER | ◯ 54 tok/s | ◯ 39 tok/s | △ 36 tok/s | ◯ 140 tok/s | × |
| GeForce RTX 4080 | ◯ 59 tok/s | ◯ 42 tok/s | △ 39 tok/s | ◯ 150 tok/s | × |
| GeForce RTX 4080 SUPER | ◯ 61 tok/s | ◯ 44 tok/s | △ 41 tok/s | ◯ 160 tok/s | × |
| GeForce RTX 4090 | ◯ 76 tok/s | ◯ 55 tok/s | ◯ 31 tok/s | ◯ 200 tok/s | × |
容量ごとの詳細
他のシリーズと比べる
| シリーズ | 最上位の機種 | 容量 | 帯域幅 | 動くモデル |
|---|---|---|---|---|
| RTX 40（このページ） | GeForce RTX 4090 | 24GB | 1008 GB/s | 158 |
| RTX 50 | GeForce RTX 5090 | 32GB | 1792 GB/s | 162 |
| RTX 30 | GeForce RTX 3090 | 24GB | 936 GB/s | 158 |
| RTX 20 | GeForce RTX 2060 12GB | 12GB | 336 GB/s | 100 |
| RTX Ada | RTX 6000 Ada | 48GB | 960 GB/s | 174 |
| RTX 50 Laptop | GeForce RTX 5090 Laptop | 24GB | 896 GB/s | 158 |
| RTX 40 Laptop | GeForce RTX 4090 Laptop | 16GB | 576 GB/s | 111 |
よくある質問
RTX 40シリーズでAI用途に選ぶならどれ？
VRAMの容量で決まります。当サイトのデータでは、GeForce RTX 4060 Ti 16GBが111モデル（その中で快適に動くのは87本）で、容量あたりの選択肢が広い位置です。GeForce RTX 4090なら158モデルまで広がります。
RTX 40で動く最大のモデルは？
GeForce RTX 4090でSeed-OSS 36B（36.15B）まで4bitで動きます。
同じ型番でVRAM容量が違うことはありますか？
あります。RTX 4060 Tiは8GB版と16GB版、RTX 3080は10GB版と12GB版があり、AI用途では別物として扱う必要があります。購入時は型番の末尾の容量まで確認してください。