GPU別 動くローカルLLM一覧（GeForce / Radeon）
GeForce RTX 30/40/50・Radeon RX 7000/9000 の各GPUで動くローカルLLMと推定速度、足りないVRAMの一覧。「快適」は20 tok/s以上、「実用」は8〜20 tok/sで動くモデルの数です。
GPUでローカルAIを動かすとき、結果を決めるのはVRAMの容量です。演算性能ではありません。モデルの重みとKVキャッシュが全部VRAMに載れば動き、載らなければ動かないか、システムメモリに逃がして極端に遅くなる。この線引きが容量で決まるため、同じ世代でも8GBと16GBではできることがまったく違います。
容量の次に大事なのがメモリ帯域幅です。1トークンを生成するたびにモデルの重みを読み出すので、生成速度は帯域幅にほぼ比例します。同じ8GBのカードでも、帯域幅が2倍違えば体感速度も2倍近く変わります。当サイトはこの2つの数値から、収録している全モデルについて必要メモリと推定速度を計算しています。
もうひとつ、GeForce以外を選ぶときに必ず出てくるのがCUDAの問題です。言語モデルの推論はVulkanなどを経由してRadeonやArcでも動きますが、画像生成と動画生成のツールはCUDA前提で作られているものが多く、そのままでは動かない、あるいは有志の対応待ちになります。用途によって、選べる範囲が変わります。
GeForceとRadeonでは、メモリに収まったモデルはほぼそのまま快適に動きます。だからGPU選びで効くのはVRAMの容量で、世代でも価格でもありません。同じ16GBならRTX 5070 TiもRTX 5060 Ti 16GBもRX 9070 XTも動くモデルの数は同じで、差は1本あたりの速さに出ます。下の表の「快適」と「実用」を見比べると、その差が読めます。
条件で絞り込む
メモリ容量で絞る
世代・シリーズで絞る
同じGPUでも、結果が変わる3つの要因
VRAM容量が「動くかどうか」を決めます。モデルの重み、KVキャッシュ、計算バッファの合計が容量に収まれば動く。収まらなければ、システムメモリに逃がして数分の一の速度になるか、そもそも起動しません。この線は演算性能では動かせません。
次に大事なのがメモリ帯域幅で、これが「どれくらい速いか」を決めています。1トークン生成するたびにモデルの重みを読み出すため、生成速度は帯域幅にほぼ比例する。当サイトの推定値も、帯域幅をもとに、公開ベンチマークで補正した係数を掛けて出しています。
3つ目はCUDAが要るかどうか。使えるツールの範囲がここで決まります。言語モデルの推論はVulkanやSYCLでも動く一方、画像生成と動画生成のツールはCUDA前提のものが多く、GeForce以外では動かないか、有志の対応待ちになる。同じ容量のカードでも、用途によって候補から外れます。
この3つが分かれば、選ぶ手順はほぼ自動的に決まります。まず用途からVRAMの必要量を出し、その容量に届くカードに絞る。次にCUDAが要る用途があるかを確認して候補を狭める。最後に、残った候補のなかで帯域幅の大きいものを選ぶ。型番の数字から入ると、この順番が崩れてしまう。
このページの使い方
持っているGPU、あるいは検討しているGPUのページを開くと、収録しているモデルのうち何本がVRAMに収まるか、それぞれの推定速度、収まらないモデルとその不足量が出ます。同じ容量の他機種との比較や、容量も帯域幅も同じで結果が完全に一致する機種の名指しもあります。
機種が決まっていないなら、容量から入るほうが早い場合があります。「VRAM 16GBで何が動くか」を先に確かめ、その容量に該当するGPUを見る、という順番です。上の一覧はメモリ容量とシリーズで絞り込めます。
速度の数値には「補正済み」と「推定」のラベルを付けています。補正済みはその機種の公開ベンチマークに合わせて係数を直したもの、推定は同系統機種の係数を流用したものです。実機はこれより上下します。
よくある質問
VRAMの容量と演算性能、どちらを優先すべきですか
容量です。演算性能が高くても容量が足りなければモデルはVRAMに載りません。逆に、容量さえ足りれば、演算性能が低くても動きはします。遅いだけです。「動かない」と「遅い」の差は大きいので、まず容量で候補を絞り、そのなかで速いものを選ぶ順番になります。
同じ型番でVRAM容量が違うことはありますか
あります。RTX 4060 Tiは8GB版と16GB版、RTX 3080は10GB版と12GB版が売られており、AI用途では別物です。型番だけで判断せず、必ず仕様表で容量を確認してください。当サイトでは容量ごとに別の機種として収録しています。
RadeonやIntel Arcでもローカルモデルは動きますか
言語モデルは動きます。llama.cppがVulkanやSYCLに対応しているためで、価格あたりの容量では有利なこともあります。ただし画像生成と動画生成はCUDA前提のツールが多く、そこを目的にするなら不利です。使いたいツールがそのカードで動いた報告があるかを、購入前に確かめましょう。