Llama 3.3 70B を動かすPCスペック(必要VRAM・メモリ・速度の目安)
70B dense。VRAM 48GB以上かMac 64GB以上
量子化別の必要メモリ
ファイルサイズは Hugging Face(bartowski/Llama-3.3-70B-Instruct-GGUF) の実サイズ(事実)。KVキャッシュは8,192トークン・fp16でモデル構造(80層)から計算。必要メモリ合計には計算バッファを含みます。
| 量子化 | ファイル | KV(8k) | 必要合計 | GPUなら | Macなら |
|---|---|---|---|---|---|
| 2bit(IQ2_M) 品質劣化大。最後の手段 | 22GB | 2.5GB | 26GB | VRAM 32GB〜 | 48GB〜 |
| 2bit(Q2_K) 品質劣化大。最後の手段 | 25GB | 2.5GB | 28GB | VRAM 32GB〜 | 48GB〜 |
| 3bit(IQ3_M) メモリ優先 | 30GB | 2.5GB | 34GB | GPU単体では不可 | 48GB〜 |
| 3bit(Q3_K_M) メモリ優先 | 32GB | 2.5GB | 36GB | GPU単体では不可 | 48GB〜 |
| 4bit(IQ4_XS) Q4_K_Mより一回り小さい | 35GB | 2.5GB | 39GB | GPU単体では不可 | 64GB〜 |
| 4bit(Q4_K_M) 標準。迷ったらこれ | 40GB | 2.5GB | 44GB | GPU単体では不可 | 64GB〜 |
| 5bit(Q5_K_M) 品質重視 | 47GB | 2.5GB | 51GB | GPU単体では不可 | 96GB〜 |
| 6bit(Q6_K) ほぼ無劣化 | 54GB | 2.5GB | 59GB | GPU単体では不可 | 96GB〜 |
| 8bit(Q8_0) 無劣化に近い | 70GB | 2.5GB | 75GB | GPU単体では不可 | 128GB〜 |
| 16bit(F16) 元精度 | 131GB | 2.5GB | 138GB | GPU単体では不可 | 192GB〜 |
4bit(Q4_K_M)が動く機種と推定速度
速度はテキスト生成(tok/s)の推定。「較正」= 同機種のllama.cpp公開ベンチマークで実効係数を合わせた推定、「推定」= 同系統機種の係数を流用。10 tok/s で人が読む速さの約2倍です。
快適 20 tok/s以上(0機種)
- なし
実用 8〜20 tok/s(10機種)
- Apple M2 Ultra(64GB) 約11 tok/s較正
- Apple M2 Ultra(128GB) 約11 tok/s較正
- Apple M2 Ultra(192GB) 約11 tok/s較正
- Apple M3 Ultra(96GB) 約10 tok/s較正
- Apple M3 Ultra(256GB) 約10 tok/s較正
- Apple M3 Ultra(512GB) 約10 tok/s較正
- Apple M1 Ultra(64GB) 約9.8 tok/s較正
- Apple M1 Ultra(128GB) 約9.8 tok/s較正
- Apple M4 Max(64GB) 約8.8 tok/s較正
- Apple M4 Max(128GB) 約8.8 tok/s較正
遅い 載るが遅い(8機種)
- Apple M3 Max(64GB) 約7.0 tok/s較正
- Apple M3 Max(96GB) 約7.0 tok/s較正
- Apple M3 Max(128GB) 約7.0 tok/s較正
- Apple M2 Max(64GB) 約6.8 tok/s較正
- Apple M2 Max(96GB) 約6.8 tok/s較正
- Apple M1 Max(64GB) 約6.6 tok/s較正
- Apple M4 Pro(64GB) 約5.0 tok/s較正
- AMD Ryzen AI Max+ 395(Strix Halo)(メモリ128GB) 約3.5 tok/s推定
CPUオフロードで動く(6機種・システムメモリ32GB想定)
- GeForce RTX 5090 約3.0 tok/s較正
- GeForce RTX 3090 Ti 約1.9 tok/s較正
- GeForce RTX 4090 約1.9 tok/s較正
- GeForce RTX 5090 Laptop 約1.9 tok/s推定
- GeForce RTX 3090 約1.8 tok/s較正
- Radeon RX 7900 XTX 約1.8 tok/s推定
動かない機種(82)を見る
- GeForce RTX 3060 12GB あと32GB
- GeForce RTX 3060 Ti あと36GB
- GeForce RTX 3070 あと36GB
- GeForce RTX 3070 Ti あと36GB
- GeForce RTX 3080 10GB あと34GB
- GeForce RTX 3080 12GB あと32GB
- GeForce RTX 3080 Ti あと32GB
- GeForce RTX 4060 あと36GB
- GeForce RTX 4060 Ti 8GB あと36GB
- GeForce RTX 4060 Ti 16GB あと28GB
- GeForce RTX 4070 あと32GB
- GeForce RTX 4070 SUPER あと32GB
- GeForce RTX 4070 Ti あと32GB
- GeForce RTX 4070 Ti SUPER あと28GB
- GeForce RTX 4080 あと28GB
- GeForce RTX 4080 SUPER あと28GB
- GeForce RTX 5060 あと36GB
- GeForce RTX 5060 Ti 8GB あと36GB
- GeForce RTX 5060 Ti 16GB あと28GB
- GeForce RTX 5070 あと32GB
- GeForce RTX 5070 Ti あと28GB
- GeForce RTX 5080 あと28GB
- GeForce RTX 4050 Laptop あと38GB
- GeForce RTX 4060 Laptop あと36GB
- GeForce RTX 4070 Laptop あと36GB
- GeForce RTX 4080 Laptop あと32GB
- GeForce RTX 4090 Laptop あと28GB
- GeForce RTX 5060 Laptop あと36GB
- GeForce RTX 5070 Laptop あと36GB
- GeForce RTX 5070 Ti Laptop あと32GB
- GeForce RTX 5080 Laptop あと28GB
- Radeon RX 7600 あと36GB
- Radeon RX 7700 XT あと32GB
- Radeon RX 7800 XT あと28GB
- Radeon RX 7900 XT あと24GB
- Radeon RX 9060 XT 16GB あと28GB
- Radeon RX 9070 あと28GB
- Radeon RX 9070 XT あと28GB
- Apple M1(8GB) あと38GB
- Apple M1(16GB) あと33GB
- Apple M1 Pro(16GB) あと33GB
- Apple M1 Pro(32GB) あと22GB
- Apple M1 Max(32GB) あと22GB
- Apple M2(8GB) あと38GB
- Apple M2(16GB) あと33GB
- Apple M2(24GB) あと28GB
- Apple M2 Pro(16GB) あと33GB
- Apple M2 Pro(32GB) あと22GB
- Apple M2 Max(32GB) あと22GB
- Apple M3(8GB) あと38GB
- Apple M3(16GB) あと33GB
- Apple M3(24GB) あと28GB
- Apple M3 Pro(18GB) あと32GB
- Apple M3 Pro(36GB) あと20GB
- Apple M3 Max(36GB) あと20GB
- Apple M3 Max(48GB) あと7.8GB
- Apple M4(16GB) あと33GB
- Apple M4(24GB) あと28GB
- Apple M4(32GB) あと22GB
- Apple M4 Pro(24GB) あと28GB
Llama 3.3 70Bを動かせるPC・Macを今日買うなら
PR: 以下は広告リンクを含みます(Amazonアソシエイト・各社アフィリエイト)。価格の目安は執筆時点のもので変動します。価格・在庫はリンク先でご確認ください。
Ryzen AI Max+ 395 ミニPC(メモリ128GB)
Windows/Linuxで128GBユニファイド。gpt-oss-120b・70BクラスをGPU側に96GB割り当てて常時サービング
Ryzen AI Max+ 395・LPDDR5X 128GB(256GB/s)・NVMe 2TB ・ 目安 32〜48万円
要件を満たす中で最も手頃
Mac Studio M3 Ultra(メモリ512GB)をLLMサーバに
DeepSeek V3級(671B)の4bitを1台で。チームのローカルLLMサーバ
M3 Ultra・ユニファイドメモリ512GB・SSD 4TB ・ 目安 150〜200万円
将来の用途拡張(大きなモデル・並列エージェント)に余裕
Mac mini M4 Pro(メモリ64GB・SSD 1TB)
70BクラスのローカルLLMまで。同価格帯のGeForce機より載るモデルが大きい
M4 Pro・ユニファイドメモリ64GB・SSD 1TB ・ 目安 36〜42万円
Macで同じ仕事をするなら
よくある質問
Llama 3.3 70Bを動かすのに必要なVRAMは?
4bit量子化(4bit(Q4_K_M))でファイル40GB、8,192トークンのKVキャッシュを含めて約44GBが必要です。GPU単体のVRAMには載らず、Macのユニファイドメモリか複数GPUが必要です。
Llama 3.3 70BはMacで動く?
動きます。ユニファイドメモリ64GB以上のApple Silicon(例: Apple M2 Ultra(64GB))で4bit量子化が実用速度です。