GGUF量子化の種類と必要メモリの違い
同じモデルでも、量子化の形式を変えるとファイルサイズが半分にも倍にもなります。どれを選ぶかで「メモリに収まるかどうか」が決まるので、ローカルLLMではモデル選びと同じくらい重要です。当サイトの204モデルの実ファイルサイズから、形式ごとの違いをまとめました。
量子化は、モデルの重みをより少ないビット数で表す技術です。bf16で配布された30Bクラスのモデルは60GB前後になりますが、4bitに量子化すれば17〜20GBに収まる。手元のPCでローカルモデルが動くのは、この技術があるからです。
選ぶときの基本は単純で、手元の容量に収まる中で最もビット数の大きいものを選びます。4bit（Q4_K_MかIQ4_XS）が最も使われる位置で、品質とサイズのつり合いが取れています。3bit以下は品質の落ち方が急になるため、そこまで落とすくらいなら1つ小さいモデルを4bitで動かすほうが安定します。
このセクションでは、形式ごとの仕組みと選びどころ、収録しているモデルでの実ファイルサイズ、そして容量別に何本収まるかを出しています。サイズは理論値ではなく、Hugging Faceに置かれている実際のファイルサイズです。
| 形式 | 平均ビット数 | Q4_K_M比 | 位置づけ |
|---|---|---|---|
| Q4_K_M | 4.8 | 100% | ローカルLLMで最も広く使われている量子化です |
| IQ4_XS | 4.3 | 90% | Q4_K_Mより1割ほど小さい4bit量子化です |
| Q5_K_M | 5.7 | 119% | 4bitより一段品質に寄せた5bit量子化です |
| Q6_K | 6.6 | 138% | 6bit量子化 |
| Q8_0 | 8.5 | 177% | 8bit量子化 |
| Q3_K_M | 3.9 | 81% | 3bit量子化 |
| Q2_K | 2.6 | 54% | 2bit量子化 |
| MXFP4 | 4.25 | 89% | OpenAIのgpt-ossシリーズなどが採用する4bit形式です |
同じモデルで比べるとどれだけ違うか
代表的なモデルで、形式ごとのファイルサイズと必要メモリ（コンテキスト8,192トークン込み）を並べました。
Qwen3 8B（8.19B）
| 形式 | ファイル | 必要メモリ | 動く最小のGPU | 動く最小のMac |
|---|---|---|---|---|
| Q2_K | 3.1GB | 4.8GB | VRAM 6GB〜 | 8GB〜 |
| Q3_K_M | 3.8GB | 5.6GB | VRAM 8GB〜 | 16GB〜 |
| IQ4_XS | 4.2GB | 6.0GB | VRAM 8GB〜 | 16GB〜 |
| Q4_K_M | 4.7GB | 6.4GB | VRAM 8GB〜 | 16GB〜 |
| Q5_K_M | 5.4GB | 7.2GB | VRAM 8GB〜 | 16GB〜 |
| Q6_K | 6.3GB | 8.1GB | VRAM 10GB〜 | 16GB〜 |
| Q8_0 | 8.1GB | 10.0GB | VRAM 11GB〜 | 16GB〜 |
Gemma 3 27B（27.01B）
| 形式 | ファイル | 必要メモリ | 動く最小のGPU | 動く最小のMac |
|---|---|---|---|---|
| Q2_K | 9.8GB | 12GB | VRAM 16GB〜 | 18GB〜 |
| Q3_K_M | 13GB | 14GB | VRAM 16GB〜 | 24GB〜 |
| IQ4_XS | 14GB | 16GB | VRAM 20GB〜 | 24GB〜 |
| Q4_K_M | 15GB | 17GB | VRAM 20GB〜 | 32GB〜 |
| Q5_K_M | 18GB | 20GB | VRAM 24GB〜 | 32GB〜 |
| Q6_K | 21GB | 23GB | VRAM 24GB〜 | 36GB〜 |
| Q8_0 | 27GB | 29GB | VRAM 32GB〜 | 48GB〜 |
「収まる」と「使える」は別
量子化の一覧表を見ていると、ビット数を落とせばどんなモデルでも収まるように見えます。実際、2bitまで落とせば70Bクラスでも24GBに収まります。ただし、そこで得られるものが実用になるかは別の話です。
品質の落ち方は、ビット数に対して直線的ではありません。8bitから5bitまではほとんど気づかない差で、4bitでようやく「言われれば分かる」程度。ところが3bitを切ると、長い指示の取りこぼし、固有名詞の崩れ、数値の扱いの誤りがはっきり増えてきます。この落ち方の形を知っていると、表の読み方が変わります。
実務的な判断としては、同じ容量なら「1つ小さいモデルの4bit」と「大きいモデルの2bit」を比べてみることです。多くの用途では前者のほうが安定した結果になります。後者を選ぶ理由があるとすれば、そのモデルにしかない特性を使いたいときに限られます。
もうひとつ、量子化はコンテキスト長と同じメモリを取り合う関係にあります。ビット数を上げればファイルは大きくなり、KVキャッシュに回せる余地が減る。長い文書を読ませる使い方をするなら、4bitのままにしてコンテキストに容量を回す判断もあります。
同じモデルで、形式ごとにどれだけ変わるか
Mistral Large 3 675B（673.42B）を例に、配布されている形式のファイルサイズを並べました。最も大きい形式を100%としたときの割合も出しています。
| 形式 | 平均ビット | ファイル | 最大比 |
|---|---|---|---|
| Q8_0 | 8.5 | 667GB | 100% |
| Q6_K | 6.6 | 515GB | 77% |
| Q5_K_M | 5.7 | 445GB | 67% |
| Q4_K_M | 4.8 | 379GB | 57% |
| IQ4_XS | 4.3 | 335GB | 50% |
| Q3_K_M | 3.9 | 300GB | 45% |
| IQ2_M | 2.7 | 219GB | 33% |
| Q2_K | 2.6 | 230GB | 35% |
サイズは理論値ではなく、Hugging Faceに置かれている実際のファイルサイズです。同じ形式でも配布元によって数百MBの差が出ることがあります。
このページの使い方
形式ごとのページを開くと、仕組み、品質の変わり方、選ぶ場面、近い形式との使い分け、そして収録しているモデルでの実ファイルサイズが出ます。同じモデルを他の形式にしたときのサイズ比較も載せています。
手元の容量が決まっているなら、容量別のページから入るほうが早い場合があります。その容量に収まる量子化のうち、いちばん精度の高いものをモデルごとに選んで表示しています。
よくある質問
どの量子化を選べばいいですか
手元の容量に収まる中で、最もビット数の大きいものです。まず4bit（Q4_K_MかIQ4_XS）を試し、余裕があれば5bitや6bitに上げる。あと数百MB足りないなら、K系からIQ系に替えると収まることがあります。
同じ4bitなのにファイルサイズが違うのはなぜですか
埋め込み層や出力層だけを高いビット数で残す作り方があり、その分が数百MBの差になります。配布元によって方針が違うため、同じモデルの同じ量子化でもサイズが変わります。あと少し足りないときは、別の配布元を探すと収まることがあります。
量子化すると必ず品質は落ちますか
後から量子化する形式では落ちます。ただし4bit以上なら、日常的な用途で気づく差にはならないことがほとんどです。例外はMXFP4のように、モデル側が最初からその形式を前提に配布しているもので、この場合は「落ちる」という考え方が当てはまりません。
量子化されていないモデルは使えませんか
使えますが、必要な容量が数倍になります。bf16のままだと30Bクラスで60GB前後、70Bクラスなら140GB。個人の機材で動かす前提なら、量子化された版を選ぶのが現実的です。当サイトの一覧も量子化された版を基準にしています。
GGUFとは何ですか
llama.cppが使うモデルのファイル形式です。量子化された重みと、層数やKVヘッド数といった構造の情報が1つのファイルに入っています。当サイトはこのヘッダを直接読んで、KVキャッシュの必要量を計算しています。OllamaもLM Studioも、内部ではこの形式を扱っています。
配布元によってどれを選べばいいですか
同じ量子化でも作り方に差があり、ファイルサイズが数百MB変わることがあります。あと少しで収まらないときは、別の配布元の同じ形式を探すと入ることがあります。当サイトが参照している配布元は、各モデルのページに記載しています。