AI PCナビ使うAIと、させたい仕事に合うPC・Macを。
トップ › 量子化別 › Q6_K

Q6_Kとは — 必要メモリと選びどころ（2026年10月）

6bit量子化。元のモデルとの差はほとんど測定できない水準とされます。

6.6平均ビット数
41%元のbf16に対するサイズ
188この形式が公開されているモデル（全204本中）
99VRAM 16GBに載る数

どういう仕組みか

平均6.6ビット前後。ファイルはQ4_K_Mの約1.4倍、Q8_0の約8割です。品質を優先しつつQ8よりは軽くしたい、という位置づけになります。

品質はどう変わるか

実用上の劣化はほぼないと扱われます。ここから上に上げても、ファイルサイズと速度の代償に見合う品質差は得にくい。

選ぶ場面

メモリが潤沢で、量子化による劣化の可能性を排除したいとき。研究用途や、出力を機械的に評価する用途で選ばれます。

近い形式との使い分け

8bitに近い品質を、8bitより小さいファイルで得られる位置です。5bitとの差はわずかで、容量に余裕があるなら選んで損はありません。ただし、この差が体感に出る用途は限られます。

つまずきどころ

容量を使い切ってKVキャッシュが足りなくなると、長い文書を読ませたときに溢れます。ビット数を上げることと、コンテキストを伸ばすことは、同じメモリを取り合う関係にあります。

品質が落ちたと感じたときの確かめ方

5bitと6bitの差を体感するのは難しいのが実情です。差が出るとすれば、複雑な推論や長いコードの生成。日常の用途で違いが分からないなら、5bitに落として空いた容量をコンテキストに回すほうが実利があります。

同じモデルを他の形式にすると

この形式が配布されているモデルのうち最も大きいMistral Large 3 675B（673.42B）を例に、形式を変えたときのファイルサイズを並べます。Q6_Kのときが515GBです。

形式平均ビットファイルQ6_Kとの差
Q2_K2.6230GB285GB
IQ2_M2.7219GB296GB
Q3_K_M3.9300GB216GB
IQ4_XS4.3335GB180GB
Q4_K_M4.8379GB136GB
Q5_K_M5.7445GB70GB
Q6_K（このページ）6.6515GB—
Q8_08.5667GB+151GB

同じモデルでも形式でこれだけ変わります。あと数GBで手元の容量に載らない、というときは、モデルを替える前にこの表の1段下を試すほうが早いことがあります。コンテキスト長を伸ばす余地も、ここで決まります。

容量別に何本動くか

メモリ容量Q6_Kで収まるモデル数
VRAM 8GB / Mac 8GB相当（実効5.4GB）41 / 188
VRAM 12GB / Mac 12GB相当（実効8.0GB）67 / 188
VRAM 16GB / Mac 16GB相当（実効11GB）88 / 188
VRAM 24GB / Mac 24GB相当（実効16GB）99 / 188
VRAM 32GB / Mac 32GB相当（実効21GB）106 / 188
Mac 48GB相当（実効36GB）154 / 188
Mac 64GB相当（実効48GB）158 / 188
Mac 128GB相当（実効96GB）170 / 188

Q6_Kでの必要メモリ一覧（188モデル）

ファイルサイズはHugging Faceの実サイズ、必要メモリはそれにKVキャッシュ（8,192トークン）と計算バッファを足した値です。

モデルパラメータファイル必要メモリ動く最小のGPU動く最小のMac
Gemma 3 270M0.27B0.3GB0.8GBVRAM 4GB〜8GB〜
Qwen2.5 0.5B0.49B0.5GB1.1GBVRAM 4GB〜8GB〜
Qwen3.5 0.8B0.77B0.6GB1.3GBVRAM 4GB〜8GB〜
Gemma 3 1B1B0.9GB1.5GBVRAM 4GB〜8GB〜
LFM2.5 1.2B JP1.17B0.9GB1.5GBVRAM 4GB〜8GB〜
Sarashina2.2 0.5B0.79B0.6GB1.6GBVRAM 4GB〜8GB〜
Llama 3.2 1B1.24B1.0GB1.7GBVRAM 4GB〜8GB〜
Qwen3 0.6B0.6B0.5GB1.8GBVRAM 4GB〜8GB〜
TinySwallow 1.5B1.54B1.2GB1.9GBVRAM 4GB〜8GB〜
EXAONE 4.0 1.2B1.28B1.0GB2.0GBVRAM 4GB〜8GB〜
RakutenAI-2.0 mini1.53B1.2GB2.1GBVRAM 4GB〜8GB〜
Qwen2.5 1.5B1.78B1.4GB2.1GBVRAM 4GB〜8GB〜
Qwen3.5 2B1.94B1.6GB2.2GBVRAM 4GB〜8GB〜
Sarashina2.2 1B1.41B1.1GB2.3GBVRAM 4GB〜8GB〜
Qwen3 1.7B1.72B1.3GB2.7GBVRAM 4GB〜8GB〜
Qwen3-VL 2B1.72B1.3GB2.7GBVRAM 4GB〜8GB〜
LFM2.5-VL 3B2.7B2.1GB2.8GBVRAM 4GB〜8GB〜
LFM2.5 2.6B2.7B2.1GB2.8GBVRAM 4GB〜8GB〜
MiniCPM5 2B2.52B2.0GB2.8GBVRAM 4GB〜8GB〜
Gemma 2 Baku 2B2.61B2.0GB3.2GBVRAM 4GB〜8GB〜
Qwen2.5-VL 3B3.09B2.4GB3.2GBVRAM 4GB〜8GB〜
Qwen2.5 3B3.09B2.4GB3.2GBVRAM 4GB〜8GB〜
Qwen2.5-Coder 3B3.09B2.4GB3.2GBVRAM 4GB〜8GB〜
LLM-jp-3.1 1.8B1.87B1.4GB3.5GBVRAM 4GB〜8GB〜
SmolLM3 3B3.08B2.4GB3.5GBVRAM 4GB〜8GB〜
Gemma 3 4B3.88B3.0GB3.8GBVRAM 6GB〜8GB〜
Llama 3.2 3B3.21B2.5GB3.9GBVRAM 6GB〜8GB〜
Ministral 3 3B3.43B2.6GB4.0GBVRAM 6GB〜8GB〜
Granite 4.2 3B3.66B2.9GB4.1GBVRAM 6GB〜8GB〜
Qwen3.5 4B4.21B3.3GB4.1GBVRAM 6GB〜8GB〜
AREX-Turbo 4B4.21B3.4GB4.3GBVRAM 6GB〜8GB〜
Fara1.5 4B4.21B3.4GB4.3GBVRAM 6GB〜8GB〜
Sarashina2.2 3B3.36B2.6GB4.4GBVRAM 6GB〜8GB〜
Nemotron 3 Nano 4B3.97B3.8GB4.5GBVRAM 6GB〜8GB〜
Phi-4-mini 3.8B3.84B2.9GB4.5GBVRAM 6GB〜8GB〜
Nanbeige4.2 3B4.17B3.3GB4.6GBVRAM 6GB〜8GB〜
Gemma 3n E2B4.46B3.9GB4.7GBVRAM 6GB〜8GB〜
AFM-4.5B4.62B3.5GB4.7GBVRAM 6GB〜8GB〜
Qwen3 4B4.02B3.1GB4.8GBVRAM 6GB〜8GB〜
Qwen3-VL 4B4.02B3.1GB4.8GBVRAM 6GB〜8GB〜
Gemma 4 E2B4.65B4.2GB4.9GBVRAM 6GB〜8GB〜
Granite 4.0 H-Tiny6.94B5.3GB6.1GBVRAM 8GB〜16GB〜
Phi-3.5-mini 3.8B3.82B2.9GB6.5GBVRAM 8GB〜16GB〜
Gemma 3n E4B6.87B5.8GB6.7GBVRAM 8GB〜16GB〜
Falcon-H1R 7B7.59B5.8GB6.8GBVRAM 8GB〜16GB〜
Qwen2.5-VL 7B7.62B5.8GB6.9GBVRAM 8GB〜16GB〜
DeepSeek-R1 Distill Qwen 7B7.62B5.8GB6.9GBVRAM 8GB〜16GB〜
ELYZA-Shortcut-1.0 Qwen 7B7.62B5.8GB6.9GBVRAM 8GB〜16GB〜
ABEJA Qwen2.5 7B Japanese7.62B5.8GB6.9GBVRAM 8GB〜16GB〜
Qwen2.5 7B7.62B5.8GB6.9GBVRAM 8GB〜16GB〜
Qwen2.5-Coder 7B7.62B5.8GB6.9GBVRAM 8GB〜16GB〜
Ling 3.0 tiny7.89B6.4GB7.2GBVRAM 8GB〜16GB〜
Mistral 7B v0.37.25B5.5GB7.2GBVRAM 8GB〜16GB〜
CAT-Translate 7B7.49B5.7GB7.4GBVRAM 8GB〜16GB〜
LFM2.5 8B-A1B8.47B6.6GB7.4GBVRAM 8GB〜16GB〜
Hunyuan 7B7.5B5.7GB7.4GBVRAM 8GB〜16GB〜
Tanuki-8B7.51B5.7GB7.4GBVRAM 8GB〜16GB〜
Command R7B8.03B6.1GB7.5GBVRAM 8GB〜16GB〜
Gemma 4 E4B7.52B6.6GB7.5GBVRAM 10GB〜16GB〜
Llama 3 Youko 8B8.03B6.1GB7.8GBVRAM 10GB〜16GB〜
Llama 3.1 Swallow 8B8.03B6.1GB7.8GBVRAM 10GB〜16GB〜
DeepSeek-R1 Distill Llama 8B8.03B6.1GB7.8GBVRAM 10GB〜16GB〜
Llama 3.1 8B8.03B6.1GB7.8GBVRAM 10GB〜16GB〜
Aya Expanse 8B8.03B6.1GB7.8GBVRAM 10GB〜16GB〜
Apertus 8B8.05B6.2GB7.8GBVRAM 10GB〜16GB〜
Qwen3.5 9B8.95B6.9GB7.9GBVRAM 10GB〜16GB〜
Ornith 1.0 9B8.95B7.0GB7.9GBVRAM 10GB〜16GB〜
Qwen3 8B8.19B6.3GB8.1GBVRAM 10GB〜16GB〜
Shisa V2.1 Qwen3 8B8.19B6.3GB8.1GBVRAM 10GB〜16GB〜
DeepSeek-R1-0528 Qwen3 8B8.19B6.3GB8.1GBVRAM 10GB〜16GB〜
Qwen3-Swallow 8B8.19B6.3GB8.1GBVRAM 10GB〜16GB〜
Qwen3-VL 8B8.19B6.3GB8.1GBVRAM 10GB〜16GB〜
UI-Venus-2 9B8.95B7.2GB8.1GBVRAM 10GB〜16GB〜
Ornith 1.5 9B8.95B7.2GB8.1GBVRAM 10GB〜16GB〜
UI-Mate 9B8.95B7.2GB8.1GBVRAM 10GB〜16GB〜
Fara1.5 9B8.95B7.2GB8.1GBVRAM 10GB〜16GB〜
MiMo-V2.6-Distill-Qwen-9B8.95B7.3GB8.2GBVRAM 10GB〜16GB〜
Ministral 3 8B8.49B6.5GB8.3GBVRAM 10GB〜16GB〜
PLaMo 2 Translate9.53B7.3GB8.3GBVRAM 10GB〜16GB〜
LLM-jp-4 8B thinking8.59B6.6GB8.3GBVRAM 10GB〜16GB〜
GLM-4.6V-Flash 9B9.4B7.7GB8.7GBVRAM 10GB〜16GB〜
Granite 4.2 8B8.79B7.0GB9.0GBVRAM 10GB〜16GB〜
Nemotron-Nano 9B v2 Japanese8.89B8.5GB9.4GBVRAM 10GB〜16GB〜
Gemma 2 9B9.24B7.1GB9.7GBVRAM 11GB〜16GB〜
Gemma-2-Llama-Swallow 9B9.24B7.1GB9.7GBVRAM 11GB〜16GB〜
Gemma 4 12B11.91B9.1GB10GBVRAM 11GB〜16GB〜
Nemotron Nano 12B v212.31B9.4GB10GBVRAM 11GB〜16GB〜
Gemma 3 12B11.77B9.0GB11GBVRAM 12GB〜16GB〜
Mistral Nemo 12B12.25B9.4GB11GBVRAM 12GB〜18GB〜
Mistral Nemo Japanese 12B12.25B9.4GB11GBVRAM 12GB〜18GB〜
Ministral 3 14B13.51B10GB12GBVRAM 16GB〜24GB〜
Qwen3 14B14.77B11GB13GBVRAM 16GB〜24GB〜
ABEJA Qwen3 14B Agentic14.77B11GB13GBVRAM 16GB〜24GB〜
Phi-4 14B14.66B11GB14GBVRAM 16GB〜24GB〜
Shisa V2.1 unphi4 14B14.66B11GB14GBVRAM 16GB〜24GB〜
DeepSeek-R1 Distill Qwen 14B14.77B11GB14GBVRAM 16GB〜24GB〜
DeepSeek-R1 Distill Qwen 14B Japanese14.77B11GB14GBVRAM 16GB〜24GB〜
Qwen2.5 14B14.77B11GB14GBVRAM 16GB〜24GB〜
Qwen2.5-Coder 14B14.77B11GB14GBVRAM 16GB〜24GB〜
LLM-jp-3.1 13B13.71B10GB18GBVRAM 20GB〜32GB〜
ERNIE 4.5 21B-A3B Thinking21.83B17GB18GBVRAM 20GB〜32GB〜
Codestral 22B22.25B17GB20GBVRAM 24GB〜32GB〜
Magistral Small 250923.57B18GB20GBVRAM 24GB〜32GB〜
Mistral Small 3.2 24B23.57B18GB20GBVRAM 24GB〜32GB〜
Devstral Small 250723.57B18GB20GBVRAM 24GB〜32GB〜
Devstral Small 2 24B23.57B18GB20GBVRAM 24GB〜32GB〜
GPT-OSS-Swallow 20B20.91B21GB22GBVRAM 24GB〜36GB〜
Qwen3.8 27B27.32B20GB22GBVRAM 24GB〜36GB〜
Qwen3.5 27B26.9B21GB23GBVRAM 24GB〜36GB〜
Qwen3.6 27B26.9B21GB23GBVRAM 24GB〜36GB〜
Gemma 3 27B27.01B21GB23GBVRAM 24GB〜36GB〜
Gemma 4 26B-A4B25.23B22GB23GBVRAM 24GB〜36GB〜
Fara1.5 27B26.9B22GB23GBVRAM 24GB〜36GB〜
UI-Mate 27B26.9B22GB23GBVRAM 24GB〜36GB〜
AREX-2 27B26.9B22GB24GBVRAM 32GB〜36GB〜
Gemma-2-Llama-Swallow 27B27.23B21GB24GBVRAM 32GB〜36GB〜
GLM-4.7-Flash 30B-A3B29.94B23GB25GBVRAM 32GB〜48GB〜
Qwen3 30B-A3B30.53B23GB25GBVRAM 32GB〜48GB〜
Qwen3-Swallow 30B-A3B30.53B23GB25GBVRAM 32GB〜48GB〜
Qwen3-VL 30B-A3B30.53B23GB25GBVRAM 32GB〜48GB〜
Qwen3-Coder 30B-A3B30.53B23GB25GBVRAM 32GB〜48GB〜
North Mini Code 1.030.48B24GB25GBVRAM 32GB〜48GB〜
Granite 4.2 30B29.28B23GB26GBVRAM 32GB〜48GB〜
Granite 4.0 H-Small 32B-A9B32.21B25GB26GBVRAM 32GB〜48GB〜
Gemma 4 31B30.7B23GB26GBVRAM 32GB〜48GB〜
EXAONE 4.0.1 32B32B24GB27GBVRAM 32GB〜48GB〜
Olmo 3.1 32B32.23B25GB27GBVRAM 32GB〜48GB〜
Aya Expanse 32B32.3B25GB27GBVRAM 32GB〜48GB〜
Qwen3 32B32.76B25GB28GBVRAM 32GB〜48GB〜
Qwen3-VL 32B32.76B25GB28GBVRAM 32GB〜48GB〜
Qwen2.5-VL 32B32.76B25GB28GBVRAM 32GB〜48GB〜
DeepSeek-R1 Distill Qwen 32B32.76B25GB28GBVRAM 32GB〜48GB〜
ELYZA-Thinking-1.0 Qwen 32B32.76B25GB28GBVRAM 32GB〜48GB〜
DeepSeek-R1 Distill Qwen 32B Japanese32.76B25GB28GBVRAM 32GB〜48GB〜
ELYZA-Shortcut-1.0 Qwen 32B32.76B25GB28GBVRAM 32GB〜48GB〜
ABEJA Qwen2.5 32B Japanese32.76B25GB28GBVRAM 32GB〜48GB〜
Qwen2.5 32B32.76B25GB28GBVRAM 32GB〜48GB〜
Qwen2.5-Coder 32B32.76B25GB28GBVRAM 32GB〜48GB〜
KARAKURI LM 32B Thinking32.76B25GB28GBVRAM 32GB〜48GB〜
Qwen3.5 35B-A3B34.66B27GB28GBVRAM 32GB〜48GB〜
LLM-jp-4 33B thinking33.22B25GB29GBVRAM 32GB〜48GB〜
Laguna XS 2.1 33B-A3B33.44B27GB29GBVRAM 32GB〜48GB〜
Ornith 1.0 35B-A3B34.66B27GB29GBVRAM 32GB〜48GB〜
Qwen3.6 35B-A3B34.66B27GB29GBVRAM 32GB〜48GB〜
Qwen-AgentWorld 35B-A3B34.66B27GB29GBVRAM 32GB〜48GB〜
Nex-N2.5-mini34.66B27GB29GBVRAM 32GB〜48GB〜
XYZ-Aquila mini 35B-A3B34.66B28GB29GBVRAM 32GB〜48GB〜
KAT-Coder-V2.5-Dev 35B-A3B34.66B28GB29GBVRAM 32GB〜48GB〜
Thomson 1.0 Small 35B-A3B34.66B28GB29GBVRAM 32GB〜48GB〜
Ornith 1.5 35B-A3B35.51B28GB30GBVRAM 32GB〜48GB〜
BigBang v1 35B35.51B28GB30GBVRAM 32GB〜48GB〜
Holo4 35B-A3B34.66B29GB30GBVRAM 32GB〜48GB〜
Seed-OSS 36B36.15B28GB31GBVRAM 32GB〜48GB〜
Nemotron 3 Nano Omni 30B-A3B31.58B31GB33GBVRAM 48GB〜48GB〜
Mixtral 8x7B46.7B36GB38GBVRAM 48GB〜64GB〜
RakutenAI-2.0 8x7B46.83B36GB38GBVRAM 48GB〜64GB〜
Tanuki-8x8B46.97B36GB39GBVRAM 48GB〜64GB〜
Kimi Linear 48B-A3B49.12B38GB39GBVRAM 48GB〜64GB〜
DeepSeek-R1 Distill Llama 70B70.55B54GB59GB不可96GB〜
Llama 3.1 70B70.55B54GB59GB不可96GB〜
Llama 3.3 70B70.55B54GB59GB不可96GB〜
Shisa V2.1 Llama 3.3 70B70.55B54GB59GB不可96GB〜
Qwen3-Next 80B-A3B79.67B61GB64GB不可96GB〜
Qwen3-Coder-Next 80B-A3B79.67B61GB64GB不可96GB〜
Qwen2.5 72B72.71B60GB65GB不可96GB〜
Hunyuan-A13B 80B80.39B62GB65GB不可96GB〜
Stockmark-2 100B96B73GB79GB不可128GB〜
Llama 4 Scout 17B-16E107.77B82GB87GB不可128GB〜
Command A 111B111.06B85GB89GB不可128GB〜
Laguna S 2.1 118B-A8B117.56B91GB95GB不可128GB〜
Mistral Small 4 119B118.97B93GB96GB不可192GB〜
GLM-4.5-Air 106B-A12B110.47B92GB97GB不可192GB〜
Qwen3.5 122B-A10B122.11B94GB98GB不可192GB〜
Devstral 2 123B125.03B96GB102GB不可192GB〜
Ling 3.0 flash127.49B102GB105GB不可192GB〜
GPT-OSS-Swallow 120B116.83B116GB120GB不可192GB〜
Step-3.7-Flash196.96B152GB158GB不可256GB〜
MiniMax-M2.5 229B-A10B228.69B175GB183GB不可256GB〜
Qwen3 235B-A22B235.09B180GB187GB不可256GB〜
Inkling Small 264B263.66B204GB211GB不可512GB〜
ERNIE 4.5 300B-A47B299.48B229GB238GB不可512GB〜
Hy3 295B-A21B298.79B240GB250GB不可512GB〜
GLM-4.5 355B-A32B358.34B274GB286GB不可512GB〜
Qwen3.5 397B-A17B396.35B304GB314GB不可512GB〜
Llama 4 Maverick 17B-128E400.71B306GB317GB不可512GB〜
Qwen3-Coder 480B-A35B480.15B367GB380GB不可512GB〜
RakutenAI-3.0 671B-A37B671.03B513GB530GB不可不可
Mistral Large 3 675B673.42B515GB532GB不可不可

他の形式との比較

形式平均ビット数Q6_Kに対するサイズ位置づけ
Q4_K_M4.873%ローカルLLMで最も広く使われている量子化です
IQ4_XS4.365%Q4_K_Mより1割ほど小さい4bit量子化です
Q5_K_M5.786%4bitより一段品質に寄せた5bit量子化です
Q6_K（このページ）6.6100%6bit量子化
Q8_08.5129%8bit量子化
Q3_K_M3.959%3bit量子化
Q2_K2.639%2bit量子化
MXFP44.2564%OpenAIのgpt-ossシリーズなどが採用する4bit形式です

よくある質問

Q6_Kとは何ですか？

平均6.6ビット前後。ファイルはQ4_K_Mの約1.4倍、Q8_0の約8割です。品質を優先しつつQ8よりは軽くしたい、という位置づけになります。

Q6_Kで品質はどれくらい落ちますか？

実用上の劣化はほぼないと扱われます。ここから上に上げても、ファイルサイズと速度の代償に見合う品質差は得にくい。

Q6_Kはどんなときに選びますか？

メモリが潤沢で、量子化による劣化の可能性を排除したいとき。研究用途や、出力を機械的に評価する用途で選ばれます。

手持ちのPCで何が動くか判定する 容量別に動くモデルを見る