AI PCナビ使うAIと、させたい仕事に合うPC・Macを。
トップ › 量子化別 › Q5_K_M

Q5_K_Mとは — 必要メモリと選びどころ（2026年10月）

4bitより一段品質に寄せた5bit量子化です。メモリに余裕がある人に向いています。

5.7平均ビット数
36%元のbf16に対するサイズ
191この形式が公開されているモデル（全204本中）
98VRAM 16GBに載る数

どういう仕組みか

K-quantの5bit版。平均5.7ビット前後で、Q4_K_Mよりファイルが2割ほど大きくなります。生成速度はメモリ帯域幅で決まるため、サイズが2割増えれば速度も2割ほど落ちる計算です。

品質はどう変わるか

Q4_K_Mとの差は多くの用途で体感しにくいものの、長い文章の一貫性や指示の細かい遵守で有利とされます。同じVRAMでワンランク小さいモデルのQ5を選ぶか、大きいモデルのQ4を選ぶかは悩みどころで、当サイトのデータでは「大きいモデルのQ4」のほうが必要メモリあたりのパラメータ数で有利です。

選ぶ場面

VRAMに余裕があり、速度が十分に出ている場合。

近い形式との使い分け

4bitとの差は1モデルあたり1〜3GB、8bitとの差はその倍以上です。品質の面では4bitより安定し、8bitとの差は小さい。容量に余裕があるときに、いちばん費用対効果の高い位置にあります。

つまずきどころ

コンテキスト長を伸ばす予定があるなら、この形式を選んだ時点でKVキャッシュの余地が減ります。同じ容量なら「4bit＋長いコンテキスト」と「5bit＋短いコンテキスト」のどちらを取るかという選択になるので、使い方から逆算しましょう。

品質が落ちたと感じたときの確かめ方

4bitから上げたときに効果を感じやすいのは、長い指示の遵守と、コードの生成です。逆に短い会話では差が出にくい。自分の使い方で差が出るかを確かめてから、常用するかを決めるのが確実です。

同じモデルを他の形式にすると

この形式が配布されているモデルのうち最も大きいMistral Large 3 675B（673.42B）を例に、形式を変えたときのファイルサイズを並べます。Q5_K_Mのときが445GBです。

形式平均ビットファイルQ5_K_Mとの差
Q2_K2.6230GB215GB
IQ2_M2.7219GB226GB
Q3_K_M3.9300GB145GB
IQ4_XS4.3335GB110GB
Q4_K_M4.8379GB66GB
Q5_K_M（このページ）5.7445GB—
Q6_K6.6515GB+70GB
Q8_08.5667GB+221GB

同じモデルでも形式でこれだけ変わります。あと数GBで手元の容量に載らない、というときは、モデルを替える前にこの表の1段下を試すほうが早いことがあります。コンテキスト長を伸ばす余地も、ここで決まります。

容量別に何本動くか

メモリ容量Q5_K_Mで収まるモデル数
VRAM 8GB / Mac 8GB相当（実効5.4GB）42 / 191
VRAM 12GB / Mac 12GB相当（実効8.0GB）82 / 191
VRAM 16GB / Mac 16GB相当（実効11GB）89 / 191
VRAM 24GB / Mac 24GB相当（実効16GB）99 / 191
VRAM 32GB / Mac 32GB相当（実効21GB）116 / 191
Mac 48GB相当（実効36GB）159 / 191
Mac 64GB相当（実効48GB）159 / 191
Mac 128GB相当（実効96GB）178 / 191

Q5_K_Mでの必要メモリ一覧（191モデル）

ファイルサイズはHugging Faceの実サイズ、必要メモリはそれにKVキャッシュ（8,192トークン）と計算バッファを足した値です。

モデルパラメータファイル必要メモリ動く最小のGPU動く最小のMac
Gemma 3 270M0.27B0.2GB0.8GBVRAM 4GB〜8GB〜
Qwen2.5 0.5B0.49B0.4GB1.0GBVRAM 4GB〜8GB〜
Qwen3.5 0.8B0.77B0.6GB1.2GBVRAM 4GB〜8GB〜
Gemma 3 1B1B0.8GB1.4GBVRAM 4GB〜8GB〜
LFM2.5 1.2B JP1.17B0.8GB1.4GBVRAM 4GB〜8GB〜
Sarashina2.2 0.5B0.79B0.6GB1.5GBVRAM 4GB〜8GB〜
Llama 3.2 1B1.24B0.8GB1.6GBVRAM 4GB〜8GB〜
TinySwallow 1.5B1.54B1.0GB1.8GBVRAM 4GB〜8GB〜
Qwen3 0.6B0.6B0.4GB1.8GBVRAM 4GB〜8GB〜
EXAONE 4.0 1.2B1.28B0.9GB1.9GBVRAM 4GB〜8GB〜
RakutenAI-2.0 mini1.53B1.0GB1.9GBVRAM 4GB〜8GB〜
Qwen2.5 1.5B1.78B1.2GB2.0GBVRAM 4GB〜8GB〜
Qwen3.5 2B1.94B1.5GB2.1GBVRAM 4GB〜8GB〜
Sarashina2.2 1B1.41B1.0GB2.2GBVRAM 4GB〜8GB〜
LFM2.5-VL 3B2.7B1.8GB2.5GBVRAM 4GB〜8GB〜
LFM2.5 2.6B2.7B1.8GB2.5GBVRAM 4GB〜8GB〜
Qwen3 1.7B1.72B1.2GB2.6GBVRAM 4GB〜8GB〜
Qwen3-VL 2B1.72B1.2GB2.6GBVRAM 4GB〜8GB〜
MiniCPM5 2B2.52B1.8GB2.7GBVRAM 4GB〜8GB〜
Qwen2.5-VL 3B3.09B2.1GB2.9GBVRAM 4GB〜8GB〜
Qwen2.5 3B3.09B2.1GB2.9GBVRAM 4GB〜8GB〜
Qwen2.5-Coder 3B3.09B2.1GB2.9GBVRAM 4GB〜8GB〜
Gemma 2 Baku 2B2.61B1.8GB3.0GBVRAM 4GB〜8GB〜
SmolLM3 3B3.08B2.1GB3.2GBVRAM 4GB〜8GB〜
LLM-jp-3.1 1.8B1.87B1.3GB3.3GBVRAM 4GB〜8GB〜
Gemma 3 4B3.88B2.6GB3.5GBVRAM 4GB〜8GB〜
Llama 3.2 3B3.21B2.2GB3.6GBVRAM 6GB〜8GB〜
Nemotron 3 Nano 4B3.97B2.9GB3.7GBVRAM 6GB〜8GB〜
Ministral 3 3B3.43B2.3GB3.7GBVRAM 6GB〜8GB〜
Granite 4.2 3B3.66B2.5GB3.7GBVRAM 6GB〜8GB〜
Qwen3.5 4B4.21B2.9GB3.8GBVRAM 6GB〜8GB〜
Gemma 3n E2B4.46B3.1GB3.8GBVRAM 6GB〜8GB〜
Gemma 4 E2B4.65B3.1GB3.8GBVRAM 6GB〜8GB〜
AREX-Turbo 4B4.21B3.1GB3.9GBVRAM 6GB〜8GB〜
Fara1.5 4B4.21B3.1GB3.9GBVRAM 6GB〜8GB〜
Sarashina2.2 3B3.36B2.2GB4.1GBVRAM 6GB〜8GB〜
Nanbeige4.2 3B4.17B2.9GB4.1GBVRAM 6GB〜8GB〜
Phi-4-mini 3.8B3.84B2.7GB4.2GBVRAM 6GB〜8GB〜
AFM-4.5B4.62B3.1GB4.3GBVRAM 6GB〜8GB〜
Qwen3 4B4.02B2.7GB4.4GBVRAM 6GB〜8GB〜
Qwen3-VL 4B4.02B2.7GB4.4GBVRAM 6GB〜8GB〜
Granite 4.0 H-Tiny6.94B4.6GB5.3GBVRAM 6GB〜8GB〜
Gemma 3n E4B6.87B4.7GB5.5GBVRAM 6GB〜16GB〜
Gemma 4 E4B7.52B5.1GB6.0GBVRAM 8GB〜16GB〜
Falcon-H1R 7B7.59B5.0GB6.0GBVRAM 8GB〜16GB〜
Ling 3.0 tiny7.89B5.3GB6.1GBVRAM 8GB〜16GB〜
Qwen2.5-VL 7B7.62B5.1GB6.2GBVRAM 8GB〜16GB〜
DeepSeek-R1 Distill Qwen 7B7.62B5.1GB6.2GBVRAM 8GB〜16GB〜
ELYZA-Shortcut-1.0 Qwen 7B7.62B5.1GB6.2GBVRAM 8GB〜16GB〜
ABEJA Qwen2.5 7B Japanese7.62B5.1GB6.2GBVRAM 8GB〜16GB〜
Qwen2.5 7B7.62B5.1GB6.2GBVRAM 8GB〜16GB〜
Qwen2.5-Coder 7B7.62B5.1GB6.2GBVRAM 8GB〜16GB〜
Phi-3.5-mini 3.8B3.82B2.6GB6.2GBVRAM 8GB〜16GB〜
Mistral 7B v0.37.25B4.8GB6.4GBVRAM 8GB〜16GB〜
CAT-Translate 7B7.49B5.0GB6.6GBVRAM 8GB〜16GB〜
Tanuki-8B7.51B5.0GB6.6GBVRAM 8GB〜16GB〜
Hunyuan 7B7.5B5.0GB6.6GBVRAM 8GB〜16GB〜
Command R7B8.03B5.4GB6.7GBVRAM 8GB〜16GB〜
LFM2.5 8B-A1B8.47B5.9GB6.7GBVRAM 8GB〜16GB〜
Llama 3 Youko 8B8.03B5.3GB7.0GBVRAM 8GB〜16GB〜
Llama 3.1 Swallow 8B8.03B5.3GB7.0GBVRAM 8GB〜16GB〜
DeepSeek-R1 Distill Llama 8B8.03B5.3GB7.0GBVRAM 8GB〜16GB〜
Llama 3.1 8B8.03B5.3GB7.0GBVRAM 8GB〜16GB〜
Ornith 1.0 9B8.95B6.1GB7.0GBVRAM 8GB〜16GB〜
Qwen3.5 9B8.95B6.1GB7.1GBVRAM 8GB〜16GB〜
Aya Expanse 8B8.03B5.4GB7.1GBVRAM 8GB〜16GB〜
Apertus 8B8.05B5.4GB7.1GBVRAM 8GB〜16GB〜
Qwen3 8B8.19B5.4GB7.2GBVRAM 8GB〜16GB〜
Shisa V2.1 Qwen3 8B8.19B5.4GB7.2GBVRAM 8GB〜16GB〜
DeepSeek-R1-0528 Qwen3 8B8.19B5.4GB7.2GBVRAM 8GB〜16GB〜
Qwen3-Swallow 8B8.19B5.4GB7.2GBVRAM 8GB〜16GB〜
Qwen3-VL 8B8.19B5.4GB7.2GBVRAM 8GB〜16GB〜
UI-Venus-2 9B8.95B6.4GB7.3GBVRAM 8GB〜16GB〜
Ornith 1.5 9B8.95B6.4GB7.3GBVRAM 8GB〜16GB〜
UI-Mate 9B8.95B6.4GB7.3GBVRAM 8GB〜16GB〜
Fara1.5 9B8.95B6.4GB7.3GBVRAM 8GB〜16GB〜
MiMo-V2.6-Distill-Qwen-9B8.95B6.4GB7.3GBVRAM 8GB〜16GB〜
Ministral 3 8B8.49B5.6GB7.4GBVRAM 8GB〜16GB〜
LLM-jp-4 8B thinking8.59B5.7GB7.4GBVRAM 8GB〜16GB〜
Nemotron-Nano 9B v2 Japanese8.89B6.6GB7.4GBVRAM 8GB〜16GB〜
GLM-4.6V-Flash 9B9.4B6.6GB7.6GBVRAM 10GB〜16GB〜
Granite 4.2 8B8.79B6.0GB7.9GBVRAM 10GB〜16GB〜
Gemma 2 9B9.24B6.2GB8.8GBVRAM 10GB〜16GB〜
Gemma-2-Llama-Swallow 9B9.24B6.2GB8.8GBVRAM 10GB〜16GB〜
Gemma 4 12B11.91B7.8GB9.0GBVRAM 10GB〜16GB〜
Nemotron Nano 12B v212.31B8.2GB9.1GBVRAM 10GB〜16GB〜
Gemma 3 12B11.77B7.9GB9.4GBVRAM 10GB〜16GB〜
Mistral Nemo 12B12.25B8.1GB10GBVRAM 11GB〜16GB〜
Mistral Nemo Japanese 12B12.25B8.1GB10GBVRAM 11GB〜16GB〜
Ministral 3 14B13.51B9.0GB11GBVRAM 12GB〜18GB〜
Qwen3 14B14.77B9.8GB12GBVRAM 16GB〜18GB〜
ABEJA Qwen3 14B Agentic14.77B9.8GB12GBVRAM 16GB〜18GB〜
Shisa V2.1 unphi4 14B14.66B9.7GB12GBVRAM 16GB〜18GB〜
DeepSeek-R1 Distill Qwen 14B14.77B9.8GB12GBVRAM 16GB〜18GB〜
DeepSeek-R1 Distill Qwen 14B Japanese14.77B9.8GB12GBVRAM 16GB〜18GB〜
Qwen2.5 14B14.77B9.8GB12GBVRAM 16GB〜18GB〜
Qwen2.5-Coder 14B14.77B9.8GB12GBVRAM 16GB〜18GB〜
Phi-4 14B14.66B9.9GB12GBVRAM 16GB〜24GB〜
ERNIE 4.5 21B-A3B Thinking21.83B15GB16GBVRAM 20GB〜24GB〜
LLM-jp-3.1 13B13.71B9.1GB16GBVRAM 20GB〜32GB〜
GPT-OSS-Swallow 20B20.91B16GB17GBVRAM 20GB〜32GB〜
Codestral 22B22.25B15GB17GBVRAM 20GB〜32GB〜
Magistral Small 250923.57B16GB18GBVRAM 20GB〜32GB〜
Mistral Small 3.2 24B23.57B16GB18GBVRAM 20GB〜32GB〜
Devstral Small 250723.57B16GB18GBVRAM 20GB〜32GB〜
Devstral Small 2 24B23.57B16GB18GBVRAM 20GB〜32GB〜
Muse-Glimmer 30B27.85B18GB19GBVRAM 20GB〜32GB〜
Qwen3.6 27B26.9B18GB20GBVRAM 24GB〜32GB〜
Qwen3.5 27B26.9B18GB20GBVRAM 24GB〜32GB〜
Qwen3.8 27B27.32B18GB20GBVRAM 24GB〜32GB〜
Gemma 3 27B27.01B18GB20GBVRAM 24GB〜32GB〜
Fara1.5 27B26.9B19GB21GBVRAM 24GB〜32GB〜
UI-Mate 27B26.9B19GB21GBVRAM 24GB〜32GB〜
AREX-2 27B26.9B19GB21GBVRAM 24GB〜32GB〜
Gemma 4 26B-A4B25.23B20GB21GBVRAM 24GB〜32GB〜
Gemma-2-Llama-Swallow 27B27.23B18GB21GBVRAM 24GB〜32GB〜
GLM-4.7-Flash 30B-A3B29.94B20GB22GBVRAM 24GB〜36GB〜
Qwen3 30B-A3B30.53B20GB22GBVRAM 24GB〜36GB〜
Qwen3-Swallow 30B-A3B30.53B20GB22GBVRAM 24GB〜36GB〜
Qwen3-VL 30B-A3B30.53B20GB22GBVRAM 24GB〜36GB〜
Qwen3-Coder 30B-A3B30.53B20GB22GBVRAM 24GB〜36GB〜
Granite 4.0 H-Small 32B-A9B32.21B21GB23GBVRAM 24GB〜36GB〜
Granite 4.2 30B29.28B20GB23GBVRAM 24GB〜36GB〜
Gemma 4 31B30.7B20GB23GBVRAM 24GB〜36GB〜
North Mini Code 1.030.48B21GB23GBVRAM 24GB〜36GB〜
EXAONE 4.0.1 32B32B21GB24GBVRAM 32GB〜36GB〜
Olmo 3.1 32B32.23B21GB24GBVRAM 32GB〜36GB〜
Aya Expanse 32B32.3B21GB24GBVRAM 32GB〜36GB〜
Laguna XS 2.1 33B-A3B33.44B22GB24GBVRAM 32GB〜36GB〜
LLM-jp-4 32B-A3B thinking32.14B23GB24GBVRAM 32GB〜48GB〜
XYZ-Aquila mini 35B-A3B34.66B23GB25GBVRAM 32GB〜48GB〜
KAT-Coder-V2.5-Dev 35B-A3B34.66B23GB25GBVRAM 32GB〜48GB〜
Thomson 1.0 Small 35B-A3B34.66B23GB25GBVRAM 32GB〜48GB〜
Qwen3 32B32.76B22GB25GBVRAM 32GB〜48GB〜
Qwen3-VL 32B32.76B22GB25GBVRAM 32GB〜48GB〜
Qwen2.5-VL 32B32.76B22GB25GBVRAM 32GB〜48GB〜
DeepSeek-R1 Distill Qwen 32B32.76B22GB25GBVRAM 32GB〜48GB〜
ELYZA-Thinking-1.0 Qwen 32B32.76B22GB25GBVRAM 32GB〜48GB〜
DeepSeek-R1 Distill Qwen 32B Japanese32.76B22GB25GBVRAM 32GB〜48GB〜
ELYZA-Shortcut-1.0 Qwen 32B32.76B22GB25GBVRAM 32GB〜48GB〜
ABEJA Qwen2.5 32B Japanese32.76B22GB25GBVRAM 32GB〜48GB〜
Qwen2.5 32B32.76B22GB25GBVRAM 32GB〜48GB〜
Qwen2.5-Coder 32B32.76B22GB25GBVRAM 32GB〜48GB〜
KARAKURI LM 32B Thinking32.76B22GB25GBVRAM 32GB〜48GB〜
Ornith 1.5 35B-A3B35.51B24GB25GBVRAM 32GB〜48GB〜
BigBang v1 35B35.51B24GB25GBVRAM 32GB〜48GB〜
LLM-jp-4 33B thinking33.22B22GB25GBVRAM 32GB〜48GB〜
Qwen3.5 35B-A3B34.66B24GB26GBVRAM 32GB〜48GB〜
Ornith 1.0 35B-A3B34.66B25GB26GBVRAM 32GB〜48GB〜
Qwen3.6 35B-A3B34.66B25GB26GBVRAM 32GB〜48GB〜
Qwen-AgentWorld 35B-A3B34.66B25GB26GBVRAM 32GB〜48GB〜
Nex-N2.5-mini34.66B25GB27GBVRAM 32GB〜48GB〜
Holo4 35B-A3B34.66B25GB27GBVRAM 32GB〜48GB〜
Seed-OSS 36B36.15B24GB27GBVRAM 32GB〜48GB〜
Nemotron 3 Nano Omni 30B-A3B31.58B27GB28GBVRAM 32GB〜48GB〜
Mixtral 8x7B46.7B31GB33GBVRAM 48GB〜48GB〜
RakutenAI-2.0 8x7B46.83B31GB33GBVRAM 48GB〜48GB〜
Tanuki-8x8B46.97B31GB34GBVRAM 48GB〜48GB〜
Kimi Linear 48B-A3B49.12B33GB34GBVRAM 48GB〜48GB〜
Llama 3.3 Swallow 70B70.55B47GB51GB不可96GB〜
DeepSeek-R1 Distill Llama 70B70.55B47GB51GB不可96GB〜
Llama 3.1 70B70.55B47GB51GB不可96GB〜
Llama 3.3 70B70.55B47GB51GB不可96GB〜
Shisa V2.1 Llama 3.3 70B70.55B47GB51GB不可96GB〜
Qwen3-Next 80B-A3B79.67B53GB55GB不可96GB〜
Qwen3-Coder-Next 80B-A3B79.67B53GB55GB不可96GB〜
Qwen2.5 72B72.71B51GB55GB不可96GB〜
Hunyuan-A13B 80B80.39B54GB57GB不可96GB〜
Stockmark-2 100B96B63GB68GB不可96GB〜
Llama 4 Scout 17B-16E107.77B71GB75GB不可128GB〜
Command A 111B111.06B73GB77GB不可128GB〜
GLM-4.5-Air 106B-A12B110.47B78GB82GB不可128GB〜
Laguna S 2.1 118B-A8B117.56B82GB85GB不可128GB〜
Mistral Small 4 119B118.97B83GB86GB不可128GB〜
Ling 3.0 flash127.49B84GB88GB不可128GB〜
Devstral 2 123B125.03B82GB88GB不可128GB〜
Qwen3.5 122B-A10B122.11B85GB88GB不可128GB〜
GPT-OSS-Swallow 120B116.83B87GB91GB不可128GB〜
Mixtral 8x22B140.63B93GB98GB不可192GB〜
Step-3.7-Flash196.96B136GB141GB不可192GB〜
MiniMax-M2.5 229B-A10B228.69B151GB158GB不可256GB〜
Qwen3 235B-A22B235.09B155GB162GB不可256GB〜
Inkling Small 264B263.66B183GB189GB不可256GB〜
ERNIE 4.5 300B-A47B299.48B197GB206GB不可512GB〜
Hy3 295B-A21B298.79B198GB207GB不可512GB〜
GLM-4.5 355B-A32B358.34B237GB247GB不可512GB〜
Llama 4 Maverick 17B-128E400.71B265GB275GB不可512GB〜
Qwen3.5 397B-A17B396.35B273GB282GB不可512GB〜
Qwen3-Coder 480B-A35B480.15B317GB329GB不可512GB〜
RakutenAI-3.0 671B-A37B671.03B443GB458GB不可不可
Mistral Large 3 675B673.42B445GB460GB不可不可

他の形式との比較

形式平均ビット数Q5_K_Mに対するサイズ位置づけ
Q4_K_M4.884%ローカルLLMで最も広く使われている量子化です
IQ4_XS4.375%Q4_K_Mより1割ほど小さい4bit量子化です
Q5_K_M（このページ）5.7100%4bitより一段品質に寄せた5bit量子化です
Q6_K6.6116%6bit量子化
Q8_08.5149%8bit量子化
Q3_K_M3.968%3bit量子化
Q2_K2.646%2bit量子化
MXFP44.2575%OpenAIのgpt-ossシリーズなどが採用する4bit形式です

よくある質問

Q5_K_Mとは何ですか？

K-quantの5bit版。平均5.7ビット前後で、Q4_K_Mよりファイルが2割ほど大きくなります。生成速度はメモリ帯域幅で決まるため、サイズが2割増えれば速度も2割ほど落ちる計算です。

Q5_K_Mで品質はどれくらい落ちますか？

Q4_K_Mとの差は多くの用途で体感しにくいものの、長い文章の一貫性や指示の細かい遵守で有利とされます。同じVRAMでワンランク小さいモデルのQ5を選ぶか、大きいモデルのQ4を選ぶかは悩みどころで、当サイトのデータでは「大きいモデルのQ4」のほうが必要メモリあたりのパラメータ数で有利です。

Q5_K_Mはどんなときに選びますか？

VRAMに余裕があり、速度が十分に出ている場合。

手持ちのPCで何が動くか判定する 容量別に動くモデルを見る