Q4_K_Mとは — 必要メモリと選びどころ（2026年10月）

ローカルLLMで最も広く使われている量子化です。モデル配布サイトで「とりあえずこれ」と案内されることが多く、当サイトの必要メモリ計算も既定でこの形式を使っています。

4.8平均ビット数

30%元のbf16に対するサイズ

193この形式が公開されているモデル（全204本中）

105VRAM 16GBに載る数

どういう仕組みか

K-quantと呼ばれる方式の4bit版で、末尾のMはmedium（中）を意味します。重みを4bitに丸めつつ、注意機構など品質への影響が大きい一部の層だけを6bitで持つ混合方式のため、実際の平均ビット数は4.8前後になります。元のbf16（16bit）と比べてファイルは約3分の1。同じモデルのQ8_0と比べると約半分です。

品質はどう変わるか

元のモデルとの差を体感しにくい水準とされ、日本語の生成でも破綻しにくい。Q5やQ6に上げても差が分かりにくい一方、Q3以下に落とすと言い回しの不自然さや指示の取りこぼしが出始めます。迷ったらここから始めて、メモリが足りなければIQ4_XSかQ3_K_M、余裕があればQ5_K_MかQ6_Kへ動かすのが定石です。

選ぶ場面

VRAMやユニファイドメモリにこのサイズが収まるなら、他を試す必要はありません。収まらない場合だけ下を検討します。

近い形式との使い分け

同じ4bit帯のIQ4_XSと比べると、ファイルはやや大きく、そのぶん品質の目減りが小さくなります。容量に余裕があるならこちら、あと数百MB足りずに収まらないならIQ4_XSに落とす、という使い分けです。上のQ5_K_Mとの差は1モデルあたり1〜3GBで、その差でコンテキスト長を伸ばせるなら4bitのままにする判断もあります。

つまずきどころ

同じ「4bit」でも配布元によってファイルサイズが違うことがあります。埋め込み層や出力層だけを高いビット数で残す作り方があり、その分が数百MBの差になります。あと少しで収まらないときは、別の配布元の同じ量子化を探すと収まることがあります。

品質が落ちたと感じたときの確かめ方

品質が落ちたかどうかは、同じ質問を8bit版と4bit版に投げて見比べるのがいちばん早い方法です。差が出やすいのは、長い指示の取りこぼし、固有名詞の綴り、数値の扱い。日常的な会話や要約では、体感できる差が出ないことのほうが多くなります。

同じモデルを他の形式にすると

この形式が配布されているモデルのうち最も大きいMistral Large 3 675B（673.42B）を例に、形式を変えたときのファイルサイズを並べます。Q4_K_Mのときが379GBです。

形式	平均ビット	ファイル	Q4_K_Mとの差
Q2_K	2.6	230GB	149GB
IQ2_M	2.7	219GB	160GB
Q3_K_M	3.9	300GB	79GB
IQ4_XS	4.3	335GB	44GB
Q4_K_M（このページ）	4.8	379GB	—
Q5_K_M	5.7	445GB	+66GB
Q6_K	6.6	515GB	+136GB
Q8_0	8.5	667GB	+287GB

同じモデルでも形式でこれだけ変わります。あと数GBで手元の容量に載らない、というときは、モデルを替える前にこの表の1段下を試すほうが早いことがあります。コンテキスト長を伸ばす余地も、ここで決まります。

容量別に何本動くか

メモリ容量	Q4_K_Mで収まるモデル数
VRAM 8GB / Mac 8GB相当（実効5.4GB）	45 / 193
VRAM 12GB / Mac 12GB相当（実効8.0GB）	87 / 193
VRAM 16GB / Mac 16GB相当（実効11GB）	98 / 193
VRAM 24GB / Mac 24GB相当（実効16GB）	107 / 193
VRAM 32GB / Mac 32GB相当（実効21GB）	132 / 193
Mac 48GB相当（実効36GB）	159 / 193
Mac 64GB相当（実効48GB）	168 / 193
Mac 128GB相当（実効96GB）	181 / 193

Q4_K_Mでの必要メモリ一覧（193モデル）

ファイルサイズはHugging Faceの実サイズ、必要メモリはそれにKVキャッシュ（8,192トークン）と計算バッファを足した値です。

モデル	パラメータ	ファイル	必要メモリ	動く最小のGPU	動く最小のMac
Gemma 3 270M	0.27B	0.2GB	0.8GB	VRAM 4GB〜	8GB〜
Qwen2.5 0.5B	0.49B	0.4GB	1.0GB	VRAM 4GB〜	8GB〜
Qwen3.5 0.8B	0.77B	0.5GB	1.1GB	VRAM 4GB〜	8GB〜
LFM2.5 1.2B JP	1.17B	0.7GB	1.3GB	VRAM 4GB〜	8GB〜
Gemma 3 1B	1B	0.8GB	1.3GB	VRAM 4GB〜	8GB〜
Sarashina2.2 0.5B	0.79B	0.5GB	1.5GB	VRAM 4GB〜	8GB〜
Llama 3.2 1B	1.24B	0.8GB	1.5GB	VRAM 4GB〜	8GB〜
TinySwallow 1.5B	1.54B	0.9GB	1.7GB	VRAM 4GB〜	8GB〜
RakutenAI-2.0 mini	1.53B	0.9GB	1.7GB	VRAM 4GB〜	8GB〜
EXAONE 4.0 1.2B	1.28B	0.8GB	1.7GB	VRAM 4GB〜	8GB〜
Qwen3 0.6B	0.6B	0.4GB	1.8GB	VRAM 4GB〜	8GB〜
Qwen2.5 1.5B	1.78B	1.0GB	1.8GB	VRAM 4GB〜	8GB〜
Qwen3.5 2B	1.94B	1.3GB	1.9GB	VRAM 4GB〜	8GB〜
Sarashina2.2 1B	1.41B	0.9GB	2.0GB	VRAM 4GB〜	8GB〜
LFM2.5-VL 3B	2.7B	1.6GB	2.2GB	VRAM 4GB〜	8GB〜
LFM2.5 2.6B	2.7B	1.6GB	2.2GB	VRAM 4GB〜	8GB〜
MiniCPM5 2B	2.52B	1.5GB	2.4GB	VRAM 4GB〜	8GB〜
Qwen3 1.7B	1.72B	1.0GB	2.4GB	VRAM 4GB〜	8GB〜
Qwen3-VL 2B	1.72B	1.0GB	2.4GB	VRAM 4GB〜	8GB〜
Qwen2.5-VL 3B	3.09B	1.8GB	2.6GB	VRAM 4GB〜	8GB〜
Qwen2.5 3B	3.09B	1.8GB	2.6GB	VRAM 4GB〜	8GB〜
Qwen2.5-Coder 3B	3.09B	1.8GB	2.6GB	VRAM 4GB〜	8GB〜
Gemma 2 Baku 2B	2.61B	1.6GB	2.7GB	VRAM 4GB〜	8GB〜
SmolLM3 3B	3.08B	1.8GB	2.9GB	VRAM 4GB〜	8GB〜
LLM-jp-3.1 1.8B	1.87B	1.1GB	3.1GB	VRAM 4GB〜	8GB〜
Gemma 3 4B	3.88B	2.3GB	3.2GB	VRAM 4GB〜	8GB〜
Llama 3.2 3B	3.21B	1.9GB	3.3GB	VRAM 4GB〜	8GB〜
Granite 4.2 3B	3.66B	2.2GB	3.3GB	VRAM 4GB〜	8GB〜
Ministral 3 3B	3.43B	2.0GB	3.4GB	VRAM 4GB〜	8GB〜
Qwen3.5 4B	4.21B	2.6GB	3.4GB	VRAM 4GB〜	8GB〜
Nemotron 3 Nano 4B	3.97B	2.7GB	3.4GB	VRAM 4GB〜	8GB〜
AREX-Turbo 4B	4.21B	2.7GB	3.5GB	VRAM 6GB〜	8GB〜
Fara1.5 4B	4.21B	2.7GB	3.5GB	VRAM 6GB〜	8GB〜
Gemma 3n E2B	4.46B	2.8GB	3.5GB	VRAM 6GB〜	8GB〜
Gemma 4 E2B	4.65B	2.9GB	3.6GB	VRAM 6GB〜	8GB〜
Sarashina2.2 3B	3.36B	1.9GB	3.7GB	VRAM 6GB〜	8GB〜
Nanbeige4.2 3B	4.17B	2.5GB	3.8GB	VRAM 6GB〜	8GB〜
AFM-4.5B	4.62B	2.7GB	3.9GB	VRAM 6GB〜	8GB〜
Phi-4-mini 3.8B	3.84B	2.3GB	3.9GB	VRAM 6GB〜	8GB〜
Qwen3 4B	4.02B	2.3GB	4.0GB	VRAM 6GB〜	8GB〜
Qwen3-VL 4B	4.02B	2.3GB	4.0GB	VRAM 6GB〜	8GB〜
Granite 4.0 H-Tiny	6.94B	4.0GB	4.6GB	VRAM 6GB〜	8GB〜
Gemma 3n E4B	6.87B	4.2GB	5.0GB	VRAM 6GB〜	8GB〜
Falcon-H1R 7B	7.59B	4.3GB	5.3GB	VRAM 6GB〜	8GB〜
Ling 3.0 tiny	7.89B	4.6GB	5.3GB	VRAM 6GB〜	8GB〜
Qwen2.5-VL 7B	7.62B	4.4GB	5.4GB	VRAM 6GB〜	16GB〜
DeepSeek-R1 Distill Qwen 7B	7.62B	4.4GB	5.4GB	VRAM 6GB〜	16GB〜
ELYZA-Shortcut-1.0 Qwen 7B	7.62B	4.4GB	5.4GB	VRAM 6GB〜	16GB〜
ABEJA Qwen2.5 7B Japanese	7.62B	4.4GB	5.4GB	VRAM 6GB〜	16GB〜
Qwen2.5 7B	7.62B	4.4GB	5.4GB	VRAM 6GB〜	16GB〜
Qwen2.5-Coder 7B	7.62B	4.4GB	5.4GB	VRAM 6GB〜	16GB〜
Gemma 4 E4B	7.52B	4.6GB	5.5GB	VRAM 8GB〜	16GB〜
Mistral 7B v0.3	7.25B	4.1GB	5.7GB	VRAM 8GB〜	16GB〜
LFM2.5 8B-A1B	8.47B	5.0GB	5.7GB	VRAM 8GB〜	16GB〜
Phi-3.5-mini 3.8B	3.82B	2.2GB	5.8GB	VRAM 8GB〜	16GB〜
CAT-Translate 7B	7.49B	4.2GB	5.9GB	VRAM 8GB〜	16GB〜
Tanuki-8B	7.51B	4.2GB	5.9GB	VRAM 8GB〜	16GB〜
Hunyuan 7B	7.5B	4.3GB	5.9GB	VRAM 8GB〜	16GB〜
Command R7B	8.03B	4.7GB	6.0GB	VRAM 8GB〜	16GB〜
Qwen3.5 9B	8.95B	5.3GB	6.2GB	VRAM 8GB〜	16GB〜
Ornith 1.0 9B	8.95B	5.3GB	6.2GB	VRAM 8GB〜	16GB〜
Llama-3-ELYZA-JP-8B	8.03B	4.6GB	6.2GB	VRAM 8GB〜	16GB〜
Llama 3 Youko 8B	8.03B	4.6GB	6.2GB	VRAM 8GB〜	16GB〜
Llama 3.1 Swallow 8B	8.03B	4.6GB	6.2GB	VRAM 8GB〜	16GB〜
DeepSeek-R1 Distill Llama 8B	8.03B	4.6GB	6.2GB	VRAM 8GB〜	16GB〜
Llama 3.1 8B	8.03B	4.6GB	6.2GB	VRAM 8GB〜	16GB〜
Aya Expanse 8B	8.03B	4.7GB	6.4GB	VRAM 8GB〜	16GB〜
Apertus 8B	8.05B	4.7GB	6.4GB	VRAM 8GB〜	16GB〜
MiMo-V2.6-Distill-Qwen-9B	8.95B	5.4GB	6.4GB	VRAM 8GB〜	16GB〜
UI-Venus-2 9B	8.95B	5.5GB	6.4GB	VRAM 8GB〜	16GB〜
Ornith 1.5 9B	8.95B	5.5GB	6.4GB	VRAM 8GB〜	16GB〜
UI-Mate 9B	8.95B	5.5GB	6.4GB	VRAM 8GB〜	16GB〜
Fara1.5 9B	8.95B	5.5GB	6.4GB	VRAM 8GB〜	16GB〜
Qwen3 8B	8.19B	4.7GB	6.4GB	VRAM 8GB〜	16GB〜
Shisa V2.1 Qwen3 8B	8.19B	4.7GB	6.4GB	VRAM 8GB〜	16GB〜
DeepSeek-R1-0528 Qwen3 8B	8.19B	4.7GB	6.4GB	VRAM 8GB〜	16GB〜
Qwen3-Swallow 8B	8.19B	4.7GB	6.4GB	VRAM 8GB〜	16GB〜
Qwen3-VL 8B	8.19B	4.7GB	6.4GB	VRAM 8GB〜	16GB〜
Ministral 3 8B	8.49B	4.8GB	6.5GB	VRAM 8GB〜	16GB〜
LLM-jp-4 8B thinking	8.59B	4.9GB	6.6GB	VRAM 8GB〜	16GB〜
GLM-4.6V-Flash 9B	9.4B	5.7GB	6.7GB	VRAM 8GB〜	16GB〜
Nemotron-Nano 9B v2 Japanese	8.89B	6.1GB	6.9GB	VRAM 8GB〜	16GB〜
Granite 4.2 8B	8.79B	5.2GB	7.1GB	VRAM 8GB〜	16GB〜
Gemma 4 12B	11.91B	6.6GB	7.8GB	VRAM 10GB〜	16GB〜
Nemotron Nano 12B v2	12.31B	7.0GB	7.9GB	VRAM 10GB〜	16GB〜
Gemma 2 9B	9.24B	5.4GB	8.0GB	VRAM 10GB〜	16GB〜
Gemma-2-Llama-Swallow 9B	9.24B	5.4GB	8.0GB	VRAM 10GB〜	16GB〜
Gemma 3 12B	11.77B	6.8GB	8.3GB	VRAM 10GB〜	16GB〜
Mistral Nemo 12B	12.25B	7.0GB	8.9GB	VRAM 10GB〜	16GB〜
Mistral Nemo Japanese 12B	12.25B	7.0GB	8.9GB	VRAM 10GB〜	16GB〜
Ministral 3 14B	13.51B	7.7GB	9.7GB	VRAM 11GB〜	16GB〜
Qwen3 14B	14.77B	8.4GB	10GB	VRAM 11GB〜	16GB〜
ABEJA Qwen3 14B Agentic	14.77B	8.4GB	10GB	VRAM 11GB〜	16GB〜
Shisa V2.1 unphi4 14B	14.66B	8.3GB	11GB	VRAM 12GB〜	16GB〜
DeepSeek-R1 Distill Qwen 14B	14.77B	8.4GB	11GB	VRAM 12GB〜	16GB〜
DeepSeek-R1 Distill Qwen 14B Japanese	14.77B	8.4GB	11GB	VRAM 12GB〜	16GB〜
Qwen2.5 14B	14.77B	8.4GB	11GB	VRAM 12GB〜	16GB〜
Qwen2.5-Coder 14B	14.77B	8.4GB	11GB	VRAM 12GB〜	16GB〜
Phi-4 14B	14.66B	8.4GB	11GB	VRAM 12GB〜	18GB〜
ERNIE 4.5 21B-A3B Thinking	21.83B	12GB	14GB	VRAM 16GB〜	24GB〜
LLM-jp-3.1 13B	13.71B	7.8GB	15GB	VRAM 16GB〜	24GB〜
Codestral 22B	22.25B	12GB	15GB	VRAM 16GB〜	24GB〜
Magistral Small 2509	23.57B	13GB	15GB	VRAM 16GB〜	24GB〜
Mistral Small 3.2 24B	23.57B	13GB	15GB	VRAM 16GB〜	24GB〜
Devstral Small 2507	23.57B	13GB	15GB	VRAM 16GB〜	24GB〜
Devstral Small 2 24B	23.57B	13GB	16GB	VRAM 20GB〜	24GB〜
GPT-OSS-Swallow 20B	20.91B	15GB	16GB	VRAM 20GB〜	24GB〜
Qwen3.8 27B	27.32B	15GB	17GB	VRAM 20GB〜	32GB〜
Qwen3.5 27B	26.9B	16GB	17GB	VRAM 20GB〜	32GB〜
Gemma 4 26B-A4B	25.23B	16GB	17GB	VRAM 20GB〜	32GB〜
Qwen3.6 27B	26.9B	16GB	17GB	VRAM 20GB〜	32GB〜
Gemma 3 27B	27.01B	15GB	17GB	VRAM 20GB〜	32GB〜
AREX-2 27B	26.9B	16GB	18GB	VRAM 20GB〜	32GB〜
Fara1.5 27B	26.9B	16GB	18GB	VRAM 20GB〜	32GB〜
UI-Mate 27B	26.9B	16GB	18GB	VRAM 20GB〜	32GB〜
Gemma-2-Llama-Swallow 27B	27.23B	16GB	19GB	VRAM 20GB〜	32GB〜
GLM-4.7-Flash 30B-A3B	29.94B	17GB	19GB	VRAM 20GB〜	32GB〜
Qwen3 30B-A3B	30.53B	17GB	19GB	VRAM 20GB〜	32GB〜
Qwen3-Swallow 30B-A3B	30.53B	17GB	19GB	VRAM 20GB〜	32GB〜
Qwen3-VL 30B-A3B	30.53B	17GB	19GB	VRAM 20GB〜	32GB〜
Qwen3-Coder 30B-A3B	30.53B	17GB	19GB	VRAM 20GB〜	32GB〜
Granite 4.0 H-Small 32B-A9B	32.21B	18GB	19GB	VRAM 20GB〜	32GB〜
North Mini Code 1.0	30.48B	18GB	19GB	VRAM 20GB〜	32GB〜
Gemma 4 31B	30.7B	17GB	19GB	VRAM 20GB〜	32GB〜
Granite 4.2 30B	29.28B	17GB	20GB	VRAM 24GB〜	32GB〜
EXAONE 4.0.1 32B	32B	18GB	20GB	VRAM 24GB〜	32GB〜
Olmo 3.1 32B	32.23B	18GB	20GB	VRAM 24GB〜	32GB〜
Laguna XS 2.1 33B-A3B	33.44B	19GB	21GB	VRAM 24GB〜	32GB〜
Aya Expanse 32B	32.3B	18GB	21GB	VRAM 24GB〜	32GB〜
XYZ-Aquila mini 35B-A3B	34.66B	20GB	21GB	VRAM 24GB〜	32GB〜
KAT-Coder-V2.5-Dev 35B-A3B	34.66B	20GB	21GB	VRAM 24GB〜	32GB〜
Thomson 1.0 Small 35B-A3B	34.66B	20GB	21GB	VRAM 24GB〜	32GB〜
Qwen3 32B	32.76B	18GB	21GB	VRAM 24GB〜	36GB〜
Qwen3-VL 32B	32.76B	18GB	21GB	VRAM 24GB〜	36GB〜
LLM-jp-4 32B-A3B thinking	32.14B	20GB	22GB	VRAM 24GB〜	36GB〜
Qwen2.5-VL 32B	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
DeepSeek-R1 Distill Qwen 32B	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
ELYZA-Thinking-1.0 Qwen 32B	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
DeepSeek-R1 Distill Qwen 32B Japanese	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
ELYZA-Shortcut-1.0 Qwen 32B	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
ABEJA Qwen2.5 32B Japanese	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
Qwen2.5 32B	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
Qwen2.5-Coder 32B	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
KARAKURI LM 32B Thinking	32.76B	18GB	22GB	VRAM 24GB〜	36GB〜
Ornith 1.5 35B-A3B	35.51B	20GB	22GB	VRAM 24GB〜	36GB〜
BigBang v1 35B	35.51B	20GB	22GB	VRAM 24GB〜	36GB〜
Qwen3.5 35B-A3B	34.66B	21GB	22GB	VRAM 24GB〜	36GB〜
LLM-jp-4 33B thinking	33.22B	19GB	22GB	VRAM 24GB〜	36GB〜
Ornith 1.0 35B-A3B	34.66B	21GB	22GB	VRAM 24GB〜	36GB〜
Qwen3.6 35B-A3B	34.66B	21GB	22GB	VRAM 24GB〜	36GB〜
Qwen-AgentWorld 35B-A3B	34.66B	21GB	22GB	VRAM 24GB〜	36GB〜
Nex-N2.5-mini	34.66B	21GB	22GB	VRAM 24GB〜	36GB〜
Holo4 35B-A3B	34.66B	21GB	22GB	VRAM 24GB〜	36GB〜
Seed-OSS 36B	36.15B	20GB	23GB	VRAM 24GB〜	36GB〜
Nemotron 3 Nano Omni 30B-A3B	31.58B	22GB	23GB	VRAM 24GB〜	36GB〜
Mixtral 8x7B	46.7B	26GB	29GB	VRAM 32GB〜	48GB〜
RakutenAI-2.0 8x7B	46.83B	27GB	29GB	VRAM 32GB〜	48GB〜
Tanuki-8x8B	46.97B	27GB	29GB	VRAM 32GB〜	48GB〜
Kimi Linear 48B-A3B	49.12B	28GB	29GB	VRAM 32GB〜	48GB〜
Llama 3 Youko 70B	70.55B	40GB	44GB	VRAM 48GB〜	64GB〜
Llama 3.1 70B Japanese	70.55B	40GB	44GB	VRAM 48GB〜	64GB〜
Llama 3.3 Swallow 70B	70.55B	40GB	44GB	VRAM 48GB〜	64GB〜
DeepSeek-R1 Distill Llama 70B	70.55B	40GB	44GB	VRAM 48GB〜	64GB〜
Llama 3.1 70B	70.55B	40GB	44GB	VRAM 48GB〜	64GB〜
Llama 3.3 70B	70.55B	40GB	44GB	VRAM 48GB〜	64GB〜
Shisa V2.1 Llama 3.3 70B	70.55B	40GB	44GB	VRAM 48GB〜	64GB〜
Qwen3-Next 80B-A3B	79.67B	45GB	47GB	VRAM 48GB〜	64GB〜
Qwen3-Coder-Next 80B-A3B	79.67B	45GB	47GB	VRAM 48GB〜	64GB〜
Qwen2.5 72B	72.71B	44GB	48GB	不可	96GB〜
Hunyuan-A13B 80B	80.39B	46GB	49GB	不可	96GB〜
Stockmark-2 100B	96B	54GB	58GB	不可	96GB〜
Llama 4 Scout 17B-16E	107.77B	61GB	65GB	不可	96GB〜
Command A 111B	111.06B	63GB	66GB	不可	96GB〜
Laguna S 2.1 118B-A8B	117.56B	68GB	71GB	不可	96GB〜
Mistral Small 4 119B	118.97B	69GB	72GB	不可	96GB〜
GLM-4.5-Air 106B-A12B	110.47B	68GB	72GB	不可	96GB〜
Qwen3.5 122B-A10B	122.11B	71GB	74GB	不可	128GB〜
Devstral 2 123B	125.03B	70GB	75GB	不可	128GB〜
Ling 3.0 flash	127.49B	72GB	75GB	不可	128GB〜
Mixtral 8x22B	140.63B	80GB	84GB	不可	128GB〜
GPT-OSS-Swallow 120B	116.83B	82GB	85GB	不可	128GB〜
Step-3.7-Flash	196.96B	114GB	118GB	不可	192GB〜
MiniMax-M2.5 229B-A10B	228.69B	129GB	135GB	不可	192GB〜
Qwen3 235B-A22B	235.09B	132GB	138GB	不可	192GB〜
Inkling Small 264B	263.66B	151GB	157GB	不可	256GB〜
ERNIE 4.5 300B-A47B	299.48B	168GB	175GB	不可	256GB〜
Hy3 295B-A21B	298.79B	170GB	178GB	不可	256GB〜
GLM-4.5 355B-A32B	358.34B	202GB	211GB	不可	512GB〜
Llama 4 Maverick 17B-128E	400.71B	226GB	235GB	不可	512GB〜
Qwen3.5 397B-A17B	396.35B	227GB	235GB	不可	512GB〜
Qwen3-Coder 480B-A35B	480.15B	270GB	281GB	不可	512GB〜
RakutenAI-3.0 671B-A37B	671.03B	377GB	390GB	不可	不可
Mistral Large 3 675B	673.42B	379GB	392GB	不可	不可

他の形式との比較

形式	平均ビット数	Q4_K_Mに対するサイズ	位置づけ
Q4_K_M（このページ）	4.8	100%	ローカルLLMで最も広く使われている量子化です
IQ4_XS	4.3	90%	Q4_K_Mより1割ほど小さい4bit量子化です
Q5_K_M	5.7	119%	4bitより一段品質に寄せた5bit量子化です
Q6_K	6.6	138%	6bit量子化
Q8_0	8.5	177%	8bit量子化
Q3_K_M	3.9	81%	3bit量子化
Q2_K	2.6	54%	2bit量子化
MXFP4	4.25	89%	OpenAIのgpt-ossシリーズなどが採用する4bit形式です

よくある質問

Q4_K_Mとは何ですか？

Q4_K_Mで品質はどれくらい落ちますか？

Q4_K_Mはどんなときに選びますか？

VRAMやユニファイドメモリにこのサイズが収まるなら、他を試す必要はありません。収まらない場合だけ下を検討します。

手持ちのPCで何が動くか判定する容量別に動くモデルを見る