トップ › モデル別 › KARAKURI LM 32B Thinking

KARAKURI LM 32B Thinking を動かすPCスペック（必要VRAM・メモリ・速度の目安）

カラクリ・公開 2025-01 ・ 32.76Bパラメータ・データ更新 2026-10-02

カスタマーサポートAIの会社が出した推論型32B（実験版）。VRAM 24GB

22GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 24GB実用になるいちばん安いGPU: GeForce RTX 4090

36GB実用になるいちばん小さいMac: M5 Max（36GB）

32,768最大コンテキスト（学習時）

編集部の見立て

カラクリがQwenのQwQ-32B-Previewを土台に調整した推論型で、名前の末尾に2501-expと付くとおり実験版です。カードの対応言語は日本語。4bitに8kの文脈を足すと21.5GBで、RTX 4090なら推定34tok/s、M5 Max（36GB）では推定20.9tok/sの見込みです。

経済産業省とNEDOによるGENIACの支援で作られたモデルでもあります。推論型の日本語モデルを複数並べて比べたい人が、24GB以上の機材で動かす1本という位置づけです。

量子化別の必要メモリ

ファイルサイズは Hugging Face（mmnga/karakuri-lm-32b-thinking-2501-exp-gguf）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（64層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	10GB	2.0GB	13GB	VRAM 16GB〜	24GB〜
2bit（Q2_K）品質劣化大。最後の手段	11GB	2.0GB	14GB	VRAM 16GB〜	24GB〜
3bit（IQ3_M）メモリ優先	14GB	2.0GB	17GB	VRAM 20GB〜	32GB〜
3bit（Q3_K_M）メモリ優先	15GB	2.0GB	18GB	VRAM 20GB〜	32GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	16GB	2.0GB	19GB	VRAM 20GB〜	32GB〜
4bit（Q4_K_M）標準。迷ったらこれ	18GB	2.0GB	22GB	VRAM 24GB〜	36GB〜
5bit（Q5_K_M）品質重視	22GB	2.0GB	25GB	VRAM 32GB〜	48GB〜
6bit（Q6_K）ほぼ無劣化	25GB	2.0GB	28GB	VRAM 32GB〜	48GB〜
8bit（Q8_0）無劣化に近い	32GB	2.0GB	36GB	VRAM 48GB〜	48GB〜

モデルの構造と、必要メモリの増え方

KARAKURI LM 32B Thinkingはカラクリが2025年1月に公開した32.76Bのモデルです。GGUFのヘッダには64層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全64層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約256KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで2.0GB、学習時の上限32,768トークンまで伸ばすと8.0GBです。

ライセンス表記: apache-2.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

土台がQwQ-32B-Previewのため、学習時の文脈は32,768トークンで止まります。同じ32Bの推論型でも、ELYZA-Thinking-1.0やDeepSeek-R1 Distill Qwen 32B Japaneseが131072トークンを持つのとは差がある。

KVは1トークン256KBで、上限の32Kまで使うと8.0GB。Q4_K_Mの18.5GBと合わせて26.5GBなので、24GBのカードでは届かず、RTX 5090かMac 48GB（実効36GB）が要ります。16Kでも必要量は23.5GBで、24GB機の実効23.5GBと並んで余白がありません。

実験版と明記されているので、業務に据える前に配布元のデモで出力の傾向を見ておく手もあります。Apache 2.0で配布されています。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはqwen2で、当サイト収録の204モデル中23本が同じ系統です。Qwen2系。llama.cppの対応が最も早く入る系統のひとつで、量子化の配布も充実しています。

配布元はmmnga/karakuri-lm-32b-thinking-2501-exp-gguf、元になったモデルはkarakuri-ai/karakuri-lm-32b-thinking-2501-expです。

得意分野は推論（段階を踏んで考える処理）、日本語の文章です。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（18GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	1.0GB	21GB	VRAM 24GB〜	32GB〜
8,192既定	2.0GB	22GB	VRAM 24GB〜	36GB〜
16,384	4.0GB	24GB	VRAM 32GB〜	36GB〜
32,768	8.0GB	28GB	VRAM 32GB〜	48GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約8.0GBから約4.0GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Qwen3-VL 32B	Alibaba	21GB	画像理解の上位。VRAM 24GB
ABEJA Qwen2.5 32B Japanese	ABEJA	22GB	日本語追加学習の32B。VRAM 24GB
ELYZA-Shortcut-1.0 Qwen 32B	ELYZA	22GB	推論過程を省いて速く答える日本語32B
ELYZA-Thinking-1.0 Qwen 32B	ELYZA	22GB	考えてから答える日本語の推論型32B。VRAM 24GB
Qwen3 32B	Alibaba	21GB	VRAM 24GBで動かせる最大級のdense型モデル
Qwen2.5-VL 32B	Alibaba	22GB	Qwen2.5-VLの上位32B。画像・画面の読み取り。VRAM 20GB / Mac 32GBから