Command R7B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Cohere ・公開 2024-12 ・ 8.03Bパラメータ・データ更新 2026-10-02

Cohereの7B。研究用途向けライセンス（CC BY-NC）。GPUなしのメモリ16GBのPCでも動く

6.0GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

131,072最大コンテキスト（学習時）

編集部の見立て

Cohereが2024年12月に出した8.03Bで、同社の111BのCommand Aとは名前が似ていても必要な機材がまるで違います。Q4_K_Mが4.7GB、8kの会話を足して6.3GB。RTX 3070 Ti（8GB）で推定78.8tok/s、M2 Pro（16GB）で29.5tok/s、GPUなしのRyzen AI 300（16GB）でも12.9tok/sです。

CC BY-NC 4.0なので、商用の製品や業務には組み込めません。8GBのGPUやメモリ16GBのノートで、Cohere系の日本語応答を研究目的で試したい人に限られます。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/c4ai-command-r7b-12-2024-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層・うち24層は直近の範囲だけを見る層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.9GB	0.6GB	4.1GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	3.2GB	0.6GB	4.4GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.7GB	0.6GB	5.0GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.9GB	0.6GB	5.2GB	VRAM 6GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.3GB	0.6GB	5.5GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.7GB	0.6GB	6.0GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.4GB	0.6GB	6.7GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	6.1GB	0.6GB	7.5GB	VRAM 8GB〜	16GB〜
8bit（Q8_0）無劣化に近い	8.0GB	0.6GB	9.3GB	VRAM 10GB〜	16GB〜

モデルの構造と、必要メモリの増え方

Command R7BはCohereが2024年12月に公開した8.03Bのモデルです。GGUFのヘッダには32層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。注意機構は混合型で、全域注意が8層、残り24層は窓4,096トークンのスライディングウィンドウです。

コンテキストに比例して増えるのは全域注意の8層ぶん（1トークンあたり約32KB）だけで、スライディングウィンドウの24層は窓4,096トークンぶん（約0.4GB）で頭打ちになります。実際の値は、8,192トークンで0.6GB、学習時の上限131,072トークンまで伸ばすと4.4GBです。

ライセンス表記: cc-by-nc-4.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

同じ8.03BのAya Expanse 8Bとは容量も推定速度も同じ6.3GB・78.8tok/sで、数字では選べません。アーキテクチャはこちらがcohere2、Ayaはcommand-rと世代が違い、Ayaは23言語向けの調整、R7Bはその2か月後に出た版という位置づけです。

1トークンあたりのKVは128KBあり、32kの文脈なら4GBを使います。RTX 3070 Tiの実効7.5GBでは本体4.7GBを引いた余りが2.8GBなので、2万トークン強が入る計算。量子化はbartowski版がQ2_KからQ8_0まで揃い、Q4_K_L（5.31GB）は埋め込みと出力層だけQ8_0にした変種。8GBに収める用途ならIQ4_XS（4.3GB）で1GB強を文脈に回せます。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはcohere2で、当サイト収録の204モデル中2本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はbartowski/c4ai-command-r7b-12-2024-GGUF、元になったモデルはCohereForAI/c4ai-command-r7b-12-2024です。

得意分野は日本語の文章です。

同じCohereのモデルでは、サイズの近いものにAya Expanse 8B（8.03B）、Aya Expanse 32B（32.3B）、Command A 111B（111.06B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.7GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。このモデルは32層のうち24層がスライディングウィンドウ注意（窓4,096トークン）なので、長くしてもKVが伸びにくい構造です。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	5.9GB	VRAM 8GB〜	16GB〜
8,192既定	0.6GB	6.0GB	VRAM 8GB〜	16GB〜
16,384	0.9GB	6.2GB	VRAM 8GB〜	16GB〜
32,768	1.4GB	6.7GB	VRAM 8GB〜	16GB〜
65,536	2.4GB	7.7GB	VRAM 10GB〜	16GB〜
131,072	4.4GB	9.7GB	VRAM 11GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約1.4GBから約0.7GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Llama 3.1 Swallow 8B	Swallow（東京科学大学・産総研）	6.2GB	Llama 3.1 8Bの日本語強化版（v0.5）。VRAM 8GB
DeepSeek-R1 Distill Llama 8B	DeepSeek	6.2GB	R1をLlama 8Bに蒸留した推論型。4bitならVRAM 8GBに収まる
Aya Expanse 8B	Cohere	6.4GB	日本語を含む23言語向けの8B。CC BY-NC。GPUなしのメモリ16GBのPCでも動く
Llama 3 Youko 8B	rinna	6.2GB	rinnaがLlama 3 8Bに日本語を追加学習。GPUなしのメモリ16GBのPCでも動く
Llama 3.1 8B	Meta	6.2GB	英語圏の基準モデル。日本語はQwenに劣る
Llama-3-ELYZA-JP-8B	ELYZA	6.2GB	国産の日本語特化8B。VRAM 8GB