Aya Expanse 8B を動かすPCスペック（必要VRAM・メモリ・速度の目安）

Cohere ・公開 2024-10 ・ 8.03Bパラメータ・データ更新 2026-10-02

日本語を含む23言語向けの8B。CC BY-NC。GPUなしのメモリ16GBのPCでも動く

6.3GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 8GB実用になるいちばん安いGPU: GeForce RTX 3070 Ti

16GB実用になるいちばん小さいMac: M2 Pro（16GB）

8,192最大コンテキスト（学習時）

編集部の見立て

23言語向けのAya Expanseの小さいほうで、8.03Bのdense型。Q4_K_Mは4.7GBで、8kまでの文脈を含めて6.3GBです。推定はRTX 3070 Ti（8GB）が78.8tok/s、M2 Pro（16GB）が29.5tok/s。GPUなしのRyzen AI 300（16GB）は12.9tok/sの実用域です。

CC BY-NC 4.0という条件が最初の関門で、社内ツールや製品には使えません。多言語の挙動を8GBのGPUで研究目的に確かめたい人、あるいは32B版を買う前に系列の癖を見ておきたい人向け。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/aya-expanse-8b-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（32層）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.9GB	1.0GB	4.5GB	VRAM 6GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	3.2GB	1.0GB	4.8GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.7GB	1.0GB	5.3GB	VRAM 6GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.9GB	1.0GB	5.6GB	VRAM 8GB〜	16GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.3GB	1.0GB	5.9GB	VRAM 8GB〜	16GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.7GB	1.0GB	6.4GB	VRAM 8GB〜	16GB〜
5bit（Q5_K_M）品質重視	5.4GB	1.0GB	7.1GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	6.1GB	1.0GB	7.8GB	VRAM 10GB〜	16GB〜
8bit（Q8_0）無劣化に近い	8.0GB	1.0GB	9.7GB	VRAM 11GB〜	16GB〜
16bit（F16）元精度	15GB	1.0GB	17GB	VRAM 20GB〜	32GB〜

モデルの構造と、必要メモリの増え方

Aya Expanse 8BはCohereが2024年10月に公開した8.03Bのモデルです。GGUFのヘッダには32層と書かれており、全パラメータを毎回読み出すdense型なので、生成速度はファイルサイズとメモリ帯域幅でほぼ決まります。全32層が全域注意で、KVヘッド8・head次元128。

KVキャッシュはトークン数に正比例して増えます。1トークンあたりのKVキャッシュは約128KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで1.0GB、学習時の上限8,192トークンまで伸ばすと1.0GBです。

ライセンス表記: cc-by-nc-4.0（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

bartowski版にはQ4_0_4_4、Q4_0_4_8、Q4_0_8_8というARM向けの派生があり、配布者はMacとWindowsでは使わないよう明記しています。Macでは普通のQ4_K_Mを選びます。全32層が全域注意でKVは1トークン128KB、32kで4GBです。

M2 Pro（16GB）の実効10.7GBでも、本体4.7GBと32kぶんを足して収まります。同じ6.3GBで並ぶLlama 3.1 8B（6.2GB・推定80.8tok/s）はLlama 3.1ライセンスで商用可なので、業務なら比較にならず、Ayaは研究枠です。

32B版とは必要量が6.3GBと20.7GBで3倍以上開き、8GB機の人が背伸びできる差ではありません。同じCohereのCommand R7Bは容量が同じで、言語調整の方向が違います。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはcommand-rで、当サイト収録の204モデル中2本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はbartowski/aya-expanse-8b-GGUF、元になったモデルはCohereForAI/aya-expanse-8bです。

得意分野は日本語の文章です。

同じCohereのモデルでは、サイズの近いものにCommand R7B（8.03B）、Aya Expanse 32B（32.3B）、Command A 111B（111.06B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.7GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。全層が全域注意なので、コンテキスト長に比例してKVが増えます。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.5GB	5.9GB	VRAM 8GB〜	16GB〜
8,192既定	1.0GB	6.4GB	VRAM 8GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、8,192トークンでのKVは約1.0GBから約0.5GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Llama 3.1 Swallow 8B	Swallow（東京科学大学・産総研）	6.2GB	Llama 3.1 8Bの日本語強化版（v0.5）。VRAM 8GB
DeepSeek-R1 Distill Llama 8B	DeepSeek	6.2GB	R1をLlama 8Bに蒸留した推論型。4bitならVRAM 8GBに収まる
Command R7B	Cohere	6.0GB	Cohereの7B。研究用途向けライセンス（CC BY-NC）。GPUなしのメモリ16GBのPCでも動く
Llama 3 Youko 8B	rinna	6.2GB	rinnaがLlama 3 8Bに日本語を追加学習。GPUなしのメモリ16GBのPCでも動く
Llama 3.1 8B	Meta	6.2GB	英語圏の基準モデル。日本語はQwenに劣る
Llama-3-ELYZA-JP-8B	ELYZA	6.2GB	国産の日本語特化8B。VRAM 8GB