Ling 3.0 tiny を動かすPCスペック（必要VRAM・メモリ・速度の目安）

inclusionAI ・公開 2026-08 ・ 7.89Bパラメータ（MoE・アクティブ1.3B）・データ更新 2026-10-02

総8BのMoEでMIT。GPUなしのPCやメモリ16GBのノートでも軽い

5.3GB4bitで動かすのに要るメモリ（会話8,192トークン分込み）

VRAM 6GB実用になるいちばん安いGPU: GeForce RTX 3060 Laptop

8GB実用になるいちばん小さいMac: M2（8GB）

131,072最大コンテキスト（学習時）

編集部の見立て

総7.89Bのうち1トークンで動くのが1.3BだけのMoEで、inclusionAIは推論とエージェント用途を低い計算コストで回すことを狙いに掲げています。ライセンスはMIT。4bitの重みに8kトークンの文脈を足して5.3GBなので、6GBのRTX 2060でも推定169.2tok/sが出ます。

GPUのないメモリ8GBのDDR4機でも、Q4_K_Mのまま推定16tok/s。同じ8B級のdense型を重く感じていたノートの持ち主が、最初に入れる候補として筋の良い1本です。

量子化別の必要メモリ

ファイルサイズは Hugging Face（bartowski/Ling-3.0-tiny-GGUF）に置かれている実際のファイルサイズです。KVキャッシュ（会話の作業メモリ）は8,192トークン・fp16として、モデルの構造（24層・KVを圧縮するMLA方式・文脈全体を見る層は6層だけ）から計算しています。必要メモリの合計には計算用のバッファも含めています。

量子化	ファイル	KVキャッシュ（8k）	必要合計	GPUなら	Macなら
2bit（IQ2_M）品質劣化大。最後の手段	2.6GB	0.1GB	3.3GB	VRAM 4GB〜	8GB〜
2bit（Q2_K）品質劣化大。最後の手段	2.8GB	0.1GB	3.5GB	VRAM 4GB〜	8GB〜
3bit（Q3_K_M）メモリ優先	3.5GB	0.1GB	4.2GB	VRAM 6GB〜	8GB〜
3bit（IQ3_M）メモリ優先	3.7GB	0.1GB	4.4GB	VRAM 6GB〜	8GB〜
4bit（IQ4_XS） Q4_K_Mより一回り小さい	4.1GB	0.1GB	4.8GB	VRAM 6GB〜	8GB〜
4bit（Q4_K_M）標準。迷ったらこれ	4.6GB	0.1GB	5.3GB	VRAM 6GB〜	8GB〜
5bit（Q5_K_M）品質重視	5.3GB	0.1GB	6.1GB	VRAM 8GB〜	16GB〜
6bit（Q6_K）ほぼ無劣化	6.4GB	0.1GB	7.2GB	VRAM 8GB〜	16GB〜
8bit（Q8_0）無劣化に近い	7.8GB	0.1GB	8.7GB	VRAM 10GB〜	16GB〜
16bit（BF16）元精度	15GB	0.1GB	16GB	VRAM 20GB〜	24GB〜

モデルの構造と、必要メモリの増え方

Ling 3.0 tinyはinclusionAIが2026年8月に公開した7.89Bのモデルです。GGUFのヘッダには24層と書かれており、総パラメータ7.89Bのうち、1トークンの生成で実際に読むのは約1.3Bです（MoE）。メモリには全部を載せる必要がある一方、毎回読み出す量はアクティブパラメータのぶんで済むため、同じサイズのdense型より速く動きます。

KVを低ランク（rank 512）に圧縮するMLA方式です。同じ規模の一般的なモデルよりKVキャッシュが小さく済みます。1トークンあたりのKVキャッシュは約13KB（fp16）で、コンテキスト長にそのまま比例します。実際の値は、8,192トークンで0.1GB、学習時の上限131,072トークンまで伸ばすと1.6GBです。

ライセンス表記: mit（層数と窓の大きさはGGUFヘッダから取得）

このモデルを実際に使うなら

思考モードは既定でオン。軽い質問にも考える過程を挟むので、即答させたいときはリクエストごとにenable_thinkingをfalseにします。推奨のサンプリングはtemperature 1.0、top_p 0.95、top_k 20。構造は線形注意のKDA 3層にMLA 1層を重ねる新しい形で、GGUFで使うならllama.cpp側の対応版を確かめるのが先です。

KVを抱えるのはMLAの層だけで、1トークン13KB。32,768トークンに広げても、KVは約0.4GBにとどまります。6GBのRTX 4050 LaptopならQ4_K_Mと8kの文脈で推定116.1tok/s。ただ余白は0.2GBしかなく、長文を渡すならIQ4_XS（4.1GB）に下げましょう。Llama 3.1 8Bと比べると、毎回動く量は6分の1ほど。

このモデルの系統

GGUFヘッダに書かれたアーキテクチャはbailingmoe3で、当サイト収録の204モデル中2本が同じ系統です。ツール側の対応状況は、使う前に確認しておくと確実です。

配布元はbartowski/Ling-3.0-tiny-GGUF、元になったモデルはinclusionAI/Ling-3.0-tinyです。

同じinclusionAIのモデルでは、サイズの近いものにUI-Venus-2 9B（8.95B）、Ling 3.0 flash（127.49B）があります。

コンテキスト長を伸ばすと必要メモリはどう増えるか

長い文書を渡す、会話を続ける、コードベース全体を読ませる。こうした使い方ではコンテキスト長を伸ばしますが、その分KVキャッシュがメモリを食います。4bit（Q4_K_M）（4.6GB）を前提に、コンテキスト長ごとの必要メモリを計算しました。MLA（圧縮KV）採用のため、長いコンテキストでもKVが小さく収まります。

コンテキスト	KVキャッシュ	必要合計	必要なGPU	必要なMac
4,096	0.0GB	5.3GB	VRAM 6GB〜	8GB〜
8,192既定	0.1GB	5.3GB	VRAM 6GB〜	8GB〜
16,384	0.2GB	5.4GB	VRAM 6GB〜	16GB〜
32,768	0.4GB	5.6GB	VRAM 8GB〜	16GB〜
65,536	0.8GB	6.0GB	VRAM 8GB〜	16GB〜
131,072	1.6GB	6.8GB	VRAM 8GB〜	16GB〜

KVキャッシュをq8_0に量子化すると、32,768トークンでのKVは約0.4GBから約0.2GBに減ります（品質はわずかに落ちます）。

同じサイズ帯の他のモデル

モデル	開発元	4bitで必要	一言
Llama 3.1 Swallow 8B	Swallow（東京科学大学・産総研）	6.2GB	Llama 3.1 8Bの日本語強化版（v0.5）。VRAM 8GB
DeepSeek-R1 Distill Llama 8B	DeepSeek	6.2GB	R1をLlama 8Bに蒸留した推論型。4bitならVRAM 8GBに収まる
Command R7B	Cohere	6.0GB	Cohereの7B。研究用途向けライセンス（CC BY-NC）。GPUなしのメモリ16GBのPCでも動く
Aya Expanse 8B	Cohere	6.4GB	日本語を含む23言語向けの8B。CC BY-NC。GPUなしのメモリ16GBのPCでも動く
Llama 3 Youko 8B	rinna	6.2GB	rinnaがLlama 3 8Bに日本語を追加学習。GPUなしのメモリ16GBのPCでも動く
Llama 3.1 8B	Meta	6.2GB	英語圏の基準モデル。日本語はQwenに劣る