手持ちのPCで動くAIモデルを判定

今のPCで足りるかを確かめる補助ツール。GPU（またはMacのチップ）とメモリを選ぶだけで、204本のローカルLLMの「動く/動かない」と推定速度、足りないメモリ、足りない場合のおすすめ機を表示します。

機種とメモリを選んで判定する

判定のしくみ

必要メモリ = 量子化済みモデルの実ファイルサイズ ＋ KVキャッシュ（8,192トークン分）＋ 計算バッファ。GPUの場合、VRAMに載りきらない分はシステムメモリに逃がす「CPUオフロード」で動きますが、速度は大きく落ちます（推定に反映済み）。速度はメモリ帯域幅から計算し、llama.cppの公開ベンチマークで補正しています。

手元のPCで何が動くかを確かめる補助ツールです。GPU（またはMacのチップ）とメモリ容量を選ぶと、収録している全モデルについて「動く / 動かない」と推定速度、足りない場合の不足量が出ます。

判定の中身は、「必要メモリ = モデルの重み + KVキャッシュ + 計算バッファ」という足し算です。重みはHugging Faceの実ファイルサイズ、KVキャッシュはGGUFヘッダから読んだ層構造からの計算。ここに推測は入りません。速度のほうは推定値で、メモリ帯域幅と、llama.cppの公開ベンチマークで補正した係数から算出しています。

結果はURLに残るので、そのまま共有できます。買い替えの相談や、社内での機材の検討にも使えます。

結果の読み方

「快適」は1秒に20トークン以上です。人が読む速さのおよそ4倍で、待たされる感覚はほとんどありません。対話しながら使う用途なら、この水準を目指すことになります。

「実用」は8〜20トークン。読む速さより速く、多少待つ場面はあるものの、実務では十分に回ります。ここが多くの人にとっての現実的な着地点です。

「遅い」は2〜8トークン。対話には向きませんが、夜のうちに文書を要約させておく、といったバッチ処理なら成立します。自分の使い方が対話型かバッチ型かで、この判定の意味が変わります。

ここに「CPUオフロード」と付いた場合は、モデルがGPUに載りきらず、一部をシステムメモリで動かしている状態です。動きはしますが、速度は大きく落ちます。この表示が出たら、1つ小さいモデルか、1段低い量子化を試してみてください。それで全部がGPUに載ることがあります。

速度には「補正済み」と「推定」のラベルを付けています。補正済みはその機種の公開ベンチマークに合わせて係数を直したもの、推定は同系統機種の係数を流用したものです。どちらも実機とは上下しますが、補正済みのほうが確からしい値になります。

収録している142機種の内訳

判定の対象にしている機種の内訳です。「補正済み」は、その機種のllama.cpp公開ベンチマークで速度の係数を合わせたもので、残りは同系統の係数を流用した推定になります。全体では142機種中71機種が補正済みです。

よくある誤解

「判定で「動く」と出れば、必ず動く」当サイトの計算上は収まる、という意味です。実際には他のアプリがメモリを使っていたり、ツールの既定設定が違っていたりで、そのままでは動かないことがあります。余裕が1GBを切っている組み合わせは、ぎりぎりだと考えてください。

「速度の数字はメーカーの公表値」違います。当サイトが帯域幅から計算した推定値です。公開ベンチマークで係数を補正した機種には「補正済み」、同系統から流用した機種には「推定」と表示しています。どちらも実機とは上下します。

「判定結果が悪いなら、買い替えるしかない」足りないものによります。メモリだけなら1〜2万円の増設で済むことがあります。判定結果の下に、増設で埋まるのか買い替えが要るのかを出しているので、そこで判断してください。

このページの使い方

GPUの自動検出を使うと、ブラウザが持っているグラフィックス情報から機種を推測します。うまく検出できない場合は、一覧から手動で選んでください。メモリ容量は、Windowsならタスクマネージャー、Macなら「このMacについて」で確認できます。

「使い方」の設定でコンテキスト長を変えると、必要メモリが変わります。長い文書を渡す予定があるなら、その長さに合わせて判定してください。KVキャッシュの量子化にチェックを入れると、必要メモリがおおむね半分になります。

足りないという結果が出た場合は、そのページの下に不足を埋める構成が出ます。増設で足りるのか、買い替えが要るのかも、そこで判断できます。