手持ちのPCで動くAIモデルを判定

今のPCで足りるかを確かめる補助ツール。GPU（またはMacのチップ）とメモリを選ぶだけで、40本のローカルLLMの「動く/動かない」と推定速度、足りないメモリ、足りない場合のおすすめ機を表示します。

判定のしくみ

必要メモリ = 量子化済みモデルの実ファイルサイズ ＋ KVキャッシュ（8,192トークン分）＋ 計算バッファ。GPUの場合、VRAMに載りきらない分はシステムメモリに逃がす「CPUオフロード」で動きますが、速度は大きく落ちます（推定に反映済み）。速度はメモリ帯域幅から計算し、llama.cppの公開ベンチマークで較正しています。