目次 / 生成速度の目安

生成速度の目安(ローカル実測)

Pixubus の Ollama 処理(① キャラクター抽出・② プロンプト生成・③ シチュエーション提案)にかかる時間の実測目安です。モデルとマシン、とくに GPU の VRAM で大きく変わります。数値はアプリの「ジョブ」画面の集計から、実際に走らせた平均を載せています。

計測した環境

VRAM の効きを見るために、16GB と 32GB の2環境で測りました。

VRAM が一番効きます。モデルが VRAM に収まりきると速く、あふれて CPU 併用になると一気に遅くなります。同じ 31b でも、16GB ではあふれて低速、32GB に収まると数倍速、という差が出ます(下の比較表)。

モデル別の目安(環境A・VRAM 16GB)

手元の RTX 5070 Ti(VRAM 16GB)・ローカルでの実測平均です。1 回ごとに前後します。

① 抽出 = キャラクター抽出(画像あり) / ② 生成 = プロンプト生成 / ③ 提案 = シチュエーション提案

モデル① 抽出② 生成③ 提案速度
gemma4:e4b計測中約 10 秒約 12 秒約 150 tok/s
gemma4:12b計測中計測中計測中
gemma4:31b約 3 分約 4 分約 3 分約 5 tok/s

実測の平均(試行回数 = 31b は抽出 11 / 生成 62 / 提案 8、e4b は生成 7 / 提案 7)。gemma4:12b の非QAT は計測中で、QAT 版での参考値は「生成 数十秒・提案 約 25 秒・50〜70 tok/s」ほど。e4b の抽出も計測中です。

16GB では 31b が低速です。VRAM 16GB に 31b は収まりきらず CPU 併用になるため、1 処理で 3〜4 分かかります。速さ優先なら e4b、品質優先なら 31b と使い分けてください。複雑なプロンプトで失敗したときは、モデルのサイズを変えると通ることがあります(31b で失敗 → e4b で成功 など)。

VRAM を増やすと ― RTX PRO 4500(32GB)で比較

31b の遅さは、ほぼ VRAM 不足(16GB に 31b が収まりきらない)が原因です。VRAM 32GB の RTX PRO 4500(RunPod 経由)で同じ 31b を測ると、収まりきって一気に速くなりました。どちらも gemma4:31b での実測比較です。

環境(GPU / VRAM)① 抽出② 生成③ 提案速度
RTX 5070 Ti / 16GB(ローカル)約 3 分約 4 分約 3 分約 5 tok/s
RTX PRO 4500 / 32GB(RunPod)約 30 秒約 32 秒約 33 秒約 36 tok/s

32GB 側も実測平均(試行回数 = 抽出 4 / 生成 13 / 提案 3)。tok/s で約 7 倍、生成 1 回が 約 4 分 → 約 32 秒。VRAM に収まりさえすれば、31b でも快適に回せます。

つまり「31b は遅い」ではなく「16GB には 31b が大きすぎる」が正確なところです。高品質な 31b を常用したいなら、VRAM 24GB 以上(できれば 32GB)の GPU か、RunPod のようなクラウド GPU が現実的です。クラウドなら GPU を買わずに 32GB 級を時間借りできます。

自分の環境の速度を見る

アプリの 「ジョブ」画面で、処理時間とトークン速度(tok/s)を確認できます。「ベンチマーク」タブは順位付きの横棒グラフで、モデル比較(接続先を選んでモデルを並べる)と GPU比較(モデルを選んで接続先 = GPU 環境を並べる)を切り替えられます(集計は接続先ごと・環境をまたいだ平均はしません)。「画像を保存」でこのページの表のような比較カードを PNG にできます。お使いのマシンでの実際の目安は、そこで見るのが確実です。

画像生成(ComfyUI)の速度は別

このページは Ollama でプロンプトを作るまでの話です。そのあとの画像生成は手元の ComfyUI 次第で、Turbo ワークフローを使うと約 3〜4 倍速になります。詳しくは 基本の使い方 を参照。