M4 Mac 24GBでローカルLLMを実測比較｜Gemma 4 12B QAT vs MLXの速度差

Posted on by

M4 MacでのローカルLLM、結局どれが速いのか

「M4 MacでローカルLLMを動かしたい。でも、量子化フォーマットによって速度が全然違うって本当？」

私はHermes Agentという自律型AIエージェントをM4 MacBook Air（24GBメモリ）で運用しています。エージェントの常時稼働には、ローカルLLMの処理速度が直結するため、この違いは死活問題です。

今回、同じモデルでフォーマットだけが異なる Gemma 4 12BのQAT版とMLX版 を、同一環境・同一プロンプトで実測比較しました。

テスト環境と条件

  • マシン: MacBook Air M4（メモリ24GB）
  • モデル: Google Gemma 4 12B Instruct
  • 比較対象: MLX版 vs QAT版
  • 同一プロンプト、同一タスクでの実測

実測結果

指標 gemma4:12b-it-qat gemma4:12b-mlx 判定
出力トークン数 1,921 1,851 ほぼ同等
総処理時間 151.56秒 282.34秒 QATが約1.86倍速い
生成時間 150.82秒 264.82秒 QATが約1.76倍速い
生成速度 12.74 tok/sec 6.99 tok/sec QATが約1.82倍速い
ロード時間 0.27秒 7.36秒 QATが圧勝
プロンプト評価時間 0.45秒 10.03秒 QATが圧勝

結論は明確です。この環境では QAT版が総合力でMLX版を上回っています。

特に注目すべき2つの指標

1. プロンプト評価時間（prompt_eval_duration）

QAT版が0.45秒に対して、MLX版は10.03秒。約22倍の差がつきました。

エージェント用途では、毎回の推論時に長いシステムプロンプト、ツールスキーマ、スキル定義、会話履歴を処理します。この「最初の評価フェーズ」が速いことは、エージェントの応答性に直接効く重要な要素です。

2. モデルロード時間

QAT版が0.27秒、MLX版が7.36秒。常駐していれば毎回効くわけではありませんが、モデル切替や再起動時のストレスが段違いです。

運用方針の見直し

以前は「MLX版はApple Silicon最適化で速度面の優位があるのではないか」と想定していました。しかし、今回の実測ではその想定は覆されました。

現時点での推奨運用方針は以下の通りです。

優先順位 モデル 用途
🥇 第一候補 gemma4:12b-it-qat Hermes Agent、Claude Code、Codex App、通常チャット、長文要約、画像入力
🥈 第二候補 gemma4:12b-mlx 比較検証用。しばらく残すが価値は低下
🗑️ 削除候補 gemma4:12b-mlx 数日使ってQATで問題なければ削除

ただし、今回のテストは短いプロンプトで長い出力を生成するタイプでした。エージェントの実運用では長い入力（コンテキスト）の処理性能も重要なので、今後長めのプロンプトでの検証も追加したいところです。

とはいえ、プロンプト評価時間で22倍の差がついている時点で、QAT版の優位はほぼ確定と言えます。

まとめ

M4 Mac 24GBメモリの環境では、Gemma 4 12BのQAT版が本命です。

  • 生成速度で約1.8倍
  • プロンプト評価で約22倍
  • モデルロードで約27倍

「軽いだけ」ではなく、実行速度でもMLX版を大きく上回っています。ローカルLLMをM4 Macで本格運用したい方は、ぜひ参考にしてみてください。

Photo by Jeremy Waterhouse from Pexels