モデルを替えたらAIエージェントの作業品質が暴落した原因｜MSOPで96.3%まで回復した実測
「10分間セミナー」の今回のテーマは、AIエージェントのモデル切り替えで起きる性能低下です。
メインモデルを「より高性能なもの」に替えた瞬間、それまでできていた作業が通らなくなりました。原因を追っていくと、モデルの頭の良さではなく環境の接続層が失われていたことが分かりました。そして対策を1本の運用プロトコルとして体系化したところ、モデルを替えずに作業品質が96.3%まで回復しました。
結論を先に書くと、「DeepSeekが丁寧に見える」という感覚は幻想でした。実際に効いていたのは、地頭ではなくハーネス（外枠）です。
モデルを高性能にしたら、逆に作業品質が落ちました
発端は2026年8月14日です。それまで使っていたDeepSeekから、より高性能なはずのGPT-5.6 Lunaへメインモデルを切り替えました。
きっかけは料金改定でした。DeepSeekの価格優位性が薄れ、Lunaが安くなったため、同じ価格帯なら性能が高いほうが得だと考えたのです。トークンコストも抑えられるはずでした。
ところが切り替えた初日から、様子がおかしくなりました。
何が起きていたのか｜エンジンは回っているのにギアが入らない状態でした
DeepSeek時代には、短いやり取りだけで通っていた作業が通らなくなりました。「これをやっておいて」と伝えても、勝手にスキルを作り始めたり、意図と違う方向に動いたりしました。
調査の結果、原因ははっきりしました。Hermes Agentの運用シナリオにおけるスキルの設置が、ゼロだったのです。
エンジンは全力で回っているのに、クラッチが噛み合っていないのでギアが入りません。だから車が進みません。動力はあるのに、伝わっていない状態でした。
この状態に気づけなかったこと自体が、一番の驚きでした。性能を上げたはずなのに品質が落ちるという矛盾が、ここにありました。
回答品質は上がっていたのに、作業が完走しませんでした
決定的だったのは、2つの数字が逆を向いていたことです。
Lunaは安全設計を正しく提案できていました。バックアップ、ロールバック、読み戻し確認、失敗時に閉じる設計、公開前の承認、秘密値の非出力。こうした提案の質は高く、回答品質としては明確に上がっています。
一方で、実際にロードすべきスキルの名前と実体に接続できていませんでした。存在しないスキル名を選ぶため、読み込みに到達せず、結果として作業が完走しません。回答品質は上がり、作業品質は落ちます。この逆転が症状の正体でした。
原因はモデルではなく「教える側」にありました
動画では、この状況を新入社員に例えていました。
長年いる先輩は、頭が飛び抜けて良いわけではありません。それでも「やっておいて」の一言で仕事をこなします。長年やっているからです。一方で、優秀な新人に何も教えずに「とりあえずやってみて」と投げると、本人は真面目に取り組みますが、出てくるものは意図と違います。
問題は新人の能力ではありません。教える側の設置が甘かったのです。
具体的には、存在しないスキル名を選ぶ、ツール実行に到達しない、短い指示では作業が完走しない、という3つの症状が出ていました。手順を細かく伝えれば動きます。つまり能力は足りていて、接続だけが欠けていました。
スキルがDeepSeekの挙動に合わせて成熟していた｜属人化の正体です
さらに調査を進めて分かったのは、原因がモデル側ではなく環境側に蓄積していたことです。
Hermes Agentには自己学習型のスキル開発があります。同じモデルを使い続けると、失敗と修正のループを通じて、スキルがそのモデルの挙動に合わせて育っていきます。これは一般的な回答能力ではなく、特定モデル向けに最適化された環境接続層です。
つまりスキル自体が、DeepSeekの挙動に合わせて成熟していました。動画ではこれを「属人化」と呼んでいます。組織の中で長く教育を受けた人が、その組織に最適化されていくのと同じ現象です。まさか自分のAIでこれが起きるとは思わなかった、というのが率直な感想でした。
モデルを替えると、この誘導が効かなくなります。重要度の取り方と手順の保持が変わり、接地が壊れるのです。Lunaの出力品質が高かったことが、むしろこの欠落を隠していました。
対策｜モデル専用の運用プロトコル「MSOP」を作りました
打った手はシンプルです。モデルを再学習させるのではなく、モデルが環境に接地するための層を1本作りました。
これがMSOP（Model-Specific Operational Protocol）です。実行契約として、抽象的なスキル名の使用の禁止、ロードの必須化、変更前の状態確認を固定しました。
要点は「モデルを賢くする」ことではなく、「モデルが環境の語彙に正確に接続できるようにする」ことです。品質ゲートは下げていません。
検証結果｜モデルは替えずに、外側の層を足すだけで96.3%まで回復しました
効果は実測で確認しました。6つのシナリオ（設定確認、cron、監査、ブログ下書き、スキル改変、デプロイ予行）について、採点ロジックを固定したうえでプロトコルあり・なしを比較しています。4モデル×12試行、合計48試行の結果です。
| 指標 | プロトコルなし | あり |
|---|---|---|
| 実在スキルの解決（計画・6シナリオ） | 0/6 | 6/6 |
| 抽象スキル名の使用 | 6/6 | 0/6 |
| GPT-5.6 Luna 実ツールE2E 平均 | 74.07 | 96.30 |
| Gemini 3.1 Flash Lite（独立再現） | 74.07 | 96.30 |
| DeepSeek V4 Flash（同条件） | 74.07 | 96.30 |
| Claude Haiku 4.5（同条件） | 66.67 | 92.59 |
Luna、Gemini、DeepSeekの3モデルは、数値まで完全に一致しました。Claude Haiku 4.5だけはベースが66.67だったため伸び幅が最も大きくなっていますが、90を超えれば実用上は問題ありません。
安全性の副作用も確認されていません。変更操作の完走は8/8、ロールバック後の読み戻しSHA一致も8/8、秘密値の露出は0件、ターン制限への到達は0/24でした。さらに9軸の分析では改善したのは2軸のみで、残り7軸に悪化はありません。この層は環境への接地だけを直し、他を壊していないということです。
まとめ｜エンジンの性能を引き出すのは「ミッション・ハーネス」です
動画の結論は明快でした。「DeepSeekが丁寧に見える」のは幻想であり、実際に効いていたのはモデルのハーネスです。そこにプロトコルを入れることで、品質が格段に上がりました。
車の比喩が分かりやすいところです。大きなエンジンを積んでいても、ギアミッションが脆弱なら動力は駆動に伝わりません。強化クラッチを入れて伝達できるようにして初めて、エンジンのパフォーマンスを引き出せます。今回の実測では、その数字が96.3%でした。
AIエージェントの運用では、モデルの性能だけでなく、そのパワーを引き出す外枠の整備が重要です。MSOPを入れてからは、どのモデルへ切り替えても問題なく使えるようになりました。安いモデルが出れば、また乗り換えられます。
モデルの乗り換えで同じ問題にぶつかった人が、どれくらいいるのかは分かりません。ただ、モデル切り替えで設置がずれて品質が落ちるという現象は、実際に起こります。切り替えを検討している方は、性能の比較より先に、外枠の整備を確認してみてください。
関連資料：DeepSeekが「丁寧」に見える理由 — AIエージェント作業品質のモデル間差を分解する
Photo by Sergey Meshkov from Pexels
