AIの「思い込み」を防ぐ|Jev監査システムの仕組みと実運用テスト結果【2026年】
ChatGPTのようなチャット型AIが「それらしい文章で答えてくれる」ことに慣れてしまった今、「たしかなこと」と「たしかではないこと」が混ざったまま報告書が仕上がるリスクが増えています。この動画では、前回に引き続き、研究開発中のAI「Jev(ジェブ)」を使った自動監査システムを紹介します。今回は「完了報告の監査」をテーマに、実際の運用テストでJevが報告書の矛盾を見事に指摘した事例と、曖昧な判定を防ぐルール設計の考え方を解説しています。
前回の振り返りと今回のテーマ
前回はJevの成り立ちと開発の流れをお伝えしました。今回はその続きとして、実際に動いている監査の仕組みに踏み込みます。1本目は「仕様を調べる」監査で、2本目は「完了報告を調べる」監査です。Jevは「賢く答えるAI」ではなく、決められた基準に照らして機械的に判定し、最後に助言を返すだけの存在です。決定権はあくまで人間側に残します。
完了報告を監査する仕組み
監査は、探す→ラベルをつける→秘密を除く→分類する→記録に書く→確かめる、という順番で進みます。完了報告の監査では、事前に用意した「監査メニュー」を使います。終わりなのか、証拠はどうなのか、目標はどうなのかという3つの質問を自分に投げかけ、あらかじめ決めた基準に当てはまるかを機械的に判定します。そのうえで6種類のどれかに分類し、最後に助言として返します。ここでも決定権は変えません。あくまでアドバイスです。
判定がぶれる原因はルール設計にあります
このルール付けと条件付けが甘いと、判定がずれてしまいます。余計な判定が入り、いわばジャンク的な判定が増えてしまうのです。厳密に設定しておかないと、簡単な質問にもおかしな回答が返ってきます。逆に、こちらの設定が間違っていたり曖昧だったりすると、パッと速く返ってくる答えが、かえって正しいのかどうか迷う要因になります。だからこそ、ルール決めをしっかりしておくことが重要です。
6種類の判定基準と人間への判断の委ね方
Jevが返す判定は、次の6種類です。
- 証拠が話と逆です。添付した証拠が報告と反対のことを言っている状態で、逆の確率が10%以上などの基準を設けています。
- 証拠が話を支えていません。反対とは言えないものの、味方もしていない状態です。
- 終わったことは言うが、頼まれた内容と違います。
- 言うことありません。これは合格の意味ではありません。突っ込む内容がなかったというだけで、最終的には人が判断します。
- 判断できません。確認させてください。追加の情報を求め、それをもう一度入れて判断を仰ぎます。
- 返事がありませんでした。結論は動かさず、何も判定していない状態です。
このようにニュアンスを細かく分けているのは、曖昧な判定も含めて答えを出せるようにするためです。
実運用テストの結果とコスト
管理していた資料は、9月30日時点で100件です。付与したラベルは6012、記録数は100で、未処理のものは0になりました。これらはすべて処理を終えた結果です。
コスト面では、19ドルを入れておいて、実際の利用は1ドルにも届いていません。ほぼお金をかけずに処理できている点が非常に大きいと言えます。処理そのものも速く軽いので、この規模なら十分に回せます。成果としても非常に高いものが得られました。
【実証実験】Jevが報告書の矛盾を発見した事例
実際の運用テストで、Jevが報告書の矛盾を指摘した事例があります。20時19分に再起動し、その日の作業は翌日に回して中断しました。このときAIが自動的に報告書を書き、「合意も成立するようになった(大丈夫だろう)」と記録してしまいました。
しかし、報告を書いた時点では、それはまだ予想であって証拠ではありませんでした。翌朝、実際にJevで監査したところ、「証拠が話と逆です」と指摘されたのです。再起動すれば直るという予想は分かっていたものの、その時点で治ったかと言われると、事実としては治っていませんでした。翌日に立ち上げれば治ってはいましたが、事前に報告書へ書いてしまっていたことそのものが指摘の対象になりました。
些細な違いに見えますが、これは「予測」と「状況証拠」の違いを炙り出すうえで非常に重要な発見です。AIの指摘は正しく、テストを重ねる代わりに1回の実用で本物の結果が出せたことが、今回いちばん良かった点です。
まとめ:賢くする前に「現実を正しく見る」
最後に、Jevを監査用AIとして使ううえでの大前提を整理します。
- 測れなかったものを「測れた」に変えません。測れない・保留・合格は明確に分けます。
- 基本的には判断を下すのではなく、「それ違うのでは?」とツッコミを入れます。
- 本当に完了しているかの検査をし、ノイズが混ざっていないかを見ます。
AIを賢くする前に、現実を正しく見ることが大切です。これがJevのいちばんの使いどころです。使い続ける中でどれだけ有用性が確かめられるかを、データを取りながらこの10分間セミナーで報告していくとのことです。
参考資料
動画の概要欄で紹介されている資料もあわせてご覧ください。原本は専門的な内容の正確版で、利用版はわかりやすい版になっています。
あわせて読みたい
Photo by RDNE Stock project from Pexels
