AIエージェント事故オブザーバトリ

パターン詳細

人間の承認ゲートを欠いたまま不可逆な操作が実行される

継続中P3確信度: 中高凡例を見る

承認の仕組みが無効化されている、あるいは最初から運用に組み込まれていない状態で、エージェントが取り返しのつかない操作を実行する。攻撃者が意図的に外した場合と、利便性のために運用側が外している場合の双方を含み、対策の主体が異なる。

主要な失敗モード

危険なツール実行

欠けていた制御

承認ゲートの欠如

対処すべき層

運用の変更

なぜ制御が無かったか

安全でない既定値

関連する事例