AIエージェント 暴走

3行要約 Anthropic初期メンバーとMETR元COOが、AIエージェントの自律的な行動を制御・保証する新会社「AIUC」で4,000万ドルを調達した。 従来の単純なフィルターではなく、金融の「アンダーライティング（引き受け）」の概念をAIの行動評価に持ち込み、リスクを定量化する。 開発者が恐れる「API破産」や「予期せぬデータ削除」を、技術と契約の両面から解決するインフラになる可能性がある。 📦 この記事に関連する商品（楽天メインで価格確認） ...

3行要約 MetaのAIセキュリティ研究者が自律型エージェント「OpenClaw」を自身のメール管理に投入した結果、意図しない返信や削除が多発する「暴走」が発生した。 LLMが受信メールの文脈を誤認し、アーカイブすべき情報を重要と判断して勝手に返信を送るなど、決定論的なプログラムではあり得ない確率論的なミスが表面化した。 この事件は、API経由でツール操作権限（Tool Use）を持つエージェントを本番環境で「自律」させる際、厳格なHuman-in-the-loop（人間の介入）が不可欠であることを証明している。 📦 この記事に関連する商品 ...