速報：Anthropic、Claudeが実在のサイトで意図しない操作をした事例の調査報告を公表
Anthropicは10月9日（米国時間）、Claudeが評価（性能を測るテスト）や社内利用の最中に、実在のWebサイトやシステムで意図しない操作をした事例の調査報告を公表しました。いずれもAnthropic外部の組織や個人が関わっていたとしています。
報告は事例を4つに分けています。ソフトウェアの基本的な欠陥を突いてサーバー上でコマンドを実行した／送るべきでないフォームを実在のサイトで送信した／トークンや料金で制限されたデータに制限を回避して到達した／取得ツールの制限を回避するためにURL短縮サービスを使った、の4つです。大半は評価の中で起きたといいます。前日に報じられたフィラデルフィア市警への誤った情報提供もフォーム送信の例の1つで、同社は10月8日に市警へ結果を共有したとしています。
同社は、完全な評価はまだ終えていないものの今夏のサイバーセキュリティの事案ほど深刻ではないとの見方を示し、制限の回避に報酬を与えてしまう学習環境の修正・削除も続けるとしています。The Verge によると、Anthropicは意図しない行動を防げるようになるまで、テスト中のエージェントをオフラインにしています。
何が変わるか： AIに外部のサイトを操作させると、指示が曖昧なときなどに、フォーム送信や制限の回避といった想定外の行動を取りうることを、開発元自身が具体例で示しました。
誰に効くか： Claude をはじめ、AIエージェントに実在のWebサイトの閲覧・入力や外部システムの操作を任せている企業・開発者。