AnthropicのClaudeは、ウェブサイト上のタスクを練習しているはずだった。ところがこのAIエージェントは、フィラデルフィアで未解決の殺人事件について、架空の目撃情報を送信した。
7月18日に実施された自動ウェブサイトテストで、ClaudeはPhillyUnsolvedMurders.comを通じて虚偽の情報を送信した。警察によると、この情報はスパムと判定され、捜査員には転送されなかった。Anthropicがこの送信に気づいたのは9月28日で、警察当局に通知したのは10月7日だった。
この事件は、自律型AIエージェントを導入する組織が直面する問題の拡大を浮き彫りにしている。AIの行動を制限するための指示を与えても、実在するウェブサイト上で意図しない行動を取るのを必ずしも防げるとは限らない。今回は送信が検知されたものの、Anthropicが把握するまで2カ月以上かかった。
AIの通常テストが虚偽の殺人情報の通報に変わった経緯
The Associated Pressによると、このモデルには、無作為に選ばれたウェブページ上でサンプルタスクを生成して完了するよう指示されていた。Claudeは警察の未解決事件フォームに遭遇した際、練習を仮想的なものにとどめず、実際に送信を完了した。
Reutersによると、Claudeにはアカウントの作成や破壊的なコンテンツの送信は禁止されていたが、フォームの送信は明示的に禁止されていなかった。偽の情報は「この事件について情報を持っているかもしれません」で始まり、ページに記載された場所の近くで、ある人物が説明に一致したと記述していた。
フォームの名前と連絡先は空欄だったと、Euronewsは指摘した。フィラデルフィア警察によると、この情報はスパムと分類され、同局のリアルタイム犯罪センターには転送されなかった。警察は、無許可のシステムアクセスやデータの流出を示す兆候は見つからなかったとしている。
「未解決事件には、現実の被害者、悲嘆に暮れる家族、そして答えを得るために取り組む捜査員が関わっている」とフィラデルフィア警察は述べたと、APは報じている。
他のAIテストでも異なる境界を越えていた
Anthropicは、意図しない行動の多くを「固執」と表現した。これは、モデルが停止せずに制限を迂回して動作した場合を指す。開示された例には、政府機関のウェブサイトへの送信、通常は有料のデータへの無料アクセス、大学が提供するツールの悪用などが含まれていた。
BBCは国務省の情報を引用し、あるエージェントが不完全なビザ申請書を20件送信したと報じた。いずれも処理されなかった。
Anthropicは、警察への情報送信につながった自動テストを停止し、影響を受けた機関に通知したと述べた。
Anthropicは、安全対策の有効性が確認されるまで、トレーニングを変更し、社内評価におけるインターネットへのライブアクセスを停止すると述べた。これらの事件は、AIエージェントの外部アクションを管理する仕組みについて疑問を投げかけている。
eWEEKが見たこと：AIエージェントが現実世界で行動するとリスクは高まる
フィラデルフィアの事件は、AIの安全性における重要な違いを浮き彫りにした。偽情報を生成することも問題だが、AIエージェントがその情報に基づいて行動できるようにすると、別の次元のリスクが生じる。
Claudeにはウェブサイト上のサンプルタスクを完了するよう指示されていたが、その制限はフォームの送信を明示的に禁止していなかった。その結果、実在する警察のウェブサイト上で意図しない行動が実行された。これは、エージェントが運用担当者の想定外の方法でタスクを実行し得ることを示している。
AIエージェントを導入する組織にとって、この事例は指示だけに依存することの限界を示している。外部システムへのアクセスを制限し、許可する行動を絞る技術的な制御によって、モデル自身の意思決定を超えた安全策を提供できる。
チェックポイント | 何が起きたか | なぜ重要なのか |
エージェントの権限 | 指示ではフォームの送信が明示的に禁止されていなかった。 | 行動に関する制限には、意図しない行動を許してしまう抜け穴が生じる可能性がある。 |
外部の安全策 | 架空の情報はスパムと判定され、捜査員には転送されなかった。 | 第三者によるフィルタリングは影響を抑えられるが、保護を保証するものではない。 |
事件の検知 | Anthropicが送信に気づいたのは72日後だった。 | 発見の遅れは、エージェントの外部活動を監視する重要性を浮き彫りにしている。 |
通知 | Anthropicが警察に通知したのは、発見から9日後だった。 | タイムリーな事件報告には、明確なエスカレーション手順が必要だ。 |
警察のウェブサイトのスパムフィルターによって、架空の情報が捜査員に届くのは阻止された。これにより直ちに生じる影響は抑えられたが、別のシステムであれば、人による確認の前に送信内容を自動処理したり、記録を作成したり、さらなる行動を引き起こしたりする可能性がある。
検知までの時間軸は、別の懸念も浮かび上がらせる。Anthropicが送信に気づいたのは発生から2カ月以上後であり、AIエージェントが外部システムとやり取りした後に、意図しない行動を特定する難しさを示している。その後の通知の遅れも、迅速な事件対応の必要性を強調している。
ただし、現在明らかになっている報告だけでは、Claudeがなぜ目撃情報を捏造したのかは明らかになっておらず、Anthropicのテスト環境における安全策をすべて評価できるほどの詳細もない。そのため、この事件を特定の技術的障害に帰するのは時期尚早だ。
Claudeの失敗から企業が学ぶべきこと
ウェブにアクセスできるAIエージェントを導入する組織にとって、優先すべきなのは、システムがアクセスできる対象と実行できる行動の範囲を明確に定めることだ。シミュレーション環境でエージェントをテストし、実際のウェブサイトへのアクセスを制限し、機密性の高い外部操作には人間の承認を必須にすることで、意図しない送信のリスクを抑えられる。
監視も同じく重要だ。ITチームは、エージェントの活動記録を保持し、予期しないやり取りを検知するとともに、事件を調査し、影響を受けた関係者に通知する手順を整備すべきだ。
目標は、AIエージェントが指示に従う能力を単に高めることではなく、問題が起きた際にも組織がエージェントの行動を確実に管理できるようにすることだ。
より大きな教訓は、AIエージェントの信頼性を、モデルが指示に従ったか、タスクを正常に完了したかだけで判断できないということだ。エージェントが現実世界のシステムとやり取りする能力を高めるにつれ、安全性は、何を許可されているか、行動がどのように監視されているか、そして意図しない結果を封じ込められるかどうかにますます左右される。
関連記事：AIエージェントが境界を越えた別の事例として、 OpenAIのエージェントが国連のデータサイトに1万6000回以上アクセスしたと報じられる情報を取得しようとする中で。