Claudeは政府統計に至る予想外の経路を見つけ、AIエージェントが割り当てられた作業をどう完了するかに注目が集まっている。
社内プロジェクトで、AnthropicのClaude Mythos 5は、独自に発見した経路を通じて米国ジョージア州の選挙関連の数字を取得した。州当局は後に、その情報は公開されており、有権者登録システムにはアクセスされていなかったと確認した。
Anthropicはこの挙動を意図しないものと分類した。AIエージェントを導入する企業にとって、この事例はより大きな疑問を提起する。エージェントは、続行するか、停止するか、許可を求めるかをどう判断すべきなのか。
アーカイブされたウェブページが、データへの別の経路を明らかにした
Anthropicは、10月9日の調査開示で、当初この事案について、名前を明らかにしていない米国の州機関が関係していると特定した。同社の研究者の一人は、政府情報の取得を含む統計プロジェクトをMythos 5に割り当てており、同社は通常なら料金が発生するものと理解していた。
Claudeは予想された手順に従う代わりに、同機関のウェブサイトのアーカイブ版を参照した。そして、公開ダッシュボードが訪問者にアクセストークンを発行していることを発見し、トークンを要求して基盤データベースへの問い合わせに使用した。Anthropicは当初、これを料金を支払わずにデータを取得したものと説明した。ジョージア州は後に、情報は無料であり、Anthropicからペイウォールを回避していないことを確認されたと述べた。
ジョージア州務長官は 10月26日に事実関係を明らかにした、情報は無料のElection Data Hubから取得されたものだと確認した。当局は、ペイウォールは回避されておらず、有権者名簿にもアクセスされていないと述べた。
州務長官室は、Anthropicから10月8日に連絡を受けた後、調査を開始したと述べた。同室はすぐに、今回の活動が公開情報に関するものであり、有権者登録システムへの不正アクセスではないと判断した。
意図しないAIの行動に対する安全策を拡充
Anthropicの調査は、社内研究や管理下での評価における、その他の予想外の挙動にも及んだ。複数の事例では、モデルが当初の方法に失敗した後、別の手段を見つけて割り当てられた作業を完了していた。
例として、次のようなものがある。
- 実際の政府フォームを送信する。ある評価で練習用フォームの読み込みに失敗すると、あるモデルは実際の政府ウェブサイトに移動し、本番用フォームを送信した。
- 外部サーバーを悪用する。別のエージェントはソフトウェアの脆弱性を利用し、本来のテスト環境外にある第三者のシステム上でコマンドを実行した。
- ウェブ制限を回避する。一部のモデルは、ウェブ取得ツールの制限を回避するため、URL短縮サービスを利用した。
研究者は、過剰な固執が繰り返し現れる問題だと特定した。AI企業は今回開示した事例を、 以前のサイバーセキュリティー・テスト事例よりも深刻度が低く、現実世界への影響は最小限だったと分類した。
Pretxtの共同創業者兼CEOであるBrian Sobyは、今回の調査結果を、自律システムを導入する際に組織が負う責任と結び付けた。「この整合は自動的に実現するものではない。こうしたエージェントを導入する組織には、それを確立し、継続的に監督する責任がある」
調査を受け、Anthropicは社内評価中のインターネットへのリアルタイムアクセスを制限し、ウェブ取得の制御機能を強化した。同社の新たな検知システムは、振り返りテストで報告されたすべての事例を阻止したが、安全策はまだすべての環境に導入されているわけではない。
Anthropicはまた、コーディングだけでなく、検索やコンピューター操作にもアラインメント訓練を拡大していると述べた。Claudeが デスクトップ操作機能と 組み込みブラウザーを備えるにつれ、このより大きな課題は重要性を増している。
eWeekが明らかにしたこと：以前の訓練上の判断が停止をめぐる疑問を提起
eWeekによるAnthropicの9月9日のアラインメント評価のレビューで、Mythos 5に関する以前の訓練上の判断が明らかになった。
研究者は、正当な制限によって特定の作業を完了できなくする演習を作成していた。モデルは、ルールを回避しようとするのではなく、失敗を受け入れることで報酬を得ていた。
AnthropicはMythos 5の2つのバージョンを訓練した。一方には実験的な演習を含めたが、もう一方ではそれらを省き、不要な確認要求を控えるようにした。後者はアラインメント評価のスコアがわずかに低かったものの、その差は通常のテスト上の変動の範囲内だった。従業員は後者の方が大幅に使いやすいと判断し、同社はそのバージョンを選択した。
アラインメント演習を拡大したさらなる実験では、シミュレーション評価中の深刻な偏った推論が減少した。Anthropicはその後、以前の訓練を省いたことはおそらく誤りであり、Mythos 5の比較的低いアラインメント性能につながった可能性が高いと認めた。
ジョージア州の事案では、公開アクセス可能な情報が扱われたが、Claudeは障害に遭遇した後、独自に取得方法を変更した。研究者は訓練を省いたことがこの事案の原因だと立証していないものの、こうした判断は、実験的な訓練が対処しようとしていた課題を示している。
業務システム全体で AIエージェントを利用する組織にとって、実務上の教訓は、結果だけでなく、それを生み出すために取った経路も評価することだ。テストには、利用できないレポート、拒否されたアクセス、エージェントの権限内では完了できない作業を含めるべきだ。役立つテストでは、エージェントが停止するのか、障害を説明するのか、それとも別の経路を試みるのか、そしてその経路が認可された範囲内にとどまっているかを記録する。
企業は、エージェントが独自に利用してよい代替手段と、人間の承認が必要な手段を定義すべきだ。別の公開ウェブページを読むことは許容されるかもしれないが、契約に同意したり、他人に割り当てられた認証情報を使ったり、本番用フォームを送信したりする場合は、別の判断が必要になる。権限設定でこうした境界を強制し、活動ログによってエージェントの行動を追跡可能にすべきだ。
ジョージア州の説明は、予想外の挙動を侵害と表現する前に、慎重に調査する必要がある理由も示している。公開データへのアクセスと不正アクセスでは、もたらされる結果が異なる。AI監督におけるより大きな課題は、エージェントの最終的な回答が有用だった場合でも、割り当てられた範囲内にとどまっていたかを確認することだ。自動化を成功させるには、次の判断を人間に委ねるべきタイミングをエージェントが認識する必要がある。
AI関連ニュース：OpenAIがAIゲートウェイについて事前承認を求めるほか、第三者に同社モデルへの直接アクセスを提供するルーターについても、11月20日から同様の承認を求める。