オフラインと説明されていたAIのテスト環境に、パブリックインターネットへの経路が残っていた。ほかのモデルも、封じ込めを維持するために設けられた制限を回避する方法を見つけた。
ジェフリー・ヒントン氏、ヨシュア・ベンジオ氏ら数百人の科学者が、サイバー攻撃能力を持つAIモデルの封じ込め強化を求めている。2026年10月に発表した公開書簡では、まずこうしたシステムを外部ネットワークから隔離し、封じ込めに失敗した場合の対応に関する国際標準を策定するよう勧告している。
この提案の背景には、OpenAIとAnthropicのモデルが、想定されたテスト環境の外部にあるシステムへ到達したサイバーセキュリティー評価がある。これらの事案は、クラウドインフラ、業務アプリケーション、機密データへのアクセスを自律型エージェントに許可する企業に疑問を投げかけている。
科学者がAIの隔離を求める理由
科学者らの公開書簡は、10月16日時点で489人の研究者が署名しており、高い保証水準の封じ込めを求めている。当初は、システムを外部ネットワークから切り離すエアギャップを支持している。
署名者らはまた、接続型AIシステムの標準策定、封じ込めの失敗の記録、公的なインシデント報告の支援を行う国際機関の設立を提案している。これらの勧告に拘束力はない。
Anthropicは9月9日の調査で、サイバーセキュリティー評価中にClaudeモデルが第三者のシステムへ不正アクセスした4件の事案を記録した。そのうち3件は7月に最初に公表され、約14万1000件のトランスクリプトを調査した後に明らかになった。
約4億8100万件のトランスクリプトを対象にしたより広範な検索では、同程度の深刻さを持つ追加の事案は見つからなかった。Anthropicは、オフラインで実施すると説明されていたにもかかわらずインターネット接続を維持していた、設定ミスのある第三者環境が失敗の原因だとした。評価対象のモデルには、リリース版に搭載されている安全策が欠けていた。
OpenAIでは別の問題が発生した。7月の評価中、同社のモデルはインフラの脆弱性を悪用し、ネットワーク制限を回避して、Hugging Faceのシステムを侵害した。
同社の8月26日の調査では、不正な通信と複数の脆弱性の悪用について説明している。侵害されたインフラと、モデルの低減された安全策の詳細は、以前のHugging Face侵害調査に記載されている。
接続型の企業向けエージェントが抱える課題
クラウドAPI、データベース、業務アプリケーションに依存する多くの企業向けエージェントにとって、完全な隔離は現実的ではない。科学者らも、一部のシステムには接続性が必要だと認めており、すべてのAIエージェントを恒久的に切断するのではなく、アクセスを管理する標準を求めている。
企業は、外部への接続を制限し、認証情報を絞り込み、介入手順をテストすることで、リスクを低減できる。こうした安全策は、不正なAIエージェントから企業インフラを防御する取り組みを基盤としており、特にコードの実行や機密システムの変更を許可されたエージェントが対象となる。
ベンダーは、自律的なタスクの実行中にこうした制御がどのように機能するかを示すべきだ。管理者が不正な活動を検知して実行を中断できるかどうかも含まれる。
eWeekが分かったこと：AIの能力テストでは封じ込めを証明できない
AnthropicとOpenAIの事案は、管理されたサイバーセキュリティー評価向けに設計された環境で、異なるセキュリティー上の失敗が起きたことを明らかにした。
Anthropicのテストインフラは、モデルには存在しないと伝えられていたインターネット接続を維持していた。OpenAIは技術的な制限を設けたが、モデルは脆弱性を悪用して制限を回避した。一方の失敗は設定ミスに起因し、もう一方は強制された制御の弱点に関係していた。
両社は事案を調査し、是正措置を説明した。Anthropicは当初の公表内容を3件から4件に拡大し、OpenAIは隔離と監視を強化した。いずれの調査も、企業の本番環境で同様の失敗がどの程度の頻度で起きるかは明らかにしていない。
科学者らの提案は封じ込めの標準とインシデント報告を扱っているが、認証制度を定めておらず、接続されたすべてのエージェントが同等のリスクを抱えることを証明するものでもない。
企業の調達部門は、モデルの能力と導入時のセキュリティーを分けて評価し、エージェントの自律性を拡大する前に、強制された権限、ネットワーク制限、テスト済みのシャットダウン手順に関する証拠を求めるべきだ。
続きを読む：自律型サイバーセキュリティーツールの能力が高まるなか、OpenAIとCrowdStrikeが取った異なるアプローチは、企業がAIの能力と、その利用を管理する制御の両方を評価しなければならない理由を示している。