誰かがAIチャットボットに人を傷つける方法を尋ねた場合、通常なら拒否応答によって会話は終わるはずだ。しかし連邦政府の調査で、その防御には憂慮すべき弱点があり、米国民の生命や重要インフラに影響を及ぼす可能性があることが分かった。
米国政府監査院(GAO)は秘密裏のテストで、ChatGPT、Claude、Gemini、Grokが、地域の標的への攻撃を助ける可能性のある情報を提供できることを確認した。
調査員はさらに、生成された計画の一部が現実の条件下で実行可能かどうかも確認した。
調査員はAIの攻撃計画を現実世界で検証した
調査員は4つのAIチャットボットを、大量殺傷用爆発物と送電網設備への攻撃を想定した2つのシナリオに分けた。各サービスは計画を生成した。12時間未満でのことだった。
プラットフォーム | 攻撃シナリオ | 生成された情報 |
|---|---|---|
A | 大量殺傷用爆発物 | ホテルの場所、正確な時刻、補助映像 |
B | 大量殺傷用爆発物 | コンベンションセンターの場所、提案日、詳細な計画のタイムライン |
C | ドローンを使った送電網への攻撃 | 変電所の場所、攻撃方法の案、シミュレーション画像 |
D | 銃器を使った送電網への攻撃 | 複数の変電所の標的、季節を考慮した時期、生成された地図 |
注:GAOは、テストの再現を防ぐため、どのチャットボットが各アルファベットのプラットフォームに対応するかを伏せた。
計画が現実世界で実行可能かどうかを確認するため、調査員は選定した場所を訪れ、専門家に意見を求めた。爆発物処理班の指揮官は、爆発物に関する一部の指示が技術的に実行可能だと確認し、電力業界の専門家は送電網設備への潜在的な損害を評価した。
一部の提案は現実性の検証を通過しなかった。提案された会場の1つでは、指定された日にイベントが予定されておらず、別のプラットフォームが生成した地図には実在しない道路が含まれていた。現地調査では、4つの変電所のうち2つが、チャットボットの示唆よりも脆弱性が低いことも分かった。
GAOは、その情報が誰かの攻撃準備を助ける可能性があると結論付けた。ただし調査員は、提案された作戦を実行したわけでも、すべての手順を検証したわけでもない。
チャットボットの安全策は作動したが、要求を阻止できなかった
4つのサービスはいずれも当初、GAOが用意したプロンプトを拒否した。しかし、AIの脱獄攻撃として知られる手法を使って会話を続けると、最終的にシステムは、それまで拒否していた情報を提供するようになった。
GAOは、テスト中およびテスト後に各プラットフォームがどのように対応したかも記録した。
- 有料アクセス。調査員はテストの継続に伴ってメッセージ上限を増やし、機能を追加するため、3つのサービスを上位のサブスクリプションプランにアップグレードした。
- 会話の削除。その後、2つのプラットフォームがチャット履歴の一部を削除したが、調査員は応答のコピーを保持していた。
- アカウント停止。別のサービスは、有害な情報が生成された後に調査員のアカウントをブロックした。
OpenAIは、自社サービスが多くの要求を拒否するか、より安全な代替案を提示したと述べた。Anthropicは、サンプル数が少なく対照群も存在しない点を問題視した。GAOも、これらの点から、どのプロバイダーがより安全かを結果から判断することはできないと認めた。
それでもこの調査は、最初の拒否とその後の取り締まりだけでは、危険な情報がユーザーに届くのを一貫して防げないことを示した。
eWeekの調査結果:AIは他のAIモデルの安全策を破ることができる
別の調査では、こうした会話を人間が自分で行う必要すらない可能性が示されている。
2月、シュトゥットガルト大学とELLIS Alicanteの研究者は、査読付き 掲載研究:Nature Communicationsで、先進的なAIが他のチャットボットの安全保護を独力で破れるかどうかを検証した研究を発表した。
研究者は、 DeepSeek-R1やGrok 3 Miniを含む4つの推論モデルを使い、9つのAIシステムを相手に自動化された会話を行った。攻撃側のモデルは最初の指示を受け取った後、人間による継続的な監督なしに処理を進めた。
テストした組み合わせでは、この手法は70件のベンチマーク要求のうち68件で有害出力スコアが最高となり、報告された全体の脱獄成功率は97.14%に達した。研究者が測定したのは管理された条件下で生成された応答であり、現実の攻撃の成功率ではない。
この制限を踏まえても、今回の結果は憂慮すべき可能性を示している。悪意あるユーザーはAIを使い、すべての会話に自分で対応することなく、チャットボットの安全策に対して繰り返し試行できる。この自動化によって、組織が検知して阻止すべき試行の数は大幅に増える可能性がある。
顧客向けチャットボットや AIエージェントを導入する企業は、防御の3つの領域を強化することで備えられる。
- 会話全体をテストする。危険な要求を最初に拒否した後も含め、複数回のやり取りを通じてシステムがどう応答するかを評価する。
- 執拗な探査を検知する。アカウントやセッションをまたいだ繰り返しの試行を監視し、有害になる可能性のある出力を遮断して、不審な活動をエスカレーションする制御を設ける。
- モデルの外部で保護を適用する。チャットボット自身の拒否動作だけに頼らず、個別のコンテンツチェック、アクセス制限、 独立した監視を適用する。
放置すれば、AIプロバイダーが悪用を封じ込める前に、危険な指示が暴力を企てる人々に届く可能性がある。こうした情報がコピー、共有、実行されてしまえば、会話を削除したりアカウントを停止したりしても、現実世界の被害を防ぐには手遅れになるかもしれない。
AI関連ニュース:セキュリティ研究者が確認した承認なしのリクエストを送るGrok Botsは、企業アプリケーションに対してリクエストを送っていたが、承認ゲートウェイによってデータの取得は阻止された。