承認済みのカレンダー参照から数時間後、Grok Botが自ら再びカレンダーを確認しようとした。この試みはセキュリティログには現れたが、ボットのチャット履歴には所有者にそれを知らせる記録が残らなかった。
セキュリティベンダーのNewCoreは11月17日に公開した報告書で、5日間にわたり、xAIの2つのGrok Botが従業員アカウントから承認のない読み取りリクエストを31件送信していたことを明らかにした。どちらのボットも、それらを通じてデータを取得する前に、リクエストはNewCoreのセキュリティゲートウェイ上で期限切れになった。newcore.com
AIアシスタントを業務アプリに接続する企業にとって、この事例は調査時に重要な疑問を提起する。エージェントが会話と会話の間に何をしようとしたかを、セキュリティチームはどこで確認できるのか。
Grokのチャット履歴にない活動をセキュリティログが捕捉
NewCoreの従業員は、Grok Botの職場向けアシスタントにセキュリティゲートウェイ経由で社内アプリケーションへのアクセス権を与え、テストしていた。
1つのボットが承認済みのカレンダー参照を完了した後、数時間たってから再びカレンダーにアクセスしようとした。その日の夜と翌朝にも、さらに試みが続いた。
研究者は2つ目のアシスタントもテストし、同様の挙動に遭遇した。所有者は特定のリクエストを承認した一方、定期的な確認を行うという4件の提案は断っていた。最後のやり取りから15~19時間後、ボットはGmailとGoogle Calendarにアクセスしようとした。そのほかのリクエストには、Slack、GitHub、Notion、Drive、Jiraが含まれていた。
各リクエストは、承認されないまま期限切れになる前に、3分間の承認ウィンドウに入った。調査結果によると、セキュリティログにはアシスタントのチャット履歴にない活動が記録されていたため、調査担当者は何が起きたのかを示す独立した記録を得られた。
バックグラウンドの確認処理により、ボットは新たな指示なしに動作できた
調査担当者は、説明のつかないリクエストの原因をGrok Botに組み込まれたバックグラウンドの確認処理と突き止めた。この処理は、誰もアシスタントと積極的にチャットしていないときでも実行される可能性がある。
xAIによると、ボットは定期的に仕事を探し、自らタスクを提案できる。通知をオフにするとアラートは停止するが、こうした確認処理が無効になるわけではない。
NewCoreによると、xAIのサポートチームは、この挙動がソフトウェアの脆弱性ではなく、意図された機能だと確認した。同社のサーバーが開始した活動も、エージェントが利用できる会話記録には含まれておらず、エージェントが不正確な回答をした可能性を説明する手がかりとなった。研究者は意図的な欺瞞の証拠を見つけていない。
調査を受け、xAIはプロアクティブメッセージを無効にする新しい管理者設定を導入した。同社の 11月16日のリリースノートでこのオプションの導入が確認されているが、初期設定では引き続き有効になっている。
eWeekの調査:削除したGrok Botがログイン情報を残す可能性
eWeekはxAIのセキュリティ文書を調べ、Grok Botを削除しても、クラウドコンピューター上に保存されたファイルや、ログイン済みのブラウザーセッションが残ることを明らかにした。1人のユーザーに属するすべてのボットが、保存されたコマンドライン認証情報を含め、同じ環境を共有している。
xAIは、同じユーザーに属する別のアシスタントが引き続きそれらのリソースにアクセスできるため、ウェブサイトからのサインアウトと接続済みサービスの権限取り消しを、それぞれ別に行うようユーザーに指示している。
エージェントの無許可の挙動への懸念は、 10月の独立調査にも表れている。Salt Securityがセキュリティおよびテクノロジーの専門家を対象に実施した調査では、49.8%(ほぼ半数)が、自組織で承認していない行動を確認した、または疑っていると回答した。エージェントの活動全体を一貫して追跡できると答えたのは12.5%にとどまり、予期しない挙動を自動的に停止できるのは17.5%にすぎなかった。
NewCoreのゲートウェイは、企業が自社の 自律型AIエージェントを独自に確認する方法の一例を示している。アシスタントに業務システムへのアクセスを認める企業は、3つの領域を確認すべきだ。
- チャット外のアクティビティを確認する会話履歴とセキュリティログおよびアプリケーションログを照合する。拒否されたリクエストや、承認されないまま期限切れになったリクエストも対象に含める。
- 望ましくない処理を止める制御をテストするバックグラウンドの活動を無効にできるかを確認し、アシスタントがその設定を順守することを検証する。不要になった権限は削除する。
- ボットを廃止するときはアクセス権を取り消す社内アプリケーションとの接続を解除し、保存されたブラウザーセッションからサインアウトしたうえで、古い認証情報がなお機能するかをテストする。ボットのプロファイルを削除するだけでは不十分だ。
エージェントの出力は、それを生み出した会話が忘れ去られた後も、長く業務記録になる可能性がある。顧客の概要がCRMに貼り付けられたり、ボットが生成したレポートが予算決定の参考にされたりすることもある。後からそれを利用する人は、どの原記録を使ったのか、また誰かが結果を確認したのかを把握できなければならない。
繰り返し行うワークフローでは、その情報を成果物に組み込む。例えば週次のアカウントレポートに原記録へのリンクを付け、基礎データの不足を示し、確認した担当者の名前を記載する。そうすれば、次に読む人は、そのレポートに基づいて行動に移してよいか判断するのに十分な文脈を得られる。
AI関連のニュース:プログラミングや金融分析から産業エンジニアリングまで、Qwen4-MaxがAIエージェントにできることを広げている。