企業が記録を更新しても、AIエージェントは依然として古い情報に頼る可能性がある。新たな研究によると、高度なモデルでさえ、矛盾する記録を解釈し、特定の時点でどの情報が正確だったかを判断するのに苦戦している。
KAISTとKorea Universityの研究者は2026年10月20日、AIモデルが変化する職場の記録をどのように解釈するかを検証するMMEnterprise-Benchを発表した。この調査結果は、文書、メッセージ、画像にまたがる矛盾した情報の解消や改訂履歴の追跡における弱点を浮き彫りにしている。
企業がAIエージェントにより多くの責任を与えるなか、古い情報がプロジェクトの締め切り、財務報告、顧客記録に関わる意思決定に影響する可能性がある。文書を正しく検索できても、正確な回答が得られるとは限らない。
AIエージェントが変化する記録の追跡に苦戦する理由
このMMEnterprise-Benchの研究では、30の職場プロジェクトをシミュレーションし、1,613問を用いて10種類のマルチモーダルAIモデルを評価した。7,140件の記録には、文書、メッセージ、ビジュアル資料が含まれていた。
研究者は、情報抽出、矛盾の解消、そして十分な証拠を欠く質問をモデルが認識できるかどうかを検証した。
検索した記録が10件の場合、最も高性能だったGPT-5.6 Solの全体正解率は52.6％だった。情報源間の矛盾に関する問題では36.3％、過去の情報を必要とする質問では32.5％にとどまった。
検索対象を50件に増やすと、全体正解率は68％に上昇した。しかし、性能の伸びはモデルによって異なり、証拠を追加しても一貫してより良い回答が得られるわけではないことが示された。
視覚情報は特に難しかった。GPT-5.6 Solの正解率は、テキスト記録1件を必要とする質問では83.3％だったのに対し、複数の画像を必要とする質問では27.5％だった。
企業がAIコパイロットから自律型ワークフローへ移行すると、こうした弱点はより重大な結果を招く可能性がある。古い情報に基づいて行動するエージェントは、これまで従業員による確認が必要だったプロセスに誤りを持ち込むおそれがある。
企業向けAIにはより優れた記録検証が必要
エージェントを文書リポジトリや業務アプリケーションに接続する組織は、検索精度だけでなく、より幅広い検証を行う必要がある。システムは、改訂された情報と以前のバージョンを区別し、記録同士が矛盾している場合を認識しなければならない。
Dataikuが提案するプラットフォームをまたぐAIエージェントの追跡は、導入状況を可視化したいという需要の高まりを反映している。ただし、エージェントの活動を監視しても、エージェントが利用する情報の正確性を検証することにはならない。
企業のアーキテクトは、エージェントに重大な意思決定を支援させる前に、矛盾する文書、過去のタイムスタンプ、形式の異なる証拠をテストすべきだ。既存のAIガバナンスとトレーサビリティに関する懸念により、組織が自動化を拡大するなか、こうした確認の重要性は特に高まっている。
eWeekの調査結果：証拠が増えれば改善するが、過去の情報の正確性は依然として低い
MMEnterprise-Benchは、変化する記録について推論する際の測定可能な弱点を明らかにしている。検索した記録が10件の場合、GPT-5.6 Solの情報抽出における正解率は67.5％だったが、時間的な矛盾に関する正解率は32.5％にすぎず、35ポイントの差が生じた。
検索対象を50件に増やすと、全体正解率は15.4ポイント上昇して68％に達した。時間的な矛盾に関する正解率も56.1％に改善したが、依然として相当数の質問に誤答している。
この結果は、改訂された情報をまたいだ推論ではなく、業務タスクの完了を検証したArgo-Benchなど、これまでの企業向けエージェント評価を発展させるものだ。両ベンチマークは異なる能力を評価しており、スコアを直接比較することはできない。
MMEnterprise-Benchは、シミュレーションした職場の記録を中心に構成された研究プレプリントだ。実際の業務取引ではなく質問応答を評価するため、その結果から本番環境での失敗率が示されるわけではない。
財務、業務、コンプライアンスに関する記録を扱う導入では、エージェントが関連文書を検索できたかどうかだけでなく、過去の情報の正確性や矛盾する証拠も検証に含めるべきだ。
AIに関するヒントやテクニック、プロンプトの方法をもっと知りたいですか？無料で学べるAIとの話し方をお教えします！The Neuron Academyの6分間のコースをぜひお試しください。The Neuron Academyは、仕事でより自信を持ってAIを使えるよう専門家を支援する、実践的な学習プラットフォームです。
より良いプロンプトを書いてAIから有用な結果を得るための簡単な方法を学ぶか、その他のAIコースを7日間無料でご覧ください。eWeekの読者には7日間の無料アクセスが提供されます。すべてのレッスンはこちら→