企業は高性能AIモデルへのアクセス料を支払い、説得力のある回答を受け取っても、そのリクエストを宣伝どおりのモデルが処理したという証拠を、応答そのものから得られない場合がある。画面に表示された名前が示すのは、プロバイダーが主張している内容だけだ。
Anthropicは11月2日、モデルの独自ウェイトを明らかにすることなく、AIの応答の背後にあるモデルを顧客が自ら検証できるようにするオープンソースの研究プロトタイプ、FlashProveを発表した。
より多くの組織が外部プラットフォームを通じてAIを利用するようになる中、どのモデルがそうしたサービスを支えているのか確認できれば、顧客はプロバイダーと料金を支払っているテクノロジーを評価する新たな手段を得られる可能性がある。
4000億パラメーターのモデルでFlashProveをテスト
FlashProveは、特定のAIモデルを表す数学的フィンガープリントから始まる。リクエストに回答した後、プロバイダーは別個の証明を生成でき、顧客はモデルのウェイトにアクセスせずに、そのフィンガープリントと照合できると、Anthropicの研究は説明している。
研究者は、4ビットのウェイトを使い、MetaのLlama 4 Maverickを整数演算版にしたモデルでシステムをテストした。このMixture-of-Expertsモデルには、合計で約4000億個のパラメーターが含まれている。Claudeは検証ソフトウェアの最適化を支援した。研究者は形式検証システムのLeanを使い、指定された数学的なセキュリティ特性を証明した。ただし、こうした保証が高速なC++製検証ソフトウェアに自動的に及ぶわけではない。
各証明の容量は約19 MBで、24スレッドを使うコンピュータのプロセッサー上で検証するのに17秒かかった。このチェックを実行する顧客は、AIモデルの実行に使われる高価なGPUを必要としない。主要なベンチマークでは、1,024トークンのウィンドウ内で、リクエストごとに生成された1トークンを検証した。研究者は応答の全トークンを検証するテストも行い、速度に測定可能な差はなかったと報告している。
こうした証明の生成には、はるかに大きな負荷がかかった。Anthropicはベンチマーク比較において、広く使われている推論エンジンvLLMでプロンプトを処理する場合と比べ、GPU時間が約70～95倍になると測定した。
企業はFlashProveでAIサービスをチェックできる
企業は、AIモデルを特定の業務で評価してから、利用を承認することがある。サービスが後に別のバージョンを提供すれば、その応答は従業員が利用を承認されたシステムのものと異なる可能性がある。Microsoft Foundryのようなプラットフォームは、複数の開発者によるモデルへのアクセスを提供しており、独立した検証の潜在的な用途となる。
不正な変更も別のケースに当たる。組織はこのテクノロジーを使い、承認済みのモデルが改変または置き換えられていないか調査できる。外部の評価者は、 AIの安全性評価の際に検証したシステムが、後に顧客へ提供されたバージョンと一致するかどうかを確認することもできる。
Anthropicは以前、別の検証手法を Frontier Safety Roadmapで検討していた。FlashProveの GitHubリポジトリでは、新しいプロトタイプを研究用に公開しているが、保守されていない研究成果物だと明記している。商用のClaudeサービスへの統合は発表されていない。
eWeekが分かったこと：AIの身元確認には、証明が通るだけでは不十分
FlashProveの 技術文書は、プロバイダーが購入したモデルを提供した証拠として証明を扱う前に、証明が実際に何を対象としているのかを企業が調べる必要がある理由を示している。
- 厳密な一致は、通常のAI生成とは異なる。従来の浮動小数点推論で生成された保存済みの192件の応答のうち、どの位置でも整数モデルの最高スコアのトークンと一致したものは1件もなかった。研究者は完全な暗号学的検証を行わずに、これらの応答をスコアリングした。この結果は推論手法間の互換性の問題を示すものであり、プロバイダーが別のモデルに差し替えたことを立証するものではない。
- より柔軟なチェックがもたらす保証は、より限定的だ。別のスコアリング方針では、モデルの最高スコアのトークンからの逸脱が認められる。受け入れの可否は設定された上限に左右され、テキストがどのように生成されたかを立証するものではない。企業は、その結果が意味のある保証を提供するか判断する前に、こうした上限を調べる必要がある。
- モデルの身元には、独立した基準が必要だ。顧客は、モデルの身元を保証する信頼できる第三者から、モデルのコミットメントIDを取得しなければならない。その識別子をチェック対象のサービスからのみ受け取るなら、顧客はモデルを特定する独立した根拠を持てなくなる。
- 対象範囲が重要だ。証明が適用されるのは、チェック対象として選ばれたトークンの位置だけだ。応答の一部を検証しても残りのテキストは認証されないため、顧客は信頼しようとする出力がチェックの対象に含まれていることを確認する必要がある。
企業で AIガバナンスを管理する立場にとって、こうした違いは今後のプロバイダー評価を左右する可能性がある。購入者は、どのモデルのコミットメントが認証されるのか、どの出力が対象となるのか、検証ポリシーがどのような逸脱を許容するのかを確認する必要がある。
身元確認に成功しても、正確性、安全性、業務上のタスクへの適合性については、別途評価しなければならない。検証条件が明確であることを前提に、FlashProveは顧客にモデルが実際に提供されたことについて、より強力な証拠を与えられる可能性がある。
AIニュース：AIエージェントは近く、シミュレーション上のオフィスでより多くの時間を訓練に費やすようになるかもしれない。Platoが実際の業務ワークフローに基づく訓練環境を開発することで。