AIエージェントのワークロードは、モデルが応答を返した時点で終わるわけではない。業務データの取得、コードの実行、タスクの調整もCPUに負荷をかける。
AMDは11月10日、第6世代EPYC SP7サーバープロセッサーの一般提供開始を発表し、エージェンティックAIのインフラやエンタープライズアプリケーション向けに位置付けた。
AIの導入を拡大する企業にとって問題となるのは、CPU容量を増やすことで、投資を正当化できるほど性能が向上するかどうかだ。
AMDが第6世代EPYCで変えること
AMDは、エージェンティックAIインフラにおける第6世代EPYCの製品群を、次の3つのCPUの役割を中心に位置付けている。
- 汎用サービス：エンタープライズアプリケーションを実行し、AIワークロードを支える
- GPUホストノード：AIアクセラレーターにデータを供給し続ける
- エージェント用サンドボックス：複数のAIエージェントを同時に実行する
AMDはまた、10月に発表した同社の HelionエージェンティックAIラックの設計指針について、3つの導入オプションを示した。
- AMD Helion Liquid：液冷データセンターで大規模なエージェント実行に対応する高密度のCPU容量。
- AMD Helion Air：既存の空冷データセンター向けに追加のエージェント容量を提供する。
- AMD Helion Air Inference：CPUによる実行と ローカルGPU推論を1つのラックに統合する。
ワークロードに特化したプロセッサーとHelionラック設計を組み合わせることで、企業はAIインフラを構築するための複数の選択肢を得られる。サポートが必要なワークロードに基づいてCPUを選び、既存のデータセンターの能力、冷却要件、導入規模に応じてラック構成を選択できる。
eWeekの見解：アップグレードの妥当性はワークロード次第
今回の発表は、データ取得、コード実行、タスク調整など、AIモデルを取り巻くCPUの処理に焦点を当てている。エージェンティックAIインフラを評価する企業は、GPU容量と併せてこうした負荷を評価すべきだ。
AMDは ラック単位の性能で最大3.3倍になると見込んでおり、Nvidia Veraベースのシステムに対して、100 kWの電力予算内でEPYC 9996ベースのシステムが実現するとしている。この比較は、ウェブ配信、データベース、Javaアプリケーションなど6つの汎用ワークロードを組み合わせたものだ。暫定的な予測または測定値に基づいており、企業のエージェンティックAIワークフロー全般で同等の向上が得られることを示すものではない。
また今回の発表は、AIエージェントを導入するために企業が第6世代EPYCを必要とすることも示していない。投資判断は、まず 既存のAIインフラが性能を制限している箇所を示す証拠から始めるべきだ。
アップグレードに先立ち、企業は次の点を評価すべきだ。
- ワークフローが遅くなる箇所：代表的なタスクの実行中に、CPU使用率、メモリー負荷、データアクセスの遅延、GPUのアイドル時間を測定する。
- 追加容量がもたらす効果：事業で想定する同時実行数において、完了したタスク数、応答時間、失敗数を比較する。
- 導入にかかるコスト：サーバー、メモリー、ネットワーク、冷却、ソフトウェアライセンス、移行にかかる費用を総コストに含める。
- ソフトウェアスタックがサポートされているか：OS、ハイパーバイザー、アプリケーションの互換性を確認する。AMDのx86アーキテクチャだからといって、Intelベースのすべてのワークロードが変更なしで移行できると一律に保証されるわけではない。
エージェンティックAIは、企業のインフラ投資の配分方法を変える可能性がある。容量計画では、モデルの応答を実際に完了した作業へと変換するシステムを考慮しなければならない。AMDの新プロセッサーは新たな選択肢を提供するが、アップグレードの最も確かな根拠となるのは、本番ワークフローで測定可能な改善が得られることだ。
詳しくはこちら：AMDの最新の性能主張を、 Nvidia Veraとの過去のEPYC Venice比較を詳しく検証した記事で、主張される大幅な性能向上がコア当たりで測定すると縮小する可能性がある理由も含めて確認してほしい。