AmazonはエンジニアにAIを使ってほしいと考えている。だが、生産的に見せるためだけにトークンを使い果たしてほしいわけではない。
同社は10月27日に公開した社内メモで、利用実績を伸ばすための「Tokenmaxxing」、つまりAIが処理または生成するテキスト単位であるAIトークンの過剰消費を戒めた。エンジニアリング部門の幹部は、数値の向上を追い求めると、パフォーマンスを高められないままコストが増える可能性があると警告している。
現在、マネージャーは利用を競争に変えることなく、AIの導入を促進するという課題に直面している。
AIの利用指標は依然として重要だが、判断を要する
Amazonの改訂版エンジニアリング指針は、開発者が使うツールよりも顧客とビジネスの成果を優先している。ただし、長期的な成果が表れるまでには時間がかかる場合があり、個人の貢献と結びつけるのが難しいこともある。
そのため、このメモでは補助的な指標を2つ挙げている。
- インプット指標はトークン消費量と AIコーディングツールの導入状況を追跡する。利用量が多いことは試行錯誤の表れかもしれないが、開発者がより多くの成果を上げているかどうかを必ずしも示すものではない。
- スループット指標は、コード変更やレビューを含むエンジニアリング活動を対象とする。こうした件数をパフォーマンス目標として扱うと、不必要な作業やソフトウェアの複雑化を招く可能性がある。
経営陣は、目標として扱った場合、この2つの指標はいずれも大きな欠陥があると考えている。それでも同社は、最も活発なユーザー、いわゆる「フロンティアチーム」では、AIの導入とデリバリーの増加に相関関係があると報告している。
このメモによると、AIの導入に消極的だったり、成果を改善できなかったりする従業員やグループは後れを取っている。Amazonは、慎重かつ適切な判断とともに使えば、これらの指標がキャリアや組織のパフォーマンスについて考える際の参考になるとしている。
マネージャーに、高利用者と低利用者の調査を指示
エンジニアリングマネージャーには、AI導入率が下位10パーセンタイル付近にあるチームを調査し、なぜ利用が低いままなのかを理解するよう助言している。上位90パーセンタイルでは、集中的な利用がデリバリーの増加につながっているかどうかを判断する責任を負う。
現在のAIツールを使っても仕事にメリットがない開発者には、その経験を記録し、同僚や上司と話し合うよう促している。なぜテクノロジーが業務の改善につながらないのかを説明することは、健全なエンジニアリング判断の表れだ。
エンジニアリングマネージャー自身も、本番環境向けの業務でAIを使い、ツールが役立ったタスクと役立たなかったタスクを1つずつ特定することが求められている。この経験は、従業員の仕事を評価する方法に反映されるべきだ。
さらに、改訂された期待事項では、マネージャーにスタッフが 実践的なAIスキルを身につける時間を与えるよう求めている。エンジニアには、自分が支援する製品や顧客への理解を深めることも求めている。この分野では、一部の従業員が現場感覚を失っていると会社幹部も認めている。
eWeekの調査結果：トークン数は開発者の活動だけでなく、ツールの設計も反映する
同じAIモデルを使う2人のエンジニアでも、同程度の作業にかかるコストが大きく異なる可能性がある。単に、コーディングエージェントのソフトウェアの動作が異なるためだ。
AWSが10月21日に公開した ベンチマーク比較では、同じタスクとホスティング条件の下で、2つのコーディングエージェントフレームワークを使い、12の AIモデルをテストした。より負荷の大きいフレームワークでは1タスク当たり約24ドルかかったのに対し、軽量な代替フレームワークでは8ドルだったが、評価スコアは向上しなかった。AIエージェントを追加すると、より多くのトークンと処理時間を消費した。
Amazonはマネージャーに、チーム全体でAIの活動とエンジニアリングの成果を調べるよう求めている。しかしAWSの調査結果は、そうした比較に潜む問題を浮き彫りにしている。トークン数が多いのは、個人の努力や生産性が高いからではなく、ソフトウェアのオーバーヘッドを反映している可能性がある。
AWSのベンチマークは1つのリポジトリからタスクを選び、従業員のパフォーマンスは評価していない。その結果から導けるのは、より限定的な結論だ。コーディングエージェントの設計によってトークン消費量とコストは変わり得るが、評価された品質が相応に向上するとは限らない。Amazonの従業員指標が実際にどのように機能するかを示すものではない。
マネージャーにとっては、消費量を比較する前に、従業員がどのモデルやエージェント設定を使っているかを確認すべきだということになる。タスクの複雑さやレビュー要件も考慮する必要がある。トークン数が多いというだけでは、生産的に試行錯誤しているのか、失敗した試みを繰り返しているのか、より多くのリソースを消費するツールを実行しているのかは分からない。
より有用な評価では、利用データに、品質、レビューにかけた労力、手戻り、納期など、完了した仕事に関する証拠を組み合わせることになる。これはAIの活動を解釈するために提案された確認事項であり、AWSのベンチマークは従業員のパフォーマンスを評価していない。
エンジニアにとっては、AIが役立つ場面と、逆に作業を増やす場面を記録しておくことで、こうした議論をより具体的にできる。より広い職場の問題は、雇用主が、数えやすいというだけの理由で活動量を増やすインセンティブを生み出すことなく、実証された改善を評価できるかどうかだ。
AIのヒントや便利なテクニック、プロンプトの技法をもっと知りたいですか？eWeek読者なら、The Neuron Academyを7日間無料で利用できます。仕事でより自信を持ってAIを活用できるよう支援する、実践的な学習プラットフォームです。すべてのレッスンを見る →
無料でお教えするAIとの話し方をどうぞ！The Neuron Academyの6分間コースを試して、より良いプロンプトを書き、AIからより有用な結果を得るための簡単な方法を学びましょう。ほかのAIコースも7日間無料で閲覧できます。すべてのレッスンはこちら →