MicrosoftのコーディングAIは、呼び出しごとの推論料金なしでローカル実行できるが、最高の性能を引き出すには高額なハードウェアアップグレードが必要になる可能性がある。
Microsoftは10月7日、開発者がMAI-Code-1.1-Flashを自分のコンピューターにダウンロードし、ローカル推論料金を支払わずに実行できるようになったと発表した。同社は最適な性能を得るには120GBを超えるRAMを推奨しており、多くの開発者向けワークステーションのメモリー容量を上回る。
企業にとって今回のリリースは、継続的に発生するクラウド費用と、初期に必要となるハードウェアコストのどちらを選ぶかという問題を突きつける。Microsoftが予定するGitHub Copilotとの統合も、ワークロードの配置や専有コードの保護をめぐる疑問を生じさせている。
ローカルコーディングAIには大容量メモリーのハードウェアが必要
Microsoftの技術的な解説によると、MAI-Code-1.1-Flashは、総計1370億個のパラメーターのうち、トークンごとに68億個がアクティブになるMixture-of-Expertsアーキテクチャを採用している。量子化版の容量は53GBで、フル精度のクラウドモデルより約80％少ない。
Surface Laptop Ultraでテストしたところ、最大256,000トークンのコンテキストウィンドウでメモリー使用量のピークは75.5GBに達した。Microsoftは別途120GBを超えるRAMを最適な性能のために推奨している。
これらの数値は異なる測定結果を示している。モデルサイズは実行時のメモリー消費量と同じではなく、OSのプロセスや開発ツールにも追加容量が必要になる。Microsoftは120GBを必須の最低容量とはしていない。
Microsoftが10月5日に実施したベンチマークでは、量子化モデルのSWE-bench Verifiedスコアは70.8％で、フル精度版の72.6％と比較してわずかに低かった。Terminal-Bench 2.1では66.29％で、より大きなモデルの62.9％を上回った。
同社が報告した結果は、量子化によってこれらのベンチマークでモデルの性能の大部分が維持されたことを示唆している。ただし、企業のワークロード全体での信頼性を評価するには、独立したテストが必要だ。
推論料金ゼロでコストがハードウェアに移行
ローカル推論では呼び出しごとの料金はなくなるが、インフラ費用までなくなるわけではない。組織は引き続き、ハードウェア、電気代、保守費用、さらに別途必要になる可能性があるサブスクリプションやクラウド利用料を考慮しなければならない。競合サービスには、MetaのMuse Codeコーディングエージェントなどがあり、利用量に応じた料金体系によって、企業が検討できる別のコストモデルを提示している。
Microsoftのテストに使われたSurface Laptop Ultraは、NVIDIA RTX Sparkハードウェアを搭載し、最大128GBのユニファイドメモリーに対応する。このノートPCの価格は2,599ドルからだが、この価格には最大メモリー構成は含まれていない。
GitHub Copilotアプリ、CLI、Visual Studio Codeとの実験的な統合は、2026年10月末までに予定されている。開発者はローカル推論を選択したり、デバイス上のモデルとクラウドモデルの間で自動ルーティングを利用したりできるようになる。
クラウドへのルーティングは専有コードに関するガバナンス上の考慮事項を生む一方、ローカル実行にも別のリスクがある。あるデモでは、悪意のあるGitHubリポジトリがコーディングアシスタントにコマンドを実行させ、リバースシェルを開かせた。
Microsoftはエージェントが実行するコマンド向けのサンドボックス制御を導入しているが、組織は引き続き、ファイルアクセス、認証情報、ネットワーク権限を管理する必要がある。より広範な不正なAIエージェントに対する企業防御には、最小権限アクセス、実行制限、アクティビティー監視などが含まれる。
eWeekが分かったこと
Microsoftの仕様は、料金不要のローカル推論の背後にあるインフラ投資の大きさを浮き彫りにしている。すでに大容量メモリーのワークステーションを保有する組織は新たなハードウェア購入を避けられる可能性があるが、それ以外の組織には多額の初期費用が生じる。
実際の節約額は、ワークロードの頻度、ハードウェアの稼働率、ガバナンス要件によって異なる。企業は、推論料金ゼロを低コストの選択肢とみなす前に、これらの要素をクラウド利用と比較する必要がある。
AIに関するヒントやコツ、プロンプトのテクニックをもっと知りたいですか？無料で学べるAIとの話し方を私たちが教えます！実践的な学習プラットフォームであるThe Neuron Academyで、6分間のコースをお試しください。仕事でより自信を持ってAIを使えるようになるためのプラットフォームです
よりよいプロンプトを書いてAIから有用な結果を得る簡単な方法を学んだり、他のAIコースを7日間無料でご覧いただけます。eWeek読者は7日間無料でアクセスできます。すべてのレッスンはこちら →