OpenAI、ソフトウェア最適化によりAI推論コストを半減か

OpenAIのエンジニアが、ソフトウェアレベルの新しい最適化手法により、AIモデルの「推論コスト」を半分以下に削減する方法を発見したと海外メディアのThe Informationが報じました。この手法をChatGPTのゲストユーザー向けにテストしたところ、処理の一部に必要なNVIDIA GPUの稼働台数をわずか200個にまで激減させることができたとされています。

1. 巨大化するAI企業の推論コスト問題

AIモデルのライフサイクルにおいて、1回限りのトレーニングコスト（学習コスト）が注目されがちですが、ユーザーの入力に応じてリアルタイムで出力を生成する「推論コスト」はサービスを利用するたびに発生します。特にChatGPTや各種API、AIエージェントの処理において、この推論コストが運用費用の大半を占めており、あるテクノロジー業界のアナリストの推定によると、OpenAIは2025年上半期だけで推論コストに50億ドル（約8,140億円）以上を費やしたとされています。

2. 想定される最適化のアプローチと効果

今回の最適化手法の具体的な仕組みは公表されていませんが、AI関係メディアや専門家は、「バッチ処理の効率化」「キャッシュ再利用性の向上」「モデルの量子化（重みのビット幅削減）」「軽度な質問を安価なモデルへ自動的にルーティングする賢いロードバランシング」などの複合的なソフトウェア変更である可能性を推測しています。物理的なGPU調達を増やすことなく、既存のサーバー資産の利用効率を高めることで、ハードウェア契約に縛られない大幅な運用コストの削減が可能になります。

この推論コストの削減手法がChatGPTの全ユーザーや有料会員、さらには商用API全体に展開・一般化された場合、OpenAIはサービスの利用価格を大きく引き下げたり、無料枠の提供範囲を拡大したりすることができます。特に、業界全体でAI用超巨大データセンターの建設競争とチップ不足が課題となる中、ソフトウェア側の改善のみで推論ワークロードを倍増できる技術は、企業の利益率を保護するための最も安価で効率的な防衛手段となり得ます。

引用元：GIGAZINE