AI関連の最新ニュースをピックアップ
マイクロソフトは、大規模言語モデル(LLM)への質問1回あたりに必要な消費電力を推計した新たな分析結果を発表しました。それによると、一般的な質問に対する処理時の消費電力は中央値で約0.31 Wh(推定幅0.16〜0.60 Wh)であり、これは「1000Wの電子レンジを約0.6〜2秒間動かすエネルギー」に相当します。
マイクロソフトの研究チームは、NVIDIA H100チップを搭載した8台のサーバー上で、2,000億パラメータを持つモデルを走らせてシミュレーションを行いました。過去の電力推計では、少数の質問を個別に処理する実験環境をベースに算出されたものが多く、一度に複数の質問を処理する「バッチ処理」による高効率化が加味されていませんでした。
回答の中央値が約300トークンの場合は0.31 Whですが、複雑な推論や長尺のコード生成により回答が5,000トークンに達した場合は、消費電力が約13倍(3.91 Wh)に跳ね上がります。同社は、AIの処理インフラの最適化、用途に応じた小型モデルへのタスク振り分け、自社製AIカスタムチップの導入などを組み合わせ、効率をさらに8〜20倍高めることができると展望を示しました。
「ChatGPTの質問1回はGoogle検索の10倍の電力を消費する」といった過大な従来推計が独り歩きする中、マイクロソフトが提示した「バッチ処理を考慮した実態値」は、AI運用の現実的な環境負荷を見積もる上で極めて重要なデータとなります。推論のステップが増えるにつれて電力負荷が急増する事実も示されており、運用ソフトウェアの精緻な電力チューニングが重要です。