GimletとCerebras、毎秒3千トークンの推論基盤提供

AI推論ソフトウェア基盤を手がける米Gimletと、超巨大ウェハー規模プロセッサを開発する米Cerebras Systems（シリコンウェハー全体を1つの巨大チップにした独自のAIプロセッサを開発する米半導体企業）は10月13日、クラウド推論プラットフォーム「Gimlet Cloud」において提携を発表しました。Cerebrasの最新システム「CS-4」と高スループットGPUを組み合わせ、最大毎秒3,000トークンという超高速なAI推論能力を提供します。

分散推論（Disaggregated Inference）アーキテクチャの採用

Gimlet Cloudはマルチシリコン推論プラットフォームとして機能し、100メガワット（MW）規模のCerebras搭載推論キャパシティを展開する計画です。

• ​異種チップの統合​: CerebrasのWafer Scale Engine（WSE）とGPUを組み合わせた分散推論（disaggregated inference）アーキテクチャを採用。
• ​処理フェーズごとの最適配分​: Gimletの制御ソフトウェアが、モデル実行の各フェーズに応じて最適なシリコンへ処理を自動的に振り分ける。
• ​対象ユースケース​: 音声対話、リアルタイム映像処理、自律エージェントなど、応答速度がユーザー体験を決定づけるリアルタイム対話サービスを想定。

両社は数四半期にわたり共同開発を進めており、プライベート環境ではすでに本番トークンの供給実績があります。

従来推論サービスとの速度・アーキテクチャ比較

一般的な高速クラウド推論サービスが毎秒数百トークン程度にとどまるのに対し、本構成は最大毎秒3,000トークンを標榜しています。単一のプロセッサファミリーに依存するのではなく、高速な応答が求められるフェーズにCerebrasの極低遅延プロセッサを充て、大スループットが求められる部分にGPUを活用することで、データセンター経済性と応答性能の両立を目指しています。

提供体制と未確認事項

GimletはAndreessen HorowitzやMenlo Venturesの出資を受ける新興企業で、CS-4のローンチパートナーとして展開します。すでにプライベート環境での実稼働を開始しているものの、一般開発者向けパブリックAPIの正式提供時期や利用料金体系は現時点で未公表となっており、今後の商用ロードマップの開示が待たれます。

分析と今後の展望

単一種類のGPUに頼る従来型のデータセンター構成から、タスクの特性に応じてウェハー規模チップとGPUを組み合わせて協調動作させる「異種シリコン混在（ヘテロジニアス）推論」への移行が本格化しています。リアルタイムエージェントの普及に伴い、スループット（量）だけでなく超低遅延（速度）を両立させるインフラ設計が競争優位の源泉になりつつあります。

引用元：DataCenterNews US