AI関連の最新ニュースをピックアップ
米IBMの研究開発チーム「IBM Granite」は、単一のホストエンドポイントから自然言語対話、意思決定(分類判定)、音声認識の各タスクを高速に切り替えて実行できるモジュール型AIモデル「Granite Switch 4.1(複数の機能アダプターを単一GPUメモリ上で高速スワップするIBMのモジュール型基盤モデル)」(8Bおよび30B)を公開しました。ベースモデル単体とほぼ同等のGPUメモリ消費量で多機能タスクを処理でき、エージェントパイプラインのインフラ費用とレイテンシを大幅に削減します。

「Granite Switch 4.1」は、ベースとなるLLMに加えて以下の3つの要素を同一プロセス・メモリ空間に統合しています。
複数のAIモデルを連携させる従来のマルチモデル運用と、Granite Switchのアプローチの違いは以下の通りです。
| 項目 | 従来のエージェント運用 | Granite Switch 4.1 |
|---|---|---|
| デプロイ構成 | 音声認識、対話LLM、安全フィルターを別々に起動 | 単一のエンドポイント(1つのモデルとして起動) |
| 必要GPUリソース | 各モデルごとに独立したVRAM・サーバーを消費 | ベースモデル単体とほぼ同じVRAM枠で稼働 |
| タスク間通信 | REST API経由(ネットワーク遅延と再エンコード発生) | プロセス内aLoRAスワップ(KVキャッシュを直接再利用) |
| 判定スループット | 一般的な外部モデルで毎秒10回前後 | 毎秒60〜100回の高速意思決定を実現 |
コールセンターの自動応答や自律型AIエージェントの構築において、音声認識・対話生成・ポリシー違反チェックを別々のAPIやGPUインスタンスで運用すると、通信遅延の蓄積と莫大なGPUホスティング費用が課題となっていました。Granite Switch 4.1を採用することで、音声入力から要約、15項目以上のカスタムフラグ判定までを1台のGPUインスタンス内でリアルタイムに処理できるため、インフラコストの抑制と応答速度の改善を同時に達成できます。
IBMは基盤モデルのパラメータ巨大化競争から一線を画し、ビジネス現場での実用性を重視した「モジュラー型アーキテクチャ」を推し進めています。コミュニティ向けに提供される「Granite Libraries」やAdapter SDKによって、企業が自社特化の判定アダプターを容易に追加・合成できるようになれば、vLLMなどの標準推論エンジンと組み合わせたオンプレミス・プライベートクラウド運用の標準構成として普及する可能性があります。
引用元:Hugging Face