Cloudflare、マルチモーダルAI「Clef-omni」公開

米Cloudflareは、オープンウェイトの意思決定モデルファミリーを拡張し、音声・動画・画像・テキストを単一のパイプラインで同時に処理できる新モデル「Clef-omni」を公開しました。Hugging Face上でモデルの重みデータが無償公開されたほか、同社のサーバーレス環境「Cloudflare Workers AI」でも提供が始まっています。同時に、軽量モデル「Clef-flash」の価格引き下げと基本モデル「Clef」の推論高速化も発表されました。

音声・映像の文字起こし不要で直接スコアリング

従来の意思決定システムでは、動画や音声データを扱う際に音声認識（文字起こし）や画像キャプション生成など複数のモデルを順次呼び出す必要があり、遅延やコストの増大が課題でした。Clef-omniでは、音声（wav/mp3）や動画（mp4/webm）の生データを直接入力でき、1回のAPI呼び出しでスキーマに沿った判断結果を出力します。

Qwen3-Omni-30B-A3B-InstructのMoE（複数の専門家サブネットワークを動的に切り替えて効率的に推論を行う混合専門家（MoE）構成）アーキテクチャをベースに開発されており、テキストのみなら中央値約130ミリ秒、画像入力は約150ミリ秒、音声付きの21秒間の動画クリップでも約1.5秒で判定スコアを算出する高速性を誇ります。

2段階アテンションルーティングとスキーマ制約

Clefモデル群は文章を生成する通常のLLMとは異なり、あらかじめ定義された選択肢の確信度を計算することに特化しています。Clef-omniではテキスト生成処理を省略し、入力された映像フレームや音声ストリームを統合シーケンスとして処理する「2段階アテンションルーティング」を採用。文法制約エンジンを組み合わせることで、多様な入力形式に対しても構造化された信頼性の高いスコアを返します。

分析と今後の展望

TypeSafe AIのプロプライエタリなクラウドモデル「Jev」が先行していた意思決定モデル領域において、Cloudflareがオープンウェイトかつエッジ配信可能な選択肢を矢継ぎ早に投入した意義は大きいです。設備保全や監視、顧客対応など、現場の映像と音声をリアルタイムに分析して次のアクションを決定するエージェントインフラの構築が、より身近なコストで実現可能になります。

引用元：Cloudflare Blog