アリババ、音声AI「Qwen-Audio-3.0」発表

アリババ（Alibaba）の Qwen チームは、音声・音楽・効果音を統合して生成する非自己回帰型音声生成モデル「Qwen-Audio-3.0-Gen」に関する論文を公表しました。従来個別に生成されていた多様な音響要素を単一のモデルで統合制御可能にし、生成AI分野におけるマルチモーダル音響処理の能力を大幅に拡張します。

音声・音楽・効果音を同時生成する新フレームワーク

arXivに公開された論文によると、Qwen-Audio-3.0-Gen は Diffusion Transformer (DiT)（拡散モデルとTransformerを組み合わせた生成アーキテクチャ） および共有変分オートエンコーダ（VAE（データを潜在空間に圧縮・復元する機械学習モデル））を組み合わせて構築されています。

単一のフレームワークでありながら、発話音声、バックグラウンド音楽、環境効果音が自然に混在した複雑な複合波形（mixed waveforms）を高精度に合成・生成可能です。主要なマルチモーダル音声合成ベンチマークにおいて、既存モデルを上回る最高水準（SOTA）の性能を記録しています。

従来の自己回帰型モデルとの比較と特徴

自己回帰（Autoregressive）型モデルでは、音声トークンを1つずつ順番に生成するため、長い音声データの生成時に処理速度やメモリの制約が課題となっていました。

非自己回帰型フレームワークを採用した本モデルは、並列生成を可能にすることで生成速度の高速化を実現しつつ、音声・音楽・効果音のバランスを総合的に補正できる利点を持ちます。

未確認事項の整理

商用APIとしての具体的な提供スケジュールやオープンソースモデルとしての重み（weights）公開の有無については、本論文段階では明記されていません。

分析と今後の展望

Qwen-Audio-3.0-Gen の登場により、映像制作やゲーム開発、インタラクティブメディアにおける効果音・BGM・対話音声の自動生成技術が実用化レベルへ一気に進展する可能性があります。特に複数音源の同時生成における品質向上は、AIコンテンツ制作ツールの利便性を一段と高める要因となります。

引用元：arXiv.org