ピアノ演奏の続きをAI生成するRollTabが登場

演奏を止めた2秒後からAIが続きを奏でる新体験

人間がピアノで弾いたフレーズの続きをAIがリアルタイムに自動生成するiOS向けアプリケーション「RollTab」が、Simon Edwardsson氏によって開発・公開されました。iPhoneやiPadにMIDIキーボードを接続してメロディーを演奏すると、演奏を止めてからわずか2秒未満でAIが前後の文脈に合わせた続きの演奏を生成し、即座にスピーカーから再生します。

125MモデルとDPO微調整による低遅延な音楽生成技術

RollTabは、インタラクティブなセッション体験を実現するため、軽量な専用モデルと最適化技術を組み合わせています。

クラシックMIDIデータセットとDPOによる破綻抑制

アプリの心臓部には、パラメータ数1億2500万（125M）の専用Transformer（自然言語や時系列データの処理に優れたニューラルネットワーク構造）モデルが採用されています。学習には数十万曲規模のパブリックドメインクラシック音楽MIDIデータセットが使用されました。

さらに、音楽生成における不自然な音やリズムの破綻を抑え、人間が心地よく感じるフレーズを出力させるため、DPO（人間の好みに合わせてモデルを直接微調整する最適化手法（Direct Preference Optimization））によるファインチューニングが施されています。

App Storeでの無料提供とMIDI連携

RollTabはiOSおよびiPadOS向けにApp Storeで無料配信されています。MIDIキーボードを端末に接続するだけで手軽に利用でき、短いフレーズを弾き終えると2秒未満でAIが続きを補完・展開します。

従来の楽曲生成AIとの違いと音楽制作への影響

テキストプロンプトから完成された楽曲を一括生成する一般的な音楽生成AIと異なり、RollTabは演奏者のリアルタイムな入力に直接呼応する「対話的な演奏パートナー」として動作します。

日本のDTM（デスクトップミュージック）制作者や鍵盤演奏者にとっても、作曲時のアイデア出しや即興セッションの壁打ちツールとして導入しやすい点が特徴です。なお、クラシック以外のポピュラー音楽やジャズといった多彩なジャンルへの対応度や、生成データのMIDIエクスポート機能の有無については、今後のアップデートにおける詳細確認が待たれます。

インタラクティブなAIセッションの展望

音楽分野におけるAI活用は、全自動生成から人間とAIがリアルタイムに掛け合う協調型へと広がりを見せています。低遅延な推論とDPOによる調和を両立したRollTabのアプローチは、今後の音楽制作環境における新たな共同作業の形を示すものといえます。

引用元：GIGAZINE