AI関連の最新ニュースをピックアップ
米Amazon(eコマースおよびクラウド、エンターテインメントを展開する米大手テック企業)は、動画配信サービス「Prime Video(Amazonが提供する定額制動画配信プラットフォーム)」において、吹き替え音声に合わせて俳優の唇の動きを自然に同期させるAI技術「リップシンク(翻訳や吹き替え音声の母音・子音に合わせて映像内の口元の動きを変形・一致させる映像技術)(ビジュアルダビング)」を導入したと発表した。元言語と吹き替え音声の間に生じる「セリフが終わっても口が動いている」といった映像のズレを解消し、視聴者が物語に没入できる体験を提供する。

本技術は、Prime Videoで配信されている歴代最多視聴の国際オリジナルドラマシリーズ『Maxton Hall』(独モナ・カステン著の小説『Save Me』原案)にて初導入された。同作はドイツ語で制作されているが、世界中で多言語吹き替えが行われている。
発表された主な導入スケジュールと機能は以下の通りである。
外国映画や海外ドラマの視聴において、吹き替え版は字幕を追わずに済む手軽さがある反面、俳優の口の動きと聞こえる言葉が噛み合わない違和感が常に付きまとっていた。
| 項目 | 従来の吹き替え制作 | 今回のAIリップシンク導入 |
|---|---|---|
| 口元の動き | 元映像のまま(口の動きに合わせて翻訳文の文字数を無理に調整) | 音声に合わせてAIが口元の動きを直接再構成 |
| 演技・演出の自由度 | 唇の開閉タイミングに縛られたセリフ回しが必要 | より自然で感情に即したセリフ翻訳と声優の演技が可能 |
| 視聴体験 | 違和感(口パクのズレ)による物語への没入阻害 | 映像と音声が一致した自然な視聴体験 |
日本の視聴者にとって、現時点では「ドイツ語作品の英語吹き替え」のみが対象であり、日本語吹き替えへのリップシンク適用は未確認である。しかし、海外ドラマやハリウッド映画の日本語吹き替え版、あるいは日本のアニメや実写ドラマを海外展開する際の英語吹き替えにおいて、同様の技術が展開されれば、言語の壁を越えたコンテンツ消費の敷居が大幅に下がると期待される。
Amazonは2025年にもAIによる音声吹き替えシステムのテストを実施するなど、ストリーミング配信におけるAI活用を積極的に進めてきた。今回の技術は、音声を合成するのではなく「人間の声優の演技を尊重しつつ映像側を適合させる」アプローチをとっており、クリエイターの芸術的表現を守りながら国際展開を効率化する実用的なAI応用モデルとして注目される。
引用元:About Amazon | GIGAZINE

Amazon News
Prime Video introduces new lip-sync technology on ‘Maxton Hall’
Visual dubbing using AI and VFX technologies enhances the viewing experience for global customers.
https://www.aboutamazon.com/news/entertainment/prime-video-lip-sync-technology

GIGAZINE
Prime VideoがAIを使って吹き替えと俳優の口の動きを合わせる技術を導入
吹き替え版の映像で俳優の口の動きとセリフを同期する「リップシンク」をAmazonがAIとVFXで実現し、Prime Videoに導入しました。
https://gigazine.net/news/20260911-prime-video-ai-lip-sync