ワシントン大がピアノの演奏を映像から再現するAI「Audeo」を発表!
Techable / 2021年2月11日 6時0分
ミュージシャンの演奏する映像から音が再現できれば、劣化したライブビデオを再び聴けるものにできるだろう。
ワシントン大学の研究チームは、AIが視覚的な手がかりだけを使用して、ピアニストによる演奏を再現できるかどうかを試みている。
研究チームは機械学習を使用して、消音のピアノ演奏から音を生成する「Audeo」と呼ばれるシステムを作成した。
は映像内のイベントを解釈し演奏に変換研究では、手元をトップダウンで映した映像から演奏を再現している。システムは映像内のイベントを解釈し、それを演奏に変換する。まず、それぞれのビデオフレームでどのキーが押されたかを検出し、次のステップでは、データがクリーンアップされ、キーがどれくらいの強さでどのくらいの時間押されたか、といった情報が追加される。
システムのトレーニングにはピアニストのポール・バートンが、バッハやモーツァルトなど有名作曲家の楽曲を演奏するYouTube映像を使用。約17万2000ものビデオフレームが含まれていた。
次に、バートンが別の楽曲を演奏するYouTube映像、約1万9000フレームでテストを実施した。
将来的には仮想ピアノの開発もSoundHoundのような楽曲識別アプリでテストしたところ、Audeoが生成したフレーズを全体の約86%再生した時点で識別できたという。ちなみにソースのYouTubeでは、楽曲を識別するのにフレーズの約96%の再生時間が必要だった。
Audeoが楽曲の複写を生成し、これをシンセサイザーに渡して音を生成することになるが、研究では音が異なる2種類のシンセサイザーを使用している。Audeoと2種類のシンセサイザーにより生成された演奏は、UW Newsの記事内から視聴可能だ。
将来的に同技術は、カメラで手元を映して楽器なしで演奏できる仮想ピアノの開発なんかに活かされる可能性があるという。
参照元:‘Audeo’ teaches artificial intelligence to play the piano/ UW News
外部リンク
この記事に関連するニュース
-
楽器を始めるなら今しかない!『Rocksmith+』は楽器初心者ゲーマーを徹底サポートする「人生を豊かにするゲーム」【インタビュー】
Game*Spark / 2024年7月15日 18時0分
-
「ブラックペアン シーズン2」天城(二宮和也)にまつわるBGMのクラシックに注目「計算された選曲に震える」「曲の違いは意図がある?」と考察飛び交う
モデルプレス / 2024年7月14日 22時44分
-
「ゆび DE MUSIC」をテーマに指一本からでも気軽に楽器・音楽の高揚感を楽しめる JR浜松駅新幹線コンコースでの新規展示開始について
PR TIMES / 2024年7月10日 16時15分
-
バーチャルピアニストが完成、潤音ノクトが3D演奏デビュー!ピアニストの超絶技巧と表現力に対応した新システムを開発『リアルタイム運指反映システム』初公開
PR TIMES / 2024年6月28日 10時45分
-
Google DeepMind、テキストプロンプトで"口パク"にも対応するサウンドトラック生成技術
マイナビニュース / 2024年6月19日 10時29分
ランキング
-
1「笑み男」の正体はあの名作ADV!35年ぶりのシリーズ完全新作『ファミコン探偵倶楽部 笑み男』8月29日発売決定
インサイド / 2024年7月17日 22時41分
-
2「マジかw」「すごいことなってる」 お笑い芸人が米オーディション番組で日本人初快挙を遂げる
ねとらぼ / 2024年7月17日 16時9分
-
3「絶対みんなでやりたかった」 30年ぶりの新作「らんま1/2」“異例の声優続投”に大きな反響 林原めぐみ「業界でも奇跡」
ねとらぼ / 2024年7月17日 19時34分
-
4小島秀夫監督「メタルギア(ステルス)以上に、説明が難しかった」―実際の“太陽の光”を使って遊ぶ名作『ボクらの太陽』21周年を振り返る
インサイド / 2024年7月17日 21時10分
-
5『ドラクエ』3、4のファミコン世代には違和感? リメイク版で追加されたまさかの「無双装備」
マグミクス / 2024年7月17日 21時25分
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/mission_close_icon.png)
記事ミッション中・・・
記事にリアクションする
![](/pc/img/mission/point-loading.png)
エラーが発生しました
ページを再読み込みして
ください
![](/pc/img/mission/mission_close_icon.png)