グーグル、歌声から伴奏を生成するAI「SingSong」を公開
ASCII.jp / 2023年2月2日 9時0分
グーグルの研究部門Google Researchは1月30日、フランスの研究機関IRCAM(Institut de Recherche et Coordination Acoustique/Musique)と共同で、入力された歌声にあわせた伴奏を生成するAIモデル「SingSong」を発表した。
Excited to share SingSong, a system which can generate instrumental accompaniments to pair with input vocals! 📄https://t.co/1mRUaXvqVy 🔊https://t.co/8RGezPu5YQ Work co-led by myself, @antoine_caillon, and @ada_rob as part of @GoogleMagenta and the broader MusicLM project 🧵 pic.twitter.com/3FXYM69N77
— Chris Donahue (@chrisdonahuey) January 31, 2023
ボーカルと楽器のペアーを使って学習
このモデルは最新の音源分離(ボーカルと楽器を分離する)技術と音楽生成技術をベースに開発されている。
具体的には、大量の音楽データに最新の音源分離アルゴリズムを適用し、ボーカルと楽器を分離。次に、同じくグーグルが開発した音楽生成AIの「AudioLM」で、ボーカルと楽器のペアーを学習させた。(図左)
この際、AudioLMをこの機能に特化するための様々な「特徴量化(Featurizations)」を行ななった結果、デフォルトのAudioLMと比べて性能が53%向上したという。
こうして学習させたSingSongにボーカルのみのファイルを入力すると、それにあわせた楽器(伴奏)のデータが生成される。これを元のボーカルと合成して伴奏付きの曲として出力するという仕組みだ。(図右)
ラジカセで録音した歌声からでも生成可能
ではその結果を聞いてみよう。このボーカルデータを使ってSingSongが生成したのがこの曲だ。アコースティックギターとコンガによる伴奏が生成されており実に自然に聞ける。
もう1曲、このボーカルデータを使って生成したのがこちら。データがラップだということを認識してヒップホップ調の伴奏が生成されている。
SingSongは10秒間の音楽データを使って学習されているが、この曲やこの曲のような少し長いボーカルデータでも自然な伴奏を生成できている。
さらに、市販のラジカセを使って録音された素人の歌声サンプルを使って生成したのがこの曲やこの曲だ。多少コード感がおかしいような気がしないでもないが、これはこれで味があると言えなくもない。
クオリティも高いとの実験結果
研究チームはSingSongが生成した音楽のクオリティを調べるために、同じボーカルを使ってSingSongが伴奏を付けた曲と、楽器データベース(MUSDB18)からランダムもしくは適切に選んだ伴奏を付けた曲を比較し、どちらが音楽的に優れているかを判断する実験を行なった。
その結果が上図。一番評価が高いのが「Ground truth」。これは分離する前の元となる音源なので評価が高いのは当然だ。2番目の「SingSong-XL」と3番めの「SingSong-Base」がSingSongが伴奏を生成した曲。両者の違いは学習データ量であり、量が多いSingSong-XLの方が高い評価を得られた。
その次の「Retrieve」がデータベースから適切に選んだ伴奏を付けたもの、適当に伴奏を付けた「Random」は当然最下位になっている。
歌が歌えれば誰でも曲が作れる世界に
開発者のひとりChris Donahue氏は自身のツイートで「歌はわたしたちが音楽と関わる最も直感的な方法の1つです。(SingSongがあれば)歌える人なら誰でも豊かな楽器編成で新しい音楽を作ることができるかもしれないのです」とその可能性を示している。
楽器が弾けなくても、DAW(Digital Audio Workstation)が使えなくても、スマホに鼻歌を録音するだけでAIが伴奏を付けてくれる日も遠い未来ではないようだ。
なお、同氏はSingSongを今後数ヵ月のうちに一般公開したいと考えているとツイートを結んでいる。
この記事に関連するニュース
-
懐かしいアナログメディアを再生「レトロオーディオ」おすすめ3選・ラジカセ編【2024年6月版】
Fav-Log by ITmedia / 2024年6月27日 17時30分
-
アルージ・アフタブが語る、グローバル・ミュージックの定型に縛られない「余白」の美しさ
Rolling Stone Japan / 2024年6月24日 17時40分
-
「かんたん! わくわく! 楽器あそびと合奏の本 【伴奏CD付き】」 6月26日発売!
@Press / 2024年6月21日 12時0分
-
海外で大人気の「Synthesizer V AI」歌声データベースが日本国内で販売開始!
PR TIMES / 2024年6月13日 14時45分
-
キンプリのApple Music配信は“音”が違う? ユニバーサル新スタジオで最新立体音響を体験
マイナビニュース / 2024年6月10日 11時0分
ランキング
-
1迷惑メール転送すると送信元が行政処分される? Xでアドレス拡散、宛先の「迷惑メール相談センター」が明かす実情
J-CASTニュース / 2024年7月2日 11時0分
-
2新紙幣「一万円札と千円札の1の字が違う」SNSに違和感覚えるという声も…… 「1」のデザインが違う理由は?
ねとらぼ / 2024年7月3日 18時15分
-
3ヤマト運輸のLINEに「ありがとニャン」と返信したら…… “意外な機能”に「知らなかった」と驚き
ねとらぼ / 2024年7月4日 8時0分
-
4老後の趣味で気軽に“塗り絵”を始めて1年後…… めきめき上達した70代女性の美麗な水彩画に「本当にすごい…」「感動です」
ねとらぼ / 2024年6月29日 22時0分
-
5藤本美貴&庄司智春、真っ昼間に変装ゼロで“腕絡め”デート 大勢の注目浴びるも“モザイク9割”の結果で「笑った」
ねとらぼ / 2024年7月2日 15時1分
記事ミッション中・・・
記事にリアクションする
記事ミッション中・・・
記事にリアクションする
エラーが発生しました
ページを再読み込みして
ください