多様なスタイルによる自動音楽生成   English

スタイル変換に基づく音楽生成

クラシック音楽・ジャズ・Jポップ・演歌など、音楽には様々なスタイルがあります。音楽のスタイル変換とは、ある楽曲の構文(統語構造)を参考に、目標の音楽スタイルに合致するように楽曲生成を行うことです。参考として用いる曲と目標とするスタイルの種類の組み合わせによって、多種多様な楽曲を自動生成できます。また、参考曲に含まれる繰り返し盛り上がりなどの構造を反映することで、人間による音楽が持つ構造を備えた高品質な楽曲生成ができます。

喜びの歌によるスタイル変奏曲

ベートーベンの喜びの歌をいろんなスタイルへと変換した例です。


楽譜データの参考曲からスタイル変換で生成した曲の例

以下の例では、人手で採譜した参考曲の楽譜データを基にメロディーを自動生成しています。

Dragon Night / SEKAI NO OWARI

参考曲のメロディー採譜
別のJポップ風の曲
別のJポップ風の曲(その2)
ペンタトニック風の曲
演歌風の曲
ジャズ風の曲
クラシック短調風の曲

TSUNAMI / サザンオールスターズ

参考曲のメロディー採譜
ペンタトニック風の曲
沖縄民謡風の曲
演歌風の曲

ファミリーパーティー / きゃりーぱみゅぱみゅ

参考曲のメロディー採譜
ジャズ風の曲
演歌風の曲
別のJポップ風の曲

C.O.S.M.O.S. ~秋桜~ / 三代目 J SOUL BROTHERS from EXILE TRIBE

参考曲のメロディー採譜
ペンタトニック風の曲
演歌風の曲
別のJポップ風の曲
別のJポップ風の曲(その2)

More examples coming soon ....

自動採譜技術を用いて音響データからスタイル変換で生成した曲の例

Coming soon ....

参考文献

スタイル変換による自動音楽生成の原理および技術的詳細については以下の論文をご参照ください。

  1. Eita Nakamura, Kentaro Shibata, Ryo Nishikimi, Kazuyoshi Yoshii
    Unsupervised Melody Style Conversion
    Proc. 44th IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP), pp. 196-200, May 2019.
  2. Ryo Nishikimi, Eita Nakamura, Masataka Goto, Katsutoshi Itoyama, Kazuyoshi Yoshii
    Scale- and Rhythm-Aware Musical Note Estimation for Vocal F0 Trajectories Based on a Semi-Tatum-Synchronous Hierarchical Hidden Semi-Markov Model
    Proc. 18th International Society for Music Information Retrieval Conference (ISMIR), pp. 376-382, 2017.

連絡先

本技術の詳細および応用にご興味がありましたら、以下までご連絡ください。

中村栄太 enakamura[at]sap.ist.i.kyoto-u.ac[dot]jp
京都大学大学院情報学研究科音声メディア分野研究室 External Site