あの『SXSW』でも注目集める!ピアノ伴奏してくれる人工知能がスゴい!! | RBB TODAY
※本サイトはアフィリエイト広告を利用しています

あの『SXSW』でも注目集める!ピアノ伴奏してくれる人工知能がスゴい!!

IT・デジタル スマートフォン
ピアノスクリーンでは、弾いた音によってグラフィックが変化する
  • ピアノスクリーンでは、弾いた音によってグラフィックが変化する
  • 人工知能によりピアニストの意図を理解して、最適なニュアンスで伴奏してくれる体験型インスタレーション「Duet with YOO」。ヤマハと博報堂アイ・スタジオがコラボした
  • 2018年3月に米国で開催された「South by Southwest(SXSW)」におけるブースの様子
  • ヤマハ 研究開発統括部 第1研究開発部 知的音楽システムグループ主事 博士(情報学)の前澤陽氏
  • YOOの開発に際しては、前澤氏自ら480パターンの弾き方を実演してAIに学ばせた
  • 博報堂アイ・スタジオ Future Create Lab局長 クリエイティブディレクターの望月重太朗氏
  • 背面スクリーンではAIと演奏者のシルエットが共演する
  • 自動演奏機能搭載ピアノDisklavier×リヒテル氏の演奏データ×ベルリンフィル シャルーンアンサンブルによる演奏会が開催された(2016年5月、東京藝術大学にて)
 独りでピアノに向かう時間は楽しい。しかし、ときに孤独を感じることはないだろうか。誰かと一緒に楽しくアンサンブルできたら――。そうは言っても、ピアノの連弾や、他の楽器との合奏となると、仲間を集めて、練習場所を探し、時間を調整して、といったことが必要になる。そもそも自分が、誰かと合奏できるレベルにあるのかも分からない。そんな悩めるピアニストにもってこいのシステムが、ヤマハと博報堂アイ・スタジオのコラボにより誕生した。人工知能合奏システムを搭載した体験型インスタレーション「Duet with YOO(デュエット ウィズ ユー)」だ。

人工知能によりピアニストの意図を理解して、最適なニュアンスで伴奏してくれる体験型インスタレーション「Duet with YOO」。ヤマハと博報堂アイ・スタジオがコラボした
人工知能によりピアニストの意図を理解して、最適なニュアンスで伴奏してくれる体験型インスタレーション「Duet with YOO」。ヤマハと博報堂アイ・スタジオがコラボした


AIが演奏を分析して伴奏する


 Duet with YOOは、演奏者の持つ「まだ気が付いていない演奏の可能性」を引き出すために開発された。その最大の特徴は、ヤマハの独自AI「YOO」が人間の演奏をリアルタイムで分析して、最適な伴奏をつけること。ピアノを弾けば、演奏者のテンポとニュアンスに最適な伴奏で応えてくれる。

 今年3月に米国で開催された「South by Southwest(SXSW)」でも大きな話題となった同インスタレーション開発の経緯と工夫を聞いた。

2018年3月に米国で開催された「South by Southwest(SXSW)」におけるブースの様子
2018年3月に米国で開催された「South by Southwest(SXSW)」におけるブースの様子




 人工知能「YOO」を開発したヤマハ 研究開発統括部の前澤陽氏は、伴奏の在り方にこだわったと明かす。「単なるカラオケの伴奏では、演奏者が音の強弱やテンポ、演奏のニュアンスを変えても反応がなくて味気ない。しかし逆に、弾いた1音1音に鋭く反応されて、ぴったり追従されるのも実は弾きづらくて気持ち悪い。ある程度、伴奏が適度に自律的に動いてくれながら、時折合わせてくれる、そのくらいが弾きやすく感じます」と説明する。

 これは余談ながら、前澤氏はアマチュアのヴァイオリニスト。だからこそ、メロディを引き立てる伴奏についても一家言がある。

ヤマハ 研究開発統括部 第1研究開発部 知的音楽システムグループ主事 博士(情報学)の前澤陽氏
ヤマハ 研究開発統括部 第1研究開発部 知的音楽システムグループ主事 博士(情報学)の前澤陽氏


 いずれは、人が自由に何を演奏しても、ジャズのセッションのように伴奏を合わせてくれるところを目指すが、今回の取り組みでは、特定の曲(「Twinkle Twinkle Little Star -きらきら星-」)を学習させて、その主旋律に対して伴奏が合わせられるように設計されている。

 鍵盤のタッチの強弱、音色の出し方など、「きらきら星」の主旋律の演奏パターンを考えられるだけ実演してAIに学ばせた。その「教師データ」は、なんと480パターンにもおよぶという。これにより、AIは数小節ごとに”いま演奏者がどんなスタイルで演奏しようとしているのか”を理解できるようになった。大まかに言えば「ノーマル」「ダイナミック」「繊細」「アソビ」「メロディアス」といった枠組みから演奏を把握して、それに最適な伴奏で盛り上げてくれる。

YOOの開発に際しては、前澤氏自ら480パターンの弾き方を実演してAIに学ばせた
YOOの開発に際しては、前澤氏自ら480パターンの弾き方を実演してAIに学ばせた


AIの伴奏に映像表現を加え、いつまでも弾いていたくなる体験を


 「AIの反応×映像表現により、いつまでも弾いていたくなる気持ち良さを目指した」と語るのは、Duet with YOOを演出した博報堂アイ・スタジオ Future Create Lab局長の望月重太朗氏。「YOOは、ピアノ初心者にも”素晴らしい演奏ができた”と錯覚させてくれる。そこに映像表現を加えることで、体験者だけでなく聴衆にも感動を与えられるのでは、と考えました。その過程でAIが演奏に寄与していることを可視化する表現についても模索しました」と話す。

博報堂アイ・スタジオ Future Create Lab局長 クリエイティブディレクターの望月重太朗氏
博報堂アイ・スタジオ Future Create Lab局長 クリエイティブディレクターの望月重太朗氏


 映像を投影するため、2枚のスクリーンを用意した。演奏者が対峙する「ピアノスクリーン」は鍵盤の動きと連動するもので、五線紙に主旋律が表示されるほか、弾いた音によってグラフィックが変化する。宇宙の星空を連想させる背景が印象的だ。

ピアノスクリーンでは、弾いた音によってグラフィックが変化する
ピアノスクリーンでは、弾いた音によってグラフィックが変化する


 一方で聴衆に向けた大型の「背面スクリーン」は、繊細な弾き方、ダイナミックな弾き方など、演奏の特徴によって演出が変わる趣向。ユニークなのは、演奏者とAIの2つのシルエットが投影され、『共演』している様子が描かれること。kinectを活用している。

背面スクリーンではAIと演奏者のシルエットが共演する
背面スクリーンではAIと演奏者のシルエットが共演する


 編集部でも実際にデモを体験してきたので、その様子を動画で紹介しよう。



自然と、演奏者のポテンシャルが引き出される


 筆者の周りには、憧れから楽器を始めたけれど、やがて弾かなくなってしまったという人が多い。かくいう筆者も趣味のチェロを20年続けているが、独りで楽器を続ける場合、モチベーションを維持するのは大変なことだと感じている。博報堂アイ・スタジオでも、そのあたりの消費者インサイトを心得ている。

 望月氏は「いつも一人で弾いているだけでは、上達しているのかも分からず、張り合いがなくなってしまう。それは意識調査のデータからも明らかになっている。Duet with YOOでは自分が弾く旋律に対してリアクションがあるので楽しく、また気づきにもつながる。次はこう弾いてみよう、と興味も沸く。そうして、自然と演奏者のポテンシャルが引き出されていくわけです」と解説する。

 3月のSXSWでは、プロの演奏家からもDuet with YOOの持つ可能性に期待する声が寄せられた。さらに、「音楽教室の先生からも、子供たちが喜んで演奏する絵が目に浮かぶと、嬉しい感想をいただきました」と望月氏。

伝説の巨匠を練習パートナーに?


 ヤマハでは、かねてから人工知能合奏システムを活用した取り組みを意欲的に進めている。2016年には、ヤマハの自動演奏機能搭載ピアノ「Disklavier」に20世紀の巨匠ピアニストであるスビャトスラフ・リヒテル氏の演奏データを取り込み、人工知能合奏システムを使って、ベルリン・フィルの現役メンバーとの生コンサートを実現した。テンポ感、音の強弱が合っているのは当然のことで、旋律の掛け合いや間のとり方まで、息がピッタリと合った名演奏となったようだ(演奏会の模様は、ヤマハのYouTube公式アカウントで確認できる)。

自動演奏機能搭載ピアノDisklavier×リヒテル氏の演奏データ×ベルリンフィル シャルーンアンサンブルによる演奏会が開催された(2016年5月、東京藝術大学にて)
自動演奏機能搭載ピアノDisklavier×リヒテル氏の演奏データ×ベルリンフィル シャルーンアンサンブルによる演奏会が開催された(2016年5月、東京藝術大学にて)


 前澤氏は「伝説の巨匠とアンサンブルできるのは、現役の音楽家にとって大きな魅力です。憧れの音楽家が、いつでも合奏の相手をしてくれる。長時間の練習になっても、文句も言われません。もちろん合奏経験のない楽器初心者にとっても、大きなメリットが考えられます。AIに練習パートナーになってもらい、慣れてきたら人間と合奏をすれば良いでしょう」と解説する。

 一般的なイメージとして、AIを活用したソリューションには、つい『人が不要になる』といった負のイメージがついてまわることがある。しかしDuet with YOOは違う。前澤氏は「今後も、人により大きな音楽の喜びをもたらすAIを開発していきたい」と明るく語る。

 一方で「テクノロジーの存在に気が付かなくなることが究極の形」とも話した。「息の合った仲間とアンサンブルしているのと変わらない心地よさを目指せたら。そのとき、人は合奏の相手がAIだと思って、身構えることもなくなるでしょう」(前澤氏)。

ヤマハ銀座で体験できる


 Duet with YOOの技術は、様々な分野で応用できそうである。そこで気になる今後の展開について尋ねると「まだ製品化の予定はないものの、音楽教室など、教育市場にも何か役立つところがあるという手応えがあった。引き続き、どのような展開ができそうか検討を続けていきます」と前澤氏。

 なお、4月末からヤマハ銀座ビル 1F/ポータルにおける企画展示を予定している。SXSWで話題となったDuet with YOOを無料体験できるチャンスだ。「日本にお住まいの皆さまにも楽しんでいただけるように演出していきたい」と望月氏。前澤氏は「フィードバックを今後の研究開発、商品展開にも活かせたら」と話していた。


※有楽町マルイではじまったIoTトイレとは
《近藤謙太郎》
【注目の記事】[PR]

関連ニュース

特集

page top