「Maker Faire Tokyo 2024」にてAI作曲コンテンツ展示。「NX開発推進部」が生み出す新しい音楽体験とは

「Maker Faire Tokyo」出展で企業認知の向上を実現

──まずは「NX開発推進部」がどんな部署か教えてください。

木村：NX開発推進部は、システム開発を行っている部署からAndroidやiOSのスマートフォンアプリを開発しているグループを切り出す形で2023年に発足しました。部門名の「NX」は「New eXperience（新しい体験）」の意味が込められており、また、「X」には「eXperimental」（実験的な）という意味もあり、エンジニア自身が積極的に“新しい開発体験に挑む”という姿勢を示しています。

今年からweb3やNFTを手掛ける次世代プロダクト開発グループとUI/UX専門とする次世代ビジネス推進グループも加わり、部門としてできることの幅が大きく広がりました。

──昨年は新しいものを実験的に作っていくPoC開発の一環として「Maker Faire Tokyo 2023」に初出展しましたが、出展してみていかがでしたか？

木村：昨年はMFT向けに「新しい音楽体験研究所」というプロジェクトを発足し、「PsyRhythm/サイリズム」「レコチョクマミン」「おしゃべりぱくちゃんず」という3つの作品を製作しました。また、PoCとして開発した「P!TNE」というプロダクトを合わせて出展しました。多くの方に作品やプロダクトに触れていただき、レコチョクの新しい取り組みも知っていただくことができ、一定の認知向上に繋げることができたと思います。

──昨年出展したことによって得られた学びはありましたか？

木村：MFTは親子で来場される方も多く、子どもにも楽しんでもらえることを意識して作品を製作しました。実際に来場いただいたお子さんから、「かわいい」「楽しい」と言っていただけたことは嬉しかったです。また、MFT出展をきっかけに学童施設での作品体験会を行うことができ、レコチョクとしては今まで関係の薄かった教育関連の企業との接点を持つことができました。「P!TNE」はPoCとしてのサンプル展示でしたが、多くの方にお声がけをいただき、現在では正式サービスとして展開することができています。

「大人も子どもも楽しめる」をテーマとした作品製作

──今年もMFTに出展することを決めた背景を聞かせてください。

木村：昨年「新しい音楽体験研究所」として出展させていただきましたが、この取り組みを浸透させるためには一度出展したから終わりというわけではなく、継続して発信していく必要があると考えていました。しかし、「継続したいからやる」ではなく、この取り組みに対して前向きに挑戦したいメンバーがいることが大切です。そのため、部内で参加希望者によるアイデアソンを行い、その結果を踏まえ今年も出展することを決めました。

──今回出展したのはどのような作品ですか？

木村：アイデアソンの中でAI作曲技術を用いたアイデアが出ました。レコチョクでは昨年、生成AIの積極的な活用による音楽市場への新たな価値提供の実現を目的とした「with AI プロジェクト」がスタートしました。社内でもAI活用に対する温度感が高くなっていることから、「AI作曲」を取り入れた作品を作ることにしました。また、昨年の経験から「子どもに楽しんでもらえる」だけではなく、AI作曲による体験で「大人にも楽しんでもらえる」ということを意識し、「大人も子どもも楽しめる」をテーマに掲げ、「カメレオンノーツ」という作品を製作しました。「カメレオンノーツ」は「エモブロック」と呼ばれる感情を表した顔文字ブロックを並べると、音楽生成AIが感情に合った30秒の楽曲を自動生成する体験型の作品です。AI作曲が完了すると、楽曲が自動的に再生され、モニター上にAIが生成した楽曲タイトルとジャケット画像も表示されます。また、3DCG化されたレコチョクのキャラクター「レコチョクマ」が楽曲に合わせて踊り、見た目も楽しめるようになっています。

​​

作品製作には、ブロックを使って楽曲制作の情報を入力させる「チームインプット」、情報を元に曲を作る「チームAI作曲」、生成した曲を再生しながらレコチョクマに踊らせる「チームアウトプット」の3つのグループに分かれて進行し、作品のコンセプト設計とデザイン全般を児玉さんがデザイナーとして担当しました。

──それぞれのチームでこだわった部分や大変だったところを教えてください。

森川：「チームインプット」では、 AIが曲を作るための情報を入力する部分を担当しました。初めて触る技術を用いながらの開発で大変な部分もありましたが、試行錯誤を経て無事に完成させることができてよかったです。

こだわったのは、ブロックからインプットした情報をAIにただ送るのではなく、作品のイメージキャラクターであるカメレオンに情報を食べさせるという演出を施したこと。操作中の画面にも動きを加えることで、より楽しんでもらえる作品に仕上がったと思います。

海津：「チーム AI作曲」は、まず、音楽を守っていくべき会社として、著作権を侵害していない適切なAI技術の選定に時間をかけました。結果、今回は学習データに著作権フリーの楽曲使用を明言しているMeta社の「MusicGen(audiocraft)」を採用しました。

また、開発当初は30秒の楽曲を作るのに1時間もかかってしまったのですが、AWSのGPUインスタンスを活用することで、生成時間を1分程に短縮したことも注力した部分です。

杉山：「チームアウトプット」では、AIが生成した楽曲を伝える役割を担いました。単純に音楽を聴かせるだけではなく、作品として見せるために、見た目も可愛らしいレコチョクマを踊らせる方針で決めました。その際に表現する手段としてUnityを採用したのですが、チーム全員が初めて使う技術だったので、トライ&エラーを繰り返しながら、なんとか完成させることができました。

レコチョクマの3Dモデルもゼロから作成したので、実際にレコチョクマが踊る姿を見たときはとても感動したことを鮮明に覚えています。ダンスモーションを適用した際に、自然に踊っているようなモデルの調整に苦労しました。 MFT当日は、プレイリストでの楽曲再生の部分をギリギリまで修正するなど、チーム内で話し合い、こだわって進めました。

児玉：デザイン担当として一番大変だったのは、ブロックのモチーフを何にするかです。当初は「フルーツや色を混ぜてできる音楽工場」という案が上がっていたのですが、子どもは好き嫌いがはっきりしてますから、フルーツが嫌いな子には響かないだろうなと思いました。ちょうどそのとき、知り合いの特別支援学校の先生が「授業準備をする時間がなかなかなくて」とこぼした一言からインスピレーションを受けました。授業教材として使う分にもハードルが低く、さらにそのモチーフは子どもたちにも馴染み深いものにできないかなというところで、誰にでも無条件に備わっている感情をモチーフにすることにしました。

そして今回は馴染みのある「喜怒哀楽」では表現しきれない、人間の基本感情と言われる「喜び・悲しみ・驚き・焦り・怒り・恐怖」の6種類の感情を採用しました。イメージキャラクターには感情によって体の色を変えると言われるカメレオンをモチーフにした「レオンくん」というキャラクターを制作し、大人にも子どもにも可愛がってもらえるような作品を目指しました。

技術面で苦労したのは、カメレオンの3Dモデルの作成です。それまでは趣味の範囲でしか3Dモデルを作成したことがなく、情報をインプットしながらの制作でした。期間もタイトでハードな部分もありましたが、とても良い勉強になったと思います。

テクノロジーを駆使して新しい音楽体験を生み出していく

──今回出展してみていかがでしたか？

森川：作品考案時に提唱していた「大人も子どもも楽しめる」を体現できたと思います。当日は「おもしろそう！」と興味を持ってくれたお子さんに使い方を説明すると、保護者の方もAIや仕組みについて関心をもって話を聞いてくれました。見た目がおもちゃのようなので、一歩引いて見ていた保護者の方も、 AIに関する説明をすると前のめりになり質問してくれることも多く、嬉しかったです。

杉山：「カメレオンノーツ」はブロックをはめるパズル要素があるので、「遊べそう」と興味をもってブースに来てくれたお子さんが多かった印象があります。ブロックを好きな色や描かれている顔の表情で選んだり、それぞれ遊び方の違いがあったのは面白かったですね。保護者の方も説明すると主体的に体験したり、お子さんが作った楽曲やジャケット画像を記念に残したりすることで、親子で楽しんでいる様子が見られてよかったです。

また「レコチョクさんは音楽アプリのイメージがあったんですけど、AIやハードウェアを用いた開発もしてるんですね」という声もたくさんいただきました。「新しい音楽体験研究所」が取り組んでいるさまざまな技術領域へのチャレンジを多くの方に広めることができたのではないかと思います。

海津：作品のかわいらしい見た目がきっかけで、多くの子どもたちが立ち止まってくれました。それを通じて、ビジュアルの重要性を改めて実感しました。今回、生成した楽曲をダウンロードして持ち帰れるようにしたのですが、その機能も好評で、その場で楽しむだけに終わらない、持ち帰ることができる体験を提供できたのも良かったです。

■レコチョクのエンジニアブログ：Maker Faire Tokyo2024へ出展しました！

https://techblog.recochoku.jp/11044

──今回のMFTの出展を経て感じたことや、今後やりたいことを教えてください。

海津：今回初めてAI分野に挑戦したのですが、とても楽しみながら開発できました。今後もさまざまなジャンルにチャレンジすることで、自分の技術の幅を広げていきたいです。

杉山：MFTに参加して、レコチョクとしての出展だけでなく、他社のブースで様々な作品を見て大きな刺激を受けました。そこで得た学びを音楽や自分たちの技術と掛け合わせて、新しいものを生み出していきたいと思うきっかけになりました。今回は開発する過程でもAIを活用した部分も多かったので、今後もAI活用の知見を深めていきたいです。

森川：普段の業務では自分自身が開発したアプリを外部の方に直接説明する機会がほとんどないため、今回の出展でお客様と対話する中で、「こういう説明の方が興味を持ってもらえるな」「この説明だと伝わりづらいかも」という感覚を掴めたことは新鮮でした。プロダクトの良さを適切に伝えるプロセスがあってこそ良いものだと認めてもらえると思うので、今後は発信の仕方なども考えていきたいなと思います。

児玉：実際に作品を前にしたお客さまの反応からの学びも多く、すごく良い経験になりました。普段、自分が関わっているサービスアプリは、実際に使っていただいている方の反応が直接見えるわけではないので、こういう経験を重ねていくことで、サービスの先にいるお客様をよりリアルにイメージしながら業務を取り組むことができようになると思いました。音楽×教育はまだまだ音楽に関わる企業としてできることが沢山あると思うので、今回だけに留まらず積極的に挑戦していきたいです。

木村：普段の業務を進めつつ作品製作に取り組んでいたので使える時間が限られていた中、なんとか無事に展示することができました。会場ではAI作曲にどうしても時間がかかってしまい、作曲が完了するまでにお待たせしてしまうこともありましたが、自分たちが触ってもたのしいと感じることができるものを作ることができたと思います。今回の作品も昨年同様に別の機会でも楽しんでもらえる場を提供できないかを検討しています。今後も「レコチョク面白そうだな」「レコチョクと一緒に新しいことをやってみたい」と思っていただけるよう、「新しい音楽体験研究所」を通して様々な取り組みにチャレンジしていきたいです。

文：伊藤美咲

写真：平野哲郎