従来、CGやアニメーションで音楽演奏シーンをリアルに表現するのは非常に難しく、多くの作品では音と映像がほとんど合っていなかったり、遠く引いた視点からの映像で、細かな表現がされていないのが一般的だった。
京都アニメーションが「涼宮ハルヒの憂鬱」のライブシーンでかなりリアルに演奏表現を行なったり、同じく「けいおん！」においても同様のリアルさを実現させて話題になったことはあった。しかし、その制作は膨大な手間がかかったといわれている。
それに対し、モーションキャプチャーを用いて、それをさらに詳細でリアルに、しかもリアルタイムに実現してしまう、というのが、ZERO Edit Motion captureで実現したProject Polarisの新規IPである「ポラポリポスポ」の世界だ。
ポラポリポスポには現在、2つのCGバンド、WAKAZOとchirp×chirpが存在しているが、以下のYouTubeはその技術を用いて作られたWAKAZOのミュージックビデオだ。ぜひ手や指の動き、ドラムの揺れなど、音のタイミングと演奏の詳細に注目しつつ、少しご覧になってみてほしい。
CGバンド【WAKAZO】ミュージックアニメ『コイノヤマイ』 歌唱（CV）武内駿輔・律可
動画を見ていただくと、非常にリアルであることに驚かれるのではないかと思うが、これがモーションキャプチャーの撮影後に人の手による修正を行なわない「ZERO Edit Motion capture」の表現力というわけだ。
バンダイナムコエクスペリエンスの経営企画部経営企画課でポラポリポスポのプロデューサーを務める福田未和氏は、「これは実際のプロのミュージシャンが演奏したものを、そのままキャラクターによる演奏にしたものです。このようにするためには大きく3つのカギがあります」とコメント。
「1つ目は、モーションキャプチャーをしながらも生演奏が可能な“専用楽器”の存在。2つ目は、高性能なモーションキャプチャーカメラと長年の研究と独自ノウハウによって確立した指先へのモーションキャプチャーマーカーの取り付け方法。そして3つ目は、そうして取り込んだモーションデータをリアルタイムでキャラクターに変換する高性能エンジンです。こうした技術を使い、今後CGライブやアニメーションの展開をしていくことを考えています」と話す。
右が福田未和氏、左が濱田織人氏
その特殊な専用楽器の開発に協力をしたのが、フェンダーとローランドだ。記者会見で、フェンダー・ミュージックで代表取締役社長を務めるエドワード・コール氏は次のように話す。
「われわれフェンダーのブランド哲学は、創業者であるレオ・フェンダーの言った『アーティストは天使である。彼らに飛ぶための翼を与えることこそが、私たちの使命なのです』という言葉に表されています」
「今回のバンダイナムコアミューズメントさんからの話は、まさにその翼作りだ、と思い、すぐに協力することを約束しました。本当にこれは革新的なプロジェクトだと思っています。キャラクターのコンテンツを実際の人間の音楽と演奏、そして最新のテクノロジーと融合することによって実現するプロジェクトです」
「昨今、AIによる音楽生成やバーチャルパフォーマンスなどの技術進化を目にしますが、このプロジェクトはそれとはまったく異なるアプローチです。まさに人間が音楽を演奏することによって、キャラクターを動かすのですから、プレイヤーの魂をそのまま保つことができ、さらに高みに持っていくことができます。そうして、こうしたことが新しい世代にも、いぶきを吹き込むことができると確信しています」
左から蓑輪氏、堀内氏、エドワード氏
また、ローランドの代表取締役社長である蓑輪雅弘氏も次のように語る。
「バーチャル空間やアニメーションといった世界に楽器メーカーがご一緒できるというチャンスをいただいたことに、感謝するとともに、非常に嬉しく感じています。アニメーションキャラクターがリアルに楽器を弾くことで、楽器が楽しいもの、面白いものであることを多くの人に伝えられるのでは、と期待しているところです」
「テクノロジーの進化によって体験価値が上がっていくことを提供できるという点において、バンダイナムコアミューズメントさんが目指している方向と、ローランドの方向がすごく一致しているものがある、と考えています。たとえばシンバルプレイやそれによるシンバルの揺れといったものは、一般のアニメーションでは割愛されてしまう部分です。そうした部分も正確に表現することによって、共感が得られたり、楽器に対する興味を持っていただけるのではないかと思っています」
バンダイナムコエクスペリエンスの取締役を務める堀内美康氏も「これまでの3DCGではキャラクターを動かすことがやはり中心であって、それ以外のこと、たとえばシンバルを揺らしたり、それが自然に止まる様子を描くのに非常にお金がかかるのが実情でした。そのため、世の中のほとんどの映像シーンにおいて、そうした部分はかなり簡略化されていたのです」とコメント。
「そうしたことを実現する技術のメドがたったことから、フェンダーさん、ローランドさんにお声がけさせていただきました。もっともプロデューサーの福田が『とにかくホンモノがいい』といって、両社に飛び込みのようにアプローチさせていただいたので、きっと驚かれたと思いますが、快く対応いただき、大変感謝しております」と話す。
では、もう少し具体的に、ZERO Edit Motion captureとはどういうもので、具体的にフェンダーやローランドがどんな協力をしているのか？
まず、ZERO Edit Motion captureと一般的なモーションキャプチャーを比較したのがこちらの表だ。
この表にもある通り、ZERO Edit Motion captureを用いることで、人の演奏をそのまま取り込むことができ、非常に高精度にそれをアニメーション化できる。こうしたモーションキャプチャーは、光学式と呼ばれる技術が使われており、赤外線をカメラが飛ばして、演者や楽器などに装着されたマーカーと呼ばれる球体からの反射によってそれぞれの位置情報を高精度に捕捉している。
ZERO Edit Motion captureもモーションキャプチャーの仕組み自体は一般的に使われているものと基本的に同じ。ただし、この際にギターやベース、ドラムといった楽器が問題になる。
「各マーカーの反射を正確に捕捉するには、余計なものが光ってはいけないわけです。しかし、これらの楽器はすごくピカピカであるために問題となる反射が起きてしまう」
「そのため、通常私たちは、楽器が乱反射を起こさないように、すべてガムテープでぐるぐる巻きにして、楽器としては成立しない状態にし、それを持って弾いているふりをするというのがアニメ業界の常識でした」
「しかし、これでは実際に弾くことができないため、弾く動きをモーションでとらえることができなかった。そこで演奏の動きを実現するには、手で1フレームずつ描くしかなく、非常に手間とコストがかかっていたのです。そうした中、フェンダーさん、ローランドさんが反射を起こさない楽器を作ってくださったことで、実現可能になったのです」（福田氏）
フェンダーの試作初号機
実際フェンダーの試作初号機は、完全に真っ黒で艶消し状態のベースやギターを作り、それを使った結果、うまくいくようになったとのこと。
同様にローランドでも、同社の電子ドラムであるV-Drumsを光沢のない特別仕様版として作るとともに、マーカーを取り付けられる形のものにしていったという。
一方バンダイナムコエクスペリエンス側では、指にモーションを測るセンサーをつけるなど、独自技術を盛り込むことで、ZERO Edit Motion captureが実現できるようにした。
「ただ艶消しさえすれば、同様のことができるように聞こえるかもしれませんが、おそらくそう簡単には真似できないし、我々の研究開発の中で取得した多くの情報もあり、それらを盛り込むことで実現できているのです」(堀氏)
もっとも、ギタリストにより気持ちよく弾いてもらうもらうために、オールブラックではなく、乱反射の問題は防ぎつつ、マホガニーのサンバーストを実現し、テンション高く弾いてもらえるように改良していったとのこと。
今回のポラポリポスポの音楽プロデューサーであるlieristaの濱田織人氏は以下のように語る。
「これまでも音楽は技術進化に合わせてさまざまな変化がありましたが、映像との親和性というものが非常に大事になってきていると思います」
「従来は、いい音楽を奏でたい、いいグルーヴを出したい、いい音を作ることにフォーカスしていました。もちろん、それは間違っていないし、これからも続いていくことですが、CGやアニメーションなど別のメディアと一緒になって自分たちの表現を広げていくことも大切な時代になってきていると思います」
「いまはキャラクターで自己表現する人、顔を出さない人など、自分のアイデンティティの作り方自体も多様化している中、ミュージシャン、技術者、クリエイターが一緒になって新しいものを作っていけることに大きな可能性があると考えています。その結果、これを見た人が『楽器を始めてみたい』、『CGを作ってみたい』、さらには『Project Pralisに関わってみたい』……といったことを思っていただけるようになれば面白いとなと思っています」
記者会見があった1週間後に、実際にポラポリポスポのミュージックビデオ制作のためのモーションキャプチャの撮影が、都内のGUNCY’S TECH FORTというスタジオで行なわれた。
このスタジオ、外貸しするモーションキャプチャースタジオとしては国内最大級とのことだが、広いスタジオには1台380万円～1,400万円というカメラが64機設置されていた。
ポラポリポスポのモーションキャプチャーでの撮影監督を行なったCGCGスタジオの取締役社長、山添武氏は「時間的にはリハーサルと準備で1日、実際の撮影で1日と、計2日間程度かかります。その準備では、ROM=Range of Mortionという作業を行ないます。予めプレイヤーのみなさんにマーカーのついたデジタル着ぐるみを着ていただいた上で、『体操』といわれる動作をしてもらいます」と解説。
「2つの意味の“レンジ”を記録していきます。1つは可動域のレンジであり、もう一つは人の骨の長さのレンジですね。さらに準備として、これが左手首の内側のマーカー、こちらが右肩のマーカー……といったように全部ラベリングをしていきます。こうした下準備が1次側の作業となります」
「さらに2次側、つまり表示側の作業をする現場があり、こちらではモーションデータを受けて、アニメーションにしていくのです。この2次側では顔の表情なども含めてリアルタイムに行なっていくので、ここまでをすべて撮影時に行なうのです」と話す。
CGCGスタジオの山添武氏
この日は、ポラポリポスポの3人組のバンド・WAKAZOの収録だったのだが、ドラムのAKARI役としてリアルにドラム演奏するのはドラマーの柳原和也氏、ベースのSO役となったのが徳永暁人氏、そしてギターのKYOSUK役がヒダカトオル氏で、まさに全員がトップ級のプロプレイヤーだ。
3人とも、黒いデジタル着ぐるみを着て、スタジオ入りするとともに、モーションキャプチャー用に作られた世界に1台しかないV-Drumsやギター、ベースを手に演奏していった。
プレイヤーのみなさんにも少し話を聞いたところ、演奏においてはまったく違和感はなく、普通に弾くことができる、とのこと。
徳永氏は「自分の演奏が目の前のディスプレイにキャラクターとなって現れ、自分の動きとまったく同じようにリアルタイム動くのを見ると面白いし、テンションも上がります」と話していた。
ベースの徳永暁人氏
柳原氏も「このスーツを着ていてもすごく動きやすく、まったく違和感はないですね。ただし、スティックだけは絶対に左右を間違えるな、とは言われてますよ」と話す。
ドラマーの柳原和也氏
リハーサル現場で面白かったのは、山添氏が演奏現場でiPadを持って動き回っていたこと。実はこれはバーチャルカメラというもので、カメラを向けた先の演者がリアルタイムにキャラクターに変換されて表示されているのだ。
もちろん、ここにはキャラクターだけでなく、ギター、ベース、ドラムもすべて表示されており、まさにバーチャル世界のカメラとして機能されるようになっている。
別フロアにいる2次作業を行なう現場には、3人のキャラクターの表情付けをする専門の担当者がそれぞれ3人いて、ゲームコントローラーのようなものを手にリアルタイムに操作していた。
山添氏は「プレイヤーのみなさんももちろん役者ですが、ここにいる表情付けをする人たちもまさに役者であり、その動きすべてを記録していくのです。まさにライブを作っているのと同じなのです」と話す。
また、実際の3人のプレイヤーが演奏する様子が、リアルタイムにCG化されているのを見ることもできた。やはり実写とCGでは若干のタイムラグがあるが、そのレイテンシーは385msecになっているという。
こうして記録した結果はその後、さまざまな利用が可能となる。たとえば客席からの視点で描くことも可能だし、もっとずっとプレイヤーに近づいた位置で、指先の動きまで寄ってアニメーション化することなど、カメラワーク、視点を自由に設定していろいろなミュージックビデオを後から作っていくことが可能になるわけだ。
「通常、リアルなライブ演奏を撮影するにはカメラが中に入っていかないといけないし、その際、演奏に影響が出ないようにする必要もあります。しかし、CGの特性は後から自由にカメラを入れられるという点にあります」
「すべて収録が終わった後に、演奏しているところに寄ってみる結果、新たな発見があるかもしれません。1つのソースからさまざまな気づきが得られる可能性があるのが楽しいところです」(福田氏)
なお堀内氏によれば、このProject PolarisのZERO Edit Motion captureのシステムはポラポリポスポのためだけにあるわけではなく、今後幅広い活用も考えているとのこと。
社内での他コンテンツへの活用はもちろん、たとえばVTuberなど外部への活用も検討しているという。これだけの規模のモーションキャプチャースタジオを使い、さまざまなスタッフが稼働することを考えると、コスト的にみて個人が簡単に利用するというわけにはいかないだろうが、今後さまざまな世界へと広がっていく可能性もありそうだ。
まずはポラポリポスポのミュージックビデオを毎月1本のペースで公開していき、現実世界でバンドとして売れることを目標に活動していくとのことなので、その動きを注目していきたい。
Be the first to comment
