スクウェア・エニックスがPC（DMM GAMES）/iOS/Android向けに基本プレイ無料で配信しているストラテジックRPG『エンバーストーリア』。魔獣がはびこる試練の大地「レンゴク」を舞台に大規模な集団戦闘が楽しめるリアルタイムストラテジーゲームの本作だが、Live2D技術による、リッチな2Dアニメーションも魅力であることはご存知だろうか。前編でもお伝えしたが、やはり動画を見ていただくのが一番早いので、ひとまずこちらを見ていただきたい。
今回、弊誌AUTOMATONでは、スクウェア・エニックス、オレンジキューブ、ＣＲＩ・ミドルウェア、Live2Dへのインタビューを実施。インタビュー前半はLive2Dモデル制作へのこだわりを存分に語っていただいた。後半となる本稿では、『エンバーストーリア』の一部ドラマパートで活用されている「モーションシンク機能」に焦点を当ててお話を伺っていく。
Live2D Cubism製品ページ
https://www.live2d.com/
Live2D Cubism ダウンロードページ
https://www.live2d.com/cubism/download/editor/
エンバーストーリア
https://www.jp.square-enix.com/emberstoria
Live2Dにおいて、音声を読み込んだうえで自動的に「口パク」を設定してくれる機能は2種類存在する。1つ目は「リップシンク機能」。あらかじめモデルに口の開閉を設定しておくと、音量に合わせて自動的にモデルの口を動かしてくれる機能だ。
もう1つは、Cubism 5.0から実装された「モーションシンク機能」。読み込んだ音声を解析し、モデルに事前に設定した「あいうえお」の母音に対応させてモデルの口を動かしてくれる機能だ。単純な開閉のパラメータのみを参照していたリップシンク機能と比較すると、母音5つ分の形状をブレンドさせるため口の動きがリッチになるのが特徴だ。音声解析にはＣＲＩ・ミドルウェア社が開発する「CRI LipSync」が採用されており、ミドルウェア間の技術提携も光る機能である。
そんなモーションシンク機能を『エンバーストーリア』がいち早く取り入れた経緯はどのようなものだったのか。従来のリップシンク機能と比較して、どのようなメリットがあるのか。インタビューを通じて、その魅力を紐解いていこう。
【インタビュー参加者一覧】
◆スクウェア・エニックス
今村 真紀子氏（『エンバーストーリア』コンテンツディレクター ）
元橋 亮太氏（『エンバーストーリア』シナリオプランナー）
◆オレンジキューブ
細田 幸治氏（『エンバーストーリア』リードエンジニア）
清水 史人氏（『エンバーストーリア』リードフロントエンジニア）
◆株式会社ＣＲＩ・ミドルウェア
畠山 一星氏（営業本部 第1営業部 部長）
我妻 大樹氏（開発本部 第1開発部）
◆Live2D株式会社
李 東池氏（開発事業部 Cubism グループ AIチーム/AIエンジニア・プログラマ ）
田中 颯馬氏（開発事業部 Cubism グループ SDKチーム/プログラマ）
小関 睦海氏（マーケティング事業部 マーケティンググループ SDKライセンシングチーム）
―― 『エンバーストーリア』の一部ドラマパートで採用されている、Live2Dのモーションシンク機能についてお聞かせください。そもそもモーションシンク機能とは、どういったものなのでしょうか。
田中氏（Live2D）：
モーションシンク機能は「Live2D Cubism 5.0」で追加された、音声に合わせたリアルな口の動きを表現するための機能です。以前のバージョンにもリップシンク機能はあったのですが、音量に合わせて口パクをするシンプルなものでした。モーションシンク機能では母音に対して事前に口の形を設定しておき、音声と組み合わせたときにその口の形状をブレンドすることで、より自然に口の形状を生成することができます。事前にモーションを作らなくとも、音声をUnity上で流すだけでリアルタイムに口の形を生成することが可能です。
また、ゲームやソフトウェア制作ではテスト段階で音声が差し替わったり、多言語に対応することもあります。そういった場面でもモーションを置き換える必要がなく、音声を差し替えるだけで口の形を自動的に置き換えることができるというメリットもあります。
―― 比較的最近のバージョンで追加された機能ですが、『エンバーストーリア』でモーションシンク機能を採用するにあたってはどのような経緯があったのですか？
細田氏（オレンジキューブ）：
「Live2D Cubism 5.0」がリリースされる1年くらい前には、ベータ版としてモーションシンク機能自体は発表されていました。かなり面白い表現ができそうな機能だと感じたので、開発のオレンジキューブ側からスクウェア・エニックスさんに提案したのがきっかけです。
今村氏（スクウェア・エニックス）：
細田さんが情報をキャッチしてきてくださったんですよね。ベータ版の機能を製品に使うのは難しかったのでしばらく様子見をしていたのですが、『エンバーストーリア』リリースの半年くらい前に正式版にもモーションシンク機能が追加されたので、そこから急遽、ゲーム側のバージョンもアップデートすることにしました。
―― リリース半年前にミドルウェアのアップデートに対応したと。大変ではなかったですか……！？
細田氏（オレンジキューブ）：
自分のほうで対応して組み込んでみたところ、実機でも問題なく動きそうだったので……（笑） これはいけるな、と思って提案しました。実際にあまり問題は起きず、モーションシンク以外の部分で発生したバグの修正も1週間程度で完了しています。開発の終盤に採用した機能なので全てのドラマパートに対応するまでは至っていないのですが、一番効果的にモーションシンクを使えそうなオープニング場面に採用できたので良かったなと思っています。
今村氏（スクウェア・エニックス）：
あのときの細田さんの動きは本当にスピーディーでした。アップデートしましょうという連絡がくるのと同時に検証版のデータも送られてくるような感じだったので、提案段階でもうオープニングくらいなら大丈夫だろうという検証が済んでいたのは大きかったです。
―― それほどモーションシンク機能には惹かれるものがあったということでしょうか。
細田氏（オレンジキューブ）：
そうですね。従来のリップシンク機能だと口パクっぽくなりがちなので、どうしても他のゲームと差別化できるような表現が作りたかったんです。
今村氏（スクウェア・エニックス）：
細田さんの熱意や知見がすごかったですし、我々としてもそれを受けて、せっかくフルボイスなんだから活かせることをやりたいなと。
―― 『エンバーストーリア』では、モーションシンク機能とリップシンク機能はどのように使い分けられているのでしょうか。
細田氏（オレンジキューブ）：
通常のドラマパートにはリップシンク、オープニングのドラマパートにはモーションシンクを使っています。現時点でモーションシンクに対応しているモデルは、コザキユースケ先生が担当している主人公格のキャラクターのみです。多くのユーザーが触れる序盤のシーンには力をいれたかったので、オープニングに登場する彼らは優先してモーションシンクに対応しました。
―― なるほど。優先して……ということは、今後は他のキャラクターもモーションシンクに対応していく可能性はあるのでしょうか。
今村氏（スクウェア・エニックス）：
やっていったほうがリッチにはなるのですが、現時点でフルボイスのドラマとそうでないドラマが混在しているので、目立つ部分から手を付けていきたいなという感じです。
細田氏（オレンジキューブ）：
ただ、口の動きと演技を合わせるのは、普通のリップシンクよりも少しだけ工数はかかります。また、口の動きとボイスの音合わせとモーションのドラマ部分の動きを合わせる際、Unity側に移らなければいけない点も若干煩雑さを感じていますね。Cubism Viewerでのチェックは可能ですが、弊社フローでは実機で見るまで口のモーションの完成形が見えないので……。
今村氏（スクウェア・エニックス）：
そのあたりを含めてのハードルがクリアできれば、もっとモーションシンク機能の採用幅を広げていけるなと思っています。
―― 今度はＣＲＩ・ミドルウェア様からもお話を聞かせてください。Live2Dのモーションシンク機能にはCRI LipSyncが活用されておりますが、そもそもCRI LipSyncとはどういったもので、どういうウリがあるミドルウェアなのでしょうか。
我妻氏（ＣＲＩ）：
CRI LipSyncはディープラーニングによる音声解析技術を活用した、音声データから自然な口パターンを自動生成できるリップシンクミドルウェアです。ゲーム機を中心としたマルチプラットフォームで、新しい機種への対応もいち早く行っています。さまざまな機種やパフォーマンス要件を満たしつつ、どんな機種であっても同じ水準のクオリティを内部的に担保できる仕組みを整えているのを強みとしています。
―― Live2Dのモーションシンク機能にCRI LipSyncが採用された経緯はどのようなものだったのでしょうか。
李氏（Live2D）：
基本的にLive2Dで口の動きを作るときは、まず口の形を事前にモデリングすることになります。そうした既存のモデリングフローを生かしながら、リップシンクを実現する機能を検討した際に、音声からテキストへと変換する一般的な音声認識機能とは異なり、音声から直接口の形を認識するような技術が必要になったんです。モーションシンク機能の研究段階では複数の技術を比較検討したのですが、CRI LipSyncはリアルタイムと非リアルタイム両方の精度が高く、コンシューマーゲームを含めた多くのプラットフォームに対応可能なことがわかりました。ＣＲＩ・ミドルウェアさん自体も継続的かつ安定的にメンテナンスサポートを行っていらっしゃるのも魅力的でした。
―― 製品品質だけでなく、サポートの手厚さも魅力だったと。ミドルウェア同士で提携というのは、業界ではよくあることなのでしょうか。
畠山氏（ＣＲＩ）：
あまりないかもしれませんね。CRI LipSyncは音や映像作品に取り入れられることはあるのですが、他社さんのミドルウェアに内包されて動作する、というのはかなり珍しいケースです。
小関氏（Live2D）：
CRI LipSyncを使っていてさらにLive2Dモデルも動かしているようなタイトルの場合、クリエイター側で2つのミドルウェアを組み合わせているような場合もあると思うんです。それがまとめてひとつのミドルウェアで使えるようになったので、組み込みの利便性なんかは上がっているんじゃないかと思いますね。
―― 最後に『エンバーストーリア』のLive2D表現について、皆さまが気に入っているところやアピールポイントを教えてください！
今村氏（スクウェア・エニックス）：
一番はやっぱり、ビーチェが背中を向けるところですね。モニターを向くモーションが気に入っています。
元橋氏（スクウェア・エニックス）：
フルボイスで作っているシーンにはもちろん力が入っているのですが、見劣りすると思われがちなパートボイスのシーンも細かくこだわって調整していたりします。Live2Dの見せ方など、意外とフルボイスよりも頑張っているところもあったりするので、ぜひ見てみてください。
細田氏（オレンジキューブ）：
モーションシンクをつけたオープニングはぜひ見ていただきたい部分です。それ以外にも、実際にゲーム内で戦闘に向かうシーンも、Live2Dがしっかりと動いていたりします。そういったところにも着目してみてください！
清水氏（オレンジキューブ）：
話題に挙がっていない部分だと、エンバースルームでしょうか。キャラクターをタップするとさまざまな反応をするので、本作のLive2Dを気に入っていただけた方は楽しんでいただけると思います。親密度あげるとモーションが変わることもあるので、ぜひ見てみてください。
我妻氏（ＣＲＩ）：
CRI LipSyncは単なる音声解析ソフトではなく、レンダリング結果がより良い見た目になるように作り込まれたミドルウェアです。Live2Dさんとタッグを組んだモーションシンクで、弊社の技術を活用いただけることを光栄に思っております。
小関氏（Live2D）：
『エンバーストーリア』はやはり、オープニングのドラマパートが映像表現としてすばらしいです。弊社はツールを提供する立場ですが、インタビュー中にプロデューサーの方が2Dが好きというお話も聞けたので、同じ2D好きとして同じ方向を向いているような気持ちになってとても嬉しくなりました。
田中氏（Live2D）：
モーションシンクを使っているパートで細かい口の演技がたくさん拝見して、ＣＲＩさんと協力して開発してきた甲斐があったな、と感慨深くなりました。『エンバーストーリア』は映像表現としてのカメラワークにも秀でていて、全体的な構図など、アニメーション制作事例としてもとても参考になるタイトルだと思います。Live2Dでアニメーション制作をする方にも遊んでいただきたいタイトルです。
李氏（Live2D）：
私はモーションシンクに研究の段階から関わっている立場なので、採用していただいてありがたいなと感じました。今後、プロジェクトのなかでお困り事がでてきたり、要望があったらぜひ教えてください。一緒にLive2D Cubismも成長していけたらなと思っています。
―― ありがとうございました！
『エンバーストーリア』はPC（DMM GAMES）/iOS/Android向けに、基本プレイ無料にて配信中。そのリッチな2Dアニメーションはダウンロードしてすぐに見ることができるので、ぜひその目で動きを確かめてみてほしい。
Live2D Cubism製品ページ
https://www.live2d.com/
Live2D Cubism ダウンロードページ
https://www.live2d.com/cubism/download/editor/
エンバーストーリア
https://www.jp.square-enix.com/emberstoria
[聞き手：Ayuo Kawase]
[聞き手・執筆・編集：Aki Nogishi]
Be the first to comment
