🧠 概要：
概要
この記事では、「Scaniverse」アプリを使用してLiDARスキャンを行い、その成果や使い方について詳細に説明しています。著者はVFX（視覚効果）業界の専門家であり、スキャンデータが実際のスケールで利用可能であることの重要性を強調しています。特に、スマートフォンを使って手軽に3Dスキャンができる利点やアプリの機能についても触れています。
要約
-
LiDARセンサーの登場: iPhoneやiPadに搭載されたLiDARセンサーで、実スケールでの3Dスキャンが可能になった。
-
Scaniverseアプリ: 2021年から使用しているアプリで、メッシュおよび3DGSを生成可能。
-
スキャンの用途: VFX撮影現場でのカメラ位置特定やVFXプランの考案、アニメーション用の接地モデル作成などに使用。
-
スキャン体験: スキャンデータは実スケールでとても便利だが、小さなセンサーによる誤差も存在。
-
具体例: 那覇の実物大ハーリーのモニュメントをスキャンした例を紹介。
-
Scaniverseモード: 「メッシュ」モードと「Splat」モードを用いたスキャンができ、それぞれの出力形式についても説明。
-
出力データ: スキャンしたデータはfbxやply形式で出力可能。ダウンロードリンクも提供。
-
プライベートスキャン: 他に、旅の思い出としてのスキャン体験も紹介。
- 推奨: スマホを使用したスキャンは手軽で、VFXや私生活の両方で役立つと結論付けている。
iPadProやiPhoneProにLiDARセンサーが搭載されたときは衝撃でしたね。iPhone12Proを購入してすぐに「3d Scanner App」をインストールして試したのを覚えています。
3d Scanner Appのスキャン履歴
現在は「3d Scanner App」はほぼ使っていませんが履歴を見ると2020.11.23に初スキャンしています。その時のムービーがこれです。自分のバイク（ホンダクロスカブ110）をスキャンしたものです。
いまでこそ3Dスキャンは当たり前になってきましたが、この時に驚いたのが「実スケールでスキャンできる」ことでした。それまでもフォトグラメトリなどでリアル世界のものをCG化してきましたがLiDARセンサーがあると（ほぼ）リアルなスケールでスキャンできるのです。
大きさや距離などの測定
スマホの小さなセンサーなので誤差もありますし、CGのメッシュとしてはクオリティは高くないですがこのCG（メッシュ）をそのまま映像として使わないので構いません。「実スケール」であることがVFXをやっている人にとっては重要です。
撮影現場でのスキャン
僕はテレビや映画などのVFXの仕事をしていますが、スキャンデータが「実スケール」であることが最も重要です。また、特別な機材なしにいつも持ち歩いているスマホでスキャンできるのも有難いです。仕事の画像やデータはお見せできないですが、例えば美術セットやロケ現場をおおまかにスキャンしておき、撮影映像の合成のためのカメラ位置特定や、下見で現場をスキャンしてVFXプランを考える時に距離などを確認したりプレビズで使うこともあります。カメラトラッキングをするときのガイドにすることもできます。また、例えばあるCGが地面に落ちてくる時のエフェクトシミュレーションのコリジョン用にスキャンすることもあります。CGによる動物や虫などのアニメーション用の接地モデルとして使うこともできます。あくまでスマホでのスキャンなので広域だと誤差がでたりデータ量が溢れたりして使うのは難しいです。
また、アタリだけでなくあまり大きく映らない場合はスキャンしたメッシュをそのまま本番CGで使う場合もあります。
2021年頃からはずっとScaniverseアプリを使っています。メッシュも3DGSも生成でき、とても使いやすいアプリです。精度は分かりませんがLiDARセンサーが搭載されていないiPhoneやAndroidでも使えるはずです。実スケールになるのかどうかはLiDARセンサー無しで使っていないので分かりません。
これはプライベートでスキャンした灯籠です。fbxデータもアップしているのでダウンロードしてみてください。ヨリでなければそのまま使えそうですし、もっとクオリティが必要な場合にはちゃんとフォトグラメトリすればいいかなと思います。
人物スキャンも試したことがありますが、アニメーション前提でTポーズやAポーズでスキャンする場合、スキャン中にどうしても動いちゃうので難しいです。今ならばモブシーン用には写真からAIでCGモデル生成したほうがいいかなと思います。ちなみに死体など動かないものはバッチリ撮れます。ドラマや映画でも何度か死体スキャンをして本番でも使用しました。
撮影現場でVFX担当者がスマホを持ってスキャンしている姿を優しく見守ってあげてください。
那覇ハーリーのスキャン
ウチの近所に実物大ハーリー（爬龍船・ドラゴンボート）のモニュメント（ベンチ）があります。これをスキャンしてみました。
Scaniverseは「Splat」と「メッシュ」のモードがあります。Splatは3DGS、メッシュはポリゴンメッシュを生成してくれます。
Scaniverseのモード
まずは「メッシュ」モードからやってみます。スキャンする対象物の大きさによりメニューを選んでスキャン開始です。
Scaniverseのメッシュスキャン
スキャンできてくると画面に形状が表示されます。スキャンできていない箇所が赤い斜線なのでそれを見ながら必要な箇所をスキャンしていきます。ちなみにLiDARセンサーの性能によりスマホから5mまでの距離しかスキャンできません。
スキャン処理中
メッシュの出力形式
スキャンが終わったらfbxで出力しておきます。objやplyなどの出力もできます。fbxデータをアップしているのでダウンロードしてみてください。
Mayaにfbxを読み込んだムービーです。以前作ったサムライを座らせてみました。「実スケール」なのでプレビズなどにも活用できます。
次は「Splat」モードをやってみます。動き続けるように指示がでるので対象物の周りをグルグル回ると少しずつ画像が綺麗になってきます。
ScaniverseのSplatスキャン
スキャンが終わったら出力しますが、メッシュではないので形式が少ないです。plyで出力しておきます。plyデータもアップしておくのでダウンロードしてみてください。
splatの出力形式
splatのplyはMayaやBlenderでは直接読み込めません。Mayaは確かV-Rayがあれば読み込めるかも？BlenderはKiriEngineのプラグインがあったと思います。今回はPostShotとSuperSplatで読んでみます。
このドラゴンボート、反射がキツくてなかなか綺麗に撮れないんですよね・・・今回はテストということでご勘弁を。
SuperSplatで範囲を狭めてWeb公開しました。グリグリできます。
他にもプライベートでスキャンした3DGSをいくつかアップしておきます。
スマホでのスキャンは手軽にできてVFX現場でも役に立ちますし、プライベートでも旅の思い出になるのでぜひやってみてください。
Views: 0
