どうも皆さん!最近、なんでもクレイジーソルトをかけるのにハマっています、 葉加瀬あい(ハカセアイ) です!
まず、今回の記事の内容を動画でみたい方は、こちらからどうぞ!(随時更新中です!)
今回は、「Hunyuan-Custom」について詳しくご紹介します!
これは、中国の巨大テック企業、Tencentから発表された、それはもう驚きのAI動画編集・生成技術なんです!
本当に、本当にビックリするくらい高機能で、どんなことができるのか、気になっちゃいますよね⋯!
https://hunyuancustom.github.io/
今回のポイント3つ
ということで今回お話しする内容はこんな感じです!
-
① これを見れば動画編集・生成の概念が変わる!Hunyuan-Customの驚異的な多機能性と、そのクオリティのすごさとは?
-
② なぜHunyuan-Customは動画で「同じ人」「同じ服」を保てるの?その秘密と、他のAIと比較した際の圧倒的な強みとは?
-
③ お金をかけずにプロ級動画を体験!環境構築不要の無料ツールを使った、Hunyuan-Customの具体的な利用方法を解説!
それと、Youtube では note の内容をAIで動画に変換して公開しているので、まだの方は noteのフォロー や YouTubeのチャンネル登録 もお願いします!
https://www.youtube.com/%40AI-Hakase
それでは、本日もよろしくお願いします!
Hunyuan-Customでできること!
今回ご紹介するこちら、具体的にどんな素晴らしいことができるかと言いますと⋯!
まず、元の動画に映っている人物などを、皆さんがご用意した別の画像の人や、大好きなお気に入りのアニメキャラクターなどに、とっても自然に入れ替えることが可能なんです!
それから、動画の中でキャラクターが持っているカバンを可愛らしい花束に変えたり、テーブルの上に置かれているコーヒーカップを別のアイテムに置き換えたり⋯。そんな「 小道具の入れ替え 」も自由自在にできちゃうんです!
マルチサブジェクトカスタマイゼーションって?
そして、「 マルチサブジェクトカスタマイゼーション 」という機能がありまして⋯!
複数の異なる画像や要素をAIにインプットするだけで、それらをとっても自然に組み合わせて、まるで本物のような一つの新しいシーンをまるごと作り出せてしまうんです!
特にこれが本当にすごいのが、複数のキャラクターを同時に動画に登場させても、それぞれに 一貫性を保ったまま 動かせるということなんです!
音声で動画を動かす!
さらに、「 オーディオドリブン ヒューマンカスタマイゼーション 」という機能も搭載されています!
これは、音声データを入力するだけで、入力された音声データに基づいて、動画の人物の口の動きや表情、そして細かな仕草までを、信じられないくらい リアルに自動で生成 してくれるんです!
それで、一番気になるであろうクオリティについてなんですが⋯!
HunyuanCustomは、すでに公開されている他の最先端の動画生成AIたち、例えばRef1、Ref2、Keling、Vidu、Pika、Skyreels、VACEといった素晴らしい技術と比較したデモ動画も公開されているんです。
そして、これがもう⋯!
本当に 目を見張るクオリティ なんです!
特に私が個人的に注目しているポイントは、動画の中での 顔の一貫性 が本当に凄まじいところです!
こちらは実際に私が生成してみたものなんですけども、この一貫性、やばくないですか?!
さて、ここまででHunyuanCustomの驚きの機能やクオリティの一端をご紹介しましたが、具体的に「どうすごいのか?」、そして「どう使うのか?」といった点が気になる方もいらっしゃるかと思います。
特に、デモ動画だけではピンとこないという方のために、次にさらに掘り下げて、その性能を論文ベースのベンチマークなども交えて、数値としてもしっかりと見ていくことにしましょう!
マルチモーダル対応がすごい!
まず、 びっくりするくらいマルチモーダル なんです!
ちょっとマルチモーダルという言葉を聞き慣れない方もいらっしゃるかもしれないです!
これは、画像とか音声とか動画とか、 いろんなメディアの媒体から 、それに基づいた動画生成ができるということなんです。
こちら見ていただくと分かるんですけども、画像とか動画も、いろんな他のオープンソースのAI技術を使って、きちんと 動画生成AIが理解できるような構造になっている んです!
IDの一貫性が素晴らしい!
そると、やっぱりここもよく取り上げられるんですけども、 IDの一貫性 というのも素晴らしいんです!
これというのは、例えば画像から動画生成をした時に、その人物や動物の顔などを、 一貫性を保ったまま動画にしてくれる というものなんです。
これについては、こちらを見ていただくととても分かりやすいかと思います。
まず、 有料の動画生成AIと比べても 、Hanuven Customは 無料なのに こんなに顔の一貫性がきちんと保たれているんですね!
ちなみにこれ、動物とか洋服とかでも一緒なんです!
他の有料の動画生成AIがなぜかベルトとかが付いたり服の色が変わっていることに対して、Hanuven Customはかなり 正確に洋服の特徴を動画に反映 できているんです!
それぞれのパフォーマンス評価を見てみても、やっぱり 圧倒的 なんですね!
ただ、注意点が一つだけあって、どのくらいダイナミックに動けるかに関しては、飛び抜けているというわけではないんです。
イメージとしては、KillinGlass 1.6と同じくらいだと思っていただけると良いかと思います。
それでも、はっきり言ってやっぱりこの 性能とかクオリティとか一貫性はすごい んです⋯!驚いてしまいます!
トーキングビデオも作れる!
ちなみに画像とオーディオから、こちらのような トーキングビデオ なども作ることができるんです。
eコマースのCMなど、様々な業界で活用される可能性がありそうです!
さて、Hunyuan Customの驚くべき性能をご紹介しましたが、これだけ多機能で高品質なツール、実際にどうやって使えるのか気になりますよね?
というわけで、これまでの内容を踏まえて、次はツールの使い方について詳しくお話ししていきたいと思います!
手軽に試したい方はこちら⋯?
「まずはちょっと気軽に使ってみたいな!」という方に向けた方法もあるんです。
ただ、こちらは少し注意が必要で、 中国語 なので、もしかしたら難しい部分があるかもしれません⋯。それから、 お金がかかってしまう部分 もあるようですので、利用する際はよく確認してみてください!
https://hunyuan.tencent.com/modelSquare/home/play?modelId=192
技術的な方法で利用するには?
「コマンドラインには慣れてるよ!」という方であれば、 GitHub などから利用することもできるんです。
でも、正直なところ⋯! ちょっとはっきり言って、インストールされているライブラリなどを確認すると、エラーなどが起こった時に 対応が少し面倒かもしれないな 、という印象です⋯。
https://github.com/Tencent/HunyuanCustom
初心者さんに嬉しい!無料で実行できるツールを使ってみましょう!
そこで今回ご紹介したいのが、こちらの 無料で実行できるツール なんです!
今回も、こんな感じでセットアップが ものすごく簡単 になっているんです! なんと、こちらのボタンを ワンクリックするだけ でOKなんです! 面倒な設定は一切いりません!
ツールの立ち上げも、これまた すごい簡単 なんです! こちらの部分を 実行していただくだけ で⋯!
ご覧ください! こんな風に 簡単に使えちゃう んです!
ぜひぜひ、 全部自動化 して、楽ちんに楽しんでみてください!
さらに詳しく学びたい方へ
ということで、ここからは私のNoteメンバーシップ「 あいらぼ(Ai-Lab) 」にご参加の皆さん向けに、さらに 詳しい解説 をしていきたいと思います!
「あいらぼ(Ai-Lab)」には、現在なんと 400人を超えるAIクリエイターさん が参加されているんです! 最新の トレンドAI情報 はもちろん、 公式LINEとの連携 でAIに関するお悩み解決なども行っているんです! まさに、AIを学びたい、活用したいという方にとって、 最高のコミュニティ なんです!
ただ、現在 人数制限 を設けている状況なんです⋯。ですので、もしご興味のある方は、ぜひ お早めに こちらのリンクから 入門 して、続きをご覧ください!
https://note.com/ai_hakase/membership
「あいらぼ(Ai-Lab)」入門者の皆さん、大変お待たせいたしました! それでは早速、続きをやっていきましょう!
実行環境について
まず、今回のハードウェア要件に関しては、こんな感じになっています!
Views: 0