🧠 概要:
概要
この記事では、PixAIが新たに発表したAI画像生成モデル「Tsubaki-Preview」について詳しく解説しています。このモデルは、特にプロンプトの理解力が向上しており、複雑なシーンやキャラクターをリアルに表現する能力が高まっています。さらに、様々なアートスタイルや表現方法にも対応している点が特徴です。
要約
- 新モデル「Tsubaki-Preview」: PixAIが訓練した初のDiTモデル。
- プロンプト理解力の向上: 自然言語や長文プロンプトに対する理解力が飛躍的に向上。
- 複数キャラクターの描写: キャラクターごとの細かな指示が可能で、自然なインタラクションを表現。
- 多様なスタイル対応: 水彩や鉛筆画など、様々な技術を再現可能。
- 「透明」概念の再現: アートにおいて透明感を持つ表現ができる。
- 機能強化: プロンプトヘルパーによる提案が標準でON。
- 注意点: 人気キャラクターに過適合することがあるため、指定には工夫が必要。
- PixAI会員向けの特典: 月額9.99ドルから会員になれるプランで、プロンプト理解力の高い画像生成AIをお得に利用可能。
全体として、Tsubaki-Previewはアニメ系画像生成に非常に高い可能性を持っていると評価されています。
どうも皆さん!テレビのリモコンを探す時間、年間で計算したら結構な日数になりそうです、 葉加瀬あい(ハカセアイ) です!
今回の記事の内容は 「YouTube動画版」 でも見れますので、こちらからどうぞ!
PIXAI初のDiTモデル「Tsubaki-Preview」が登場しました!
今回ご紹介するのは、PIXAI初のDiTモデル、「 Tsubaki-Preview 」です!
https://pixai.art/ja/model/1884107375027888751-Tsubaki
これ、実際に使ってみると結構その性能に驚くと思うんですけども、実はPixAIが ゼロから訓練した新しいモデル なんです!
「象徴的なACGシーンの再現、または創造的な再解釈」を目的として設計されました。
これだけ聞くと、少し難しく感じるかもしれませんね⋯。
つまりは、 プロンプトの理解度が大幅に向上 して、ユーザーさんが想像したような画像を生成しやすくなる、ということなんです!
具体的なシチュエーションや感情を言葉にしたときに、AIがそれを 的確に捉えてくれる ところが大きなポイントです。
これはもう、ぜひ実際に試していただきたいポイントです!今回のアップデートは絶対に見逃せませんよ!
ちなみに、こちらの「Tsubaki」現在はアルファテスト版になりますが、まもなく公式リリースされます!ぜひチェックしてみてください!
今回のポイント3つ
ということで今回お話しする内容はこんな感じです!
-
① 皆さんの「描いてほしい」がそのまま画像に!PIXAI初のDiTモデル「Tsubaki」が実現する、圧倒的なプロンプト理解力と自然言語対応の秘密とは?
-
② 複数キャラクターも、複雑なシーンも、思い通りに!DiTモデルとPIXAIの技術が融合した「Tsubaki」の、キャラクター描写と詳細指示への対応力を深掘り!
-
③ アニメ・イラスト好き必見!「Tsubaki」を最大限に活用して、理想のACGシーンを創り出すテクニックと、PIXAIをお得に使い倒す方法をご紹介!
それと、Youtube では の内容をAIで動画に変換して公開しているので、まだの方は のフォロー や YouTubeのチャンネル登録 もお願いします!
https://www.youtube.com/%40AI-Hakase
それでは、本日もよろしくお願いします!
新技術「DiT (Diffusion Transformer)」で何が変わる?Tsubakiのココがすごい!
ところで、先ほど当たり前のようにDiTモデルという言葉を使いましたが⋯
実際にはどんな技術かといいますと、DiTは、DiffusionモデルとTransformerの 良いとこ取り をしたような技術なんです!
これにより、 プロンプト理解力が大幅にUP し、 多様なスタイルにも対応 できるようになりました!
ちょっと専門用語が出てきてよくわからなかったかもしれないんですけど、例えば、こんな感じで多数の要素(髪型、服装、背景、雰囲気)を複雑に組み合わせた指示でも、破綻なく魅力的な画像を生成できるんです!
ですので、このTsubakiでは、主にこのようなことができるようになっていると考えられます!
-
自然言語プロンプトへの高い対応力
-
長文プロンプトのサポート強化
ここがやはりDiTモデルの最大の利点なんです!自然な英語の文章で指示をしても、AIがきちんと理解してくれるようになるんです!これまでは単語を区切ってプロンプトを指定する必要がありましたが、それがぐっと楽になりました。
こちらは、少し複雑な指示として、「冒険家の女性が、幻想的な谷でスケッチをしている。そばにはグリフィンの相棒が⋯」といった、少し長めのストーリー性のある指示を出してみました。Tsubakiがこの物語的な文脈をどれだけ深く理解し、情景豊かな画像を生成できるかがわかります!
それと他にも以下のような特徴があります!
-
キャラクターごとの細かな指示が可能に
-
複数キャラクターの描写品質向上
例えば、画面の左側にどんなキャラクター、右側にどんなキャラクター、といったイメージで指示をすると、それぞれの領域を指定してプロンプトを作成し、画像生成をすることができるかと思います。左と右でキャラクターの髪の色や洋服の色などを分けて指定することもできます!
こちらについては、「左の女性は銀髪でクールなバリスタ風」「右の女性はイチゴ金髪で明るいお客さん風」と、左右で異なるキャラクターの特徴を具体的に指示しました。複数キャラクターを描写する際の品質と、それぞれの指示の反映度合いがよくわかりますね!
それと、 キャラクター間の自然なインタラクション もできるようになっています!
つまり、 キャラクター同士が自然に交流している様子 を表現できるんです!二人のキャラクターが視線を合わせたり、何かを共有したりしているような、生き生きとした瞬間を描写すること簡単にできてしまうということですね!
こちらの例では、「スマホの画面を見せている」「楽しそうに覗き込んでいる」といった、キャラクター同士の具体的な行動と感情の繋がりを描写するよう指示しました。Tsubakiが二人の間の自然なやり取りや空気感をどれだけ表現できるかがわかります!
そして、改良版プロンプトヘルパーが 標準でON になったんです!
これでプロンプトヘルパーからの提案を、AIがかなりしっかりと受け入れてくれるようになったのも、とっても魅力的ですね!
例えば、こちらの シンプルなプロンプト でも、 プロンプトヘルパー が補完してくれることで 魅力的な画像 が生成されるのがお分かりいただけるかと思います⋯!
それから、色々な 画材 や スタイル 、 タッチ に関する要求も試してみましたよ!それぞれどのような感じになったのか、ご紹介します!非常に綺麗に再現されています!
-
パステル (pastel drawing:1.4)
強度を上げて画風を 強く指定 し、「チョークのような柔らかなパステル」「優しい色の混ざり合い」といった言葉で作ってみたんですけども、 パステル画特有の質感 が表現できていますね!
こちらでは、水彩画を指定し、「 透明感 のある」「色の 滲み 」「wet-on-wet(ウェットオンウェット技法)」といった水彩画特有の テクニック を言葉で指示を出してみました! アナログ感 のある表現ができています!
そして次は、monochrome pencil sketch で 白黒の鉛筆画 を指定。「クロスハッチング」「線の太さの変化」といった具体的な 描画方法 を指示した結果、 手描き感 のあるリアルなスケッチが表現できています。
こちらでは、crayon drawing を指定し、「太く、ワックス感のあるクレヨンの線」「意図的な塗りムラ」といったキーワードでクレヨン画の 質感 を表現しようと試みたのですが、こちらは 画用紙 などがどうしても出てきてしまう結果となりましたね⋯!
続いて、sumi-e style で 墨絵 を指定してみました。「大胆な筆遣い」「墨のぼかし (bokashi)」「余白 (yohaku) の美」といった 専門的な用語 を使ってみたのですが、こちらも、かなり良い出来栄えですよね!
そしてこちらでは、oil painting を指定し、「目に見える筆跡」「厚塗りの質感 (impasto)」というキーワードで油絵特有の マチエール(絵肌) を表現しようと試みたのですが、こちらもかなり良く描けているのが分かります!
「透明」の概念テストの結果は?
ここでは2種類のテストをしてみました!
(glitch art:1.2) で全体的な画風を指定しつつ、「(translucent and glitching:1.4)( 半透明でグリッチしている )」と 状態の指定 では、指示をしっかりと聞いてくれて、期待通りの結果となりましたね!
それとこちらは、キャラクターの一部の服装が ガラスや水のように透明 になって 透けたりしている 例です。少し意地悪なプロンプトだったかもしれませんが、 Tsubaki がきちんと理解してくれているように思えます!
既存モデルとの比較
それと、実際に 既存のモデル とも比較しながら見ていきましょうか!ここでは、私がいつも使っている Otome v2 の画像生成プロンプトと比較してみるんですが⋯。
Otome v2 は単語を タグ区切り の英語プロンプトとして理解して画像生成するのに対して、 Tsubaki の場合は プロンプトヘルパー機能 を使うと、その 単語区切り のプロンプトをそのまま DITモデル が理解しやすい 自然言語 のプロンプトに変換してくれます。そのため、 タグ区切り と 自然言語 でどのような違いが起こるのか、一目瞭然だと思います!
こちらは「 カフェで思慮深い表情をしている時 」といった内容で指定していたプロンプトです。 全身ショット の部分をきちんと描いてくれているのが分かります。なおかつ、画像生成によく見られる パターンの繰り返しが少ない のも特徴です!
このように、プロンプトで指定した シーン も、 Tsubaki がきちんと理解していることが分かりますね!
さらに、様々な服装の指示や、ダイナミックなアクションポーズといった、より具体的な指示も試してみました。
例えば、ジャンプしている途中の画像を生成してみたんです!
そうしましたら、 Tsubaki の方がやっぱり理解度が高くて、きちんとジャンプした瞬間を写真で撮っているような自然な感じが出ているんです! やっぱり DITモデル って、さすがですね!
それと、実際に使ってみての 注意点 なども、少しご紹介しておきたいと思います。
一応、人気キャラクターの生成自体は、こんな感じでLoRAを使っていないのにも関わらず、かなり正確に生成できていると感じます。
ただし、エルフとか黒いドレスとかそういう特徴を指定してしまうと、こちらのように「フリーレン」や「ブルーアーカイブ」、「ボーカロイド」といった単語は一切入力していないのに、そのキャラクターに似たようなものが出てきてしまう…という、よくある 人気キャラクターへの過適合 という問題があるように感じましたね。
こちらに関しては、できるだけ似たような特徴を持つ画像生成はしないように注意するなど、対策が必要になってくるのではないかと思います。
プロンプトのコツ
それと、関連してプロンプトにもコツがあります。
Prompt Helper OFF時 は、より 詳細な長文プロンプト を使うことで、 高品質な結果 を得やすくなります。細かく指示を入れると、 DITモデル がより理解しやすくなるんです!
プロンプトヘルパー機能 を使うか、あるいは基本的には作りたいイメージを LLM や ChatGPT 、 Gemini などを使って 画像生成用の自然言語プロンプト に変換してあげると良いです。
プロンプトヘルパーの裏側を見る
ここでは、 書き換え後のプロンプトヘルパーの確認方法 をもう少し詳しく見ていただきたいので、ご説明しておきます!
まず、画面右上のアバターをクリックし、「Profile」を選んでください。
そして、表示された画面で「生成履歴」のところをクリックしてください。そこで作品をクリックしてあげると、こちらのように 詳細パラメーター や、イラストを生成したときの プロンプト が表示されるんです。
個人的な所感
そして、総じて個人的な所感ですが、とても良い画像生成AIモデルだと思いますね!
やっぱり DITモデル としてゼロからトレーニングしただけあって、プロンプトの 表現力はとても素晴らしい ですし、 PixAI の モデル作成技術 もそこに上乗せされる形で加わっています。ですから、アニメ系の画像を作りたい方にとっては、とても重宝するのではないでしょうか。
PixAI会員について
ちなみに、もし私のように PixAI会員 になっているのならば、めちゃくちゃ プロンプトの理解力が高い画像生成AIモデル を 格安 で ほぼ無限に使えてしまう ことになるので、個人的にはとてもおすすめなんです!
それで、その PixAI会員 についてですが、実は PixAI では 月額9.99ドル から会員になれるメンバーシップがあります。こちらに詳細が載っております。
https://pixai.art/membership/plans?refCode=MB35FD9N
一応、いろいろなプランがあるんですけれども、こちらのように 月始めのクレジット と 毎月のデイリークレジット がありまして、一番安いスタート会員プランでも、月にだいたい 60万から70万クレジット以上 が貯まるようになっているんです。
ですので、もしこの Tsubakiモデル が公開されて、私がご紹介しているような 高速化技術 と組み合わせると、モデルによっては 200クレジットや500クレジットで4つの画像が生成 できたりするんです!
そう考えると、 ほぼ無限に画像の生成ができる と言っても良いかもしれません!
その他にも、 高速画像生成 や 毎月のLoRAの無料学習 、そして 使えるLoRAの上限拡張 など、いろいろなお得な 限定特典 がたくさんあるので…
より詳しく知りたい方は、こちらの公式サイトから PixAI をチェックしてみてください!
https://pixai.art/membership/plans?refCode=MB35FD9N
🎈おわりに
いかがだったでしょうか!今回は、まとめるとPIXAIの新しいDiTモデル「Tsubaki-Preview」の驚異的なプロンプト理解力と、アニメ系画像生成における可能性ということでした!
1.DiTモデル採用により自然言語や長文プロンプトの理解度が飛躍的に向上した点2.複数キャラクターの描写品質や細部指示、キャラクター間の自然なインタラクションが強化された点
3.多様な画材やスタイル、さらには「透明」のような概念も正確に再現できる点
Views: 0