スタブルのコントロールネットにすごい機能が搭載されたぞ☆
えっ？元々けっこうすごいですけど、
さらに追加されたんですか？
ああ文明開花の音がする、
新時代幕開けを感じながら今回の説明を聞いてみてくれ☆
コントロールネット史 最強機能の登場
2024年1月中旬にStable Diffusionのコントロールネット
に「IP-adopter-faceID」というIP-adopterの進化版が
導入されました。
使ってみて想像を大きく超えてきたので今回ご紹介します。
IP-adopterとは？
IP-adopterは入れた画像を元に新たな画像を
生成してくれる便利なもので、
今回の「IP-adopter-faceID」は顔情報を
元に新たな画像を生成してくれるものになります。
IP-adopterの方が良さそうだけど？
これだけ聞くと画像全体を参照して新しい画像を
生成してくれるIP-adopterの方が、
顔情報だけを元に新たな画像を生成してくれる
「IP-adopter-faceID」より良さそうに見えます。
ですが、IP-adopterは良くも悪くも元の画像と
ある程度離れたものが生成されがちでしたが、
「IP-adopter-faceID」は元の画像そのまま
に新たな画像を生成してくれます。
顔だけならreference onlyでいいんじゃないの？
顔を似せるコントロールネットの
機能に「reference only」という
ものが既にあり、
こちらもとても便利なのですが、
生成される画像が顔を当てはめた
ようなものになりやすく、
違和感がどうしてもありました。
また顔以外の箇所はプロンプトが
そのまま結果に反映されるので、
プロンプトに力を入れる必要が
ありました。
それに対して「IP-adopter-faceID」
を使うと、
顔を当てはめた感じがないのに加えて
かなり創造的に生成してくれるので、
プロンプトは少なくてもいろんな画像を
生成することができます。
唯一のデメリット
「IP-adopter-faceID」はとても便利ですが、
現状は商用利用不可となっております。
少し残念ですが、出たばかりなので
後々解除される可能性もありますし、
似たような商用利用できるものが
新たに登場する可能性もあるので、
商用利用したい方も使いこなせるように
なっておくと後々活躍するかもしれないです。
最強機能の導入方法
「IP-adopter-faceID」はこちらからダウンロードできます。
https://huggingface.co/h94/IP-Adapter-FaceID/tree/main
ファイルが色々並んでいますが、faceid-plusv2の157MBのものと
faceid-plusv2__sd15_loraの51.1MBのものをダウンロードしてください。
SDXLと書いているものは動作が重すぎるのと、
V2じゃない方は威力が弱いので上記推奨になります。
それぞれフォルダにいれましょう
faceid-plusv2のファイルはstable-diffusionの
extention→modelsフォルダに入れます。
faceid-plusv2__sd15_loraの方はStable Diffusionフォルダの
models→Loraフォルダの中に入れてください。
フォルダに入れた後にStable Diffusionを起動すると
「IP-adopter-faceID」を使うことができます。
Stable Diffusion起動後にコントロールネット箇所をこのように
設定すると「IP-adopter-faceID」が適用されます。
・Enableにチェック
・IP-Adapterにチェック
・Preprocessor箇所を画像のように設定
Loraを忘れずに
「IP-adopter-faceID」はloraの設定も必要です。
Loraのタブからフォルダに入れた
「faceid-plusv2__sd15_lora」を押すと
以下のようにプロンプトに入ります、
これで設定は完了になります。
使ってみた結果はこちら
実際に使って生成した画像結果がこちらになります。
まずこの画像をコントロールネットに入れて、
「girl white sweter(白いセーターを着た女性)」
と入れ、
「IP-adopter-faceID」のloraプロンプトを
入れて生成しました。
生成結果がこちらになります。
無理くり顔を当てはめた感じになってなく、
白いセーターを反映してくれていますし。
距離感や背景など勝手に変えてくれています。
まとめ：目が離せないAI技術
顔情報を元に画像を生成してくれるコントロールネット
の新機能「IP-adopter-faceID」
についてご紹介しました。
AI技術の発達はあまりに速いので全部追うのは
厳しいですが、
今回のような大きな進歩に絞って把握の仕方は
置いていかれにくいのでおすすめです。
