stable diffusionのコントロールネットは強力な機能ですが数が
多すぎるのと、名前を見てもピンとこないものが多いですよね。
今回はコントロールネットの中でどれを使うべきかについて
解説します。
また、コントロールネットがエラーで使えないという場合はこちらを参考
にしてみてください。
https://yomutoku.website/2023/09/27/stable-controlnet-error/
- コントロールネットのなかでどれを使えばいいかがわかる
- コントロールネット使わなくても特に問題ないことがわかる
顔だけ同じしたい→「reference only」
画像の顔だけ同じにして、他は全て変えたい場合は「reference only」
を使いましょう。
画像の顔と記載したプロンプトがミックスされる形で生成されます。
・漫画や絵本など同一のキャラクターで作る必要がある
・せっかくいい顔がでたけどそれ以降この顔がでない
こういう場合とかに使えますね。
顔以外は一切生成に影響を与えないので、スタイルとかポーズ、背景を
に影響を与えたい場合などは別のものを使う必要があります。
ポーズを同じにしたい→「open pose」
とにかく特定のポーズにしたい場合は「open pose」を
使いましょう。
ポーズだけ同じにしてくれてあとはプロンプトの内容に
沿って生成されます。
ほとんどのポーズがでますがstable diffusion側が複雑と判断した
ポーズはでにくい場合があるので、
その場合はデッサン用の棒人間のような
画像を使ったり、
プロンプトの方でもそのポーズについて補助的に記載したりなど
の工夫が必要な場合があります。
【超便利】画像に似た別のものを作りたい→「IP-adopter」
画像みたいなものを作りたい、でも少し変えてほしい、
そんなときは「IP-adopter」を使いましょう。
画像の特徴だけを同じにしてくれて新しい画像
を作ってくれます。
用途にもよりますが、対応範囲が広範囲なので、
迷ったらとりあえずこれ使っとけばいいかなと思います。
【ほぼ不要】その他のコントロールネット
紹介した以外のコントロールネットは正直不要です。
画像を線画にしてくれるものや、崩してくれるもの、
色を塗ってくれるものなどありますが、必要性を
感じたことが今のところないです。
似たような画像を作ってくれる「depth」や「cany」などは
「IP-adopter」の下位互換ですし。
「reference only」 、「open pose」、「IP-adopter」で
満たせない時に他を使ってみるようにするといいかと思います。
ぶっちゃけコントロールネットは不要
正直コントロールネットは使わなくてもimg2imgと
プロンプトを駆使すればなんとかなります。
コントロールネットを使った画像はクセが強くなる
傾向にあるのと、
画像生成に通常より時間がかかります。
img2imgとプロンプトを駆使した作成方法だと
これらがないですし、
img2imgの箇所でコントロールネットを補助的
に使うことも可能なのでとてもおすすめです。
最初はスキルのいらないコントールネットで
作っていって、徐々にimg2imgとプロンプトを
駆使した作成方法を覚えていくのがいいかな
と思います。
まとめ：コントロールネットはあくまで補助
コントロールネットのおすすめの３つをご紹介
しました。
便利ですが良い画像を追求し続けていくと最終的に補助的な
役割になるので高みを目指したい方はほどほど覚えて次に
進みましょう。
