う〜ん、イメージしたポーズにならないな〜
イメージだから調べようもないしどうしたものか、、
そのイメージ形にできるぞ、Stable Diffusionならね☆
なんかのCMみたいなセリフですけど、
とにかく形にする方法はあるんですね！
マスターそのやり方を早く教えてください！
ポーズは意外と作りにくい
大抵のプロンプトは調べたら出てきますが、
ポーズに関しては、
「〇〇ポーズ」のような名前があるもの
以外は検索ワードが思いつかないので、
意外と作りにくいです。
またそれっぽいプロンプトが見つかったり、
そのポーズを表す英語が思いついても、
なぜか生成結果に反映されないというのが
起こりやすいのがポーズ生成の厄介なところです。
前にこういう画像を生成しようとしたら
何度やってもバンザイする女性の画像が生成
され続けるので挫折したのは良い思い出です。
image2image使うのはどうなの？
イメージしたポーズの画像を取ってきて
image2imegeで生成して似たポーズを
作る方法もありますが、
これだと取ってきた画像と似た画像が
生成されるというデメリットがあります。
ポーズ問題はこれで解決
Stable Diffusionのコントロールネットの機能の中に
「opeenpose」というものがあるんですけど、
こちらを使うことで元画像のポーズ部分だけ同じに
した画像を生成することができます。
image2imageで作るのとは違い、ポーズ以外はオリジナル
になるので、「openpose」イメージしているものを作るのに
とても役立ちます。
「openpose」導入手順
https://huggingface.co/lllyasviel/ControlNet-v1-1/tree/main
「openpose」上記のリンクから「open」と書かれた２つのファイルを
ダウンロードして、
コントロールネットのフォルダに入れることで使えるようになります。
ダウンロードした２つのファイルはextensionのsd-webui-controlnetの
中にあるmodelsフォルダに入れます。
これでStable Diffusionを起動させると
コントロールネットの箇所から
「openpose」を使うことができます。
使い方はこんな感じです
Stable Diffusionを起動したらコントロールネットのメニューを開き、
上記のようにイメージしているポーズの画像を入れて、
Enable、OpenPoseにチェックをいます。
Preprocessorの箇所は初期設定で全身を対象に
同じポーズを生成するものになっているので、
そのままでも大丈夫ですが、
・顔辺りだけ同じにする
・手の辺りだけ同じにする
などいろいろあるので用途に合わせて
使ってみてください。
プロンプト入れて生成した結果がこちら
試しにプロンプトを入れて生成したところ
このような画像が生成されました。
元画像とは全く別のプロンプトに沿ったものが
生成されています。
ポーズは左手の部分はちゃんと再現されてますね。
右手は恐らく服と同化しているような
画像をしたため認識されなかったようです。
はっきりわかる画像を指定するとより
元画像のポーズと同じものが生成される
かと思います。
イメージしたオリジナルポーズの作り方
元画像がなかったり、検索ワードがわからずに
探せない場合は、
「openpose」で適当な画像を設定した状態で、
Edit機能を使うことでイメージしたポーズの画像を生成する
ことができます。
まず画像を入れて設定までは最初のやり方と同じように
設定して生成の前段階まで進めます。
ここでPreprocessorの箇所の赤とオレンジのギザギザしている
ものを押します。
これを押すことで画像を棒人間にしたものを表示することが
できます。
設定した画像の横に骨格を認識した棒人間が出てきました。
棒人間右側の「Edit」を押すと棒人間を編集する
ことができます。
「Edit」は２つありますが上から２番目の方の「Edit」
を押してください。
Editを押すとこのような画面になります。
棒人間をマウスでクリックした状態でカーソル
を動かすと、
好きなように骨格を変えることができます。
ここでイメージしたポーズに近いものに
骨格を変えてください。
例として手が下に向いていたのを、上に向けてみました。
編集が終わったら左上の「ControlNetにポーズを送信」を
押すと編集内容が反映されます。
手が上に向いているので編集結果がちゃんと反映されているのがわかります。
この状態で先ほど使ったプロンプトを使って生成してみます。
生成結果はこちらになります。
元の画像と違うものになっていて、プロンプトに
沿った画像が生成されています。
またポーズは編集した通り手が上に向いたものが
生成されていますね。
まとめ：たかがポーズされどポーズ
Stable Diffusionでイメージした通りのポーズを
生成する方法について解説しました。
どうしてもインパクトのある顔や服、背景などを
重視しがちですが、
思いのほかポーズの重要度は高いので今回の
やり方で自由自在にイメージした通りのポーズを
とった画像を作ってみてください。
