inpaintで塗りつぶしと意図しない崩れた生成をShuffleで対処した話
使用したAI
Stable Diffusion
はじめに、Draw Things話になります。
inpaintで塗りつぶした部分にプロンプトで指示しても、何度シード値を変えても崩れたような構図などで生成される場合の対処方法の話をします。まぁ、簡単に服装を変えたりした技術が公開されてるのであれですが方法の１つとして参考にどうぞ！！
1.服装など変えたい画像を読み込みます。
2.服装など変えたい部分を塗りつぶします(構図とかも変えたのであれば広く塗りつぶすと良い)
3.Shuffleで崩れない生成を行うためにMoodboardで読み込んだ画像と同じ画像を読み込みます。
4.Moodboardで読み込んだ画像を40％ぐらいに調整します(100％に近いほどプロンプトを無視して読み込んだ画像に近い画像が生成されま。当然0％に近いとinpaintだけの生成に近くなるので注意)
※プロンプトにもよりますが顔以外の部分を塗りつぶしたりしても良いでしょう！！
5.ControlNetでShuffleを設定して生成(Strengthは100％ままで顔を変えるようなLoRAも使用不要)
伝わりにくかったり説明不足だったらすいません。納得行く画像が生成されなければ設定を調整してください。うまくいくと思います。なんか失敗することもあったので調整見直ししたため時間かかりました。ネガティブプロンプトは注意が必要そうです。また、シード値によってはプロンプトが反映されない元を描きかえたと言った感じになることもありました。
比較的安定して生成できたネガティブプロンプトを載せておきます。
うまく行かなかった画像と比較的に成功した画像を載せておきます。
inpaintで塗りつぶした部分にプロンプトで指示しても、何度シード値を変えても崩れたような構図などで生成される場合の対処方法の話をします。まぁ、簡単に服装を変えたりした技術が公開されてるのであれですが方法の１つとして参考にどうぞ！！
1.服装など変えたい画像を読み込みます。
2.服装など変えたい部分を塗りつぶします(構図とかも変えたのであれば広く塗りつぶすと良い)
3.Shuffleで崩れない生成を行うためにMoodboardで読み込んだ画像と同じ画像を読み込みます。
4.Moodboardで読み込んだ画像を40％ぐらいに調整します(100％に近いほどプロンプトを無視して読み込んだ画像に近い画像が生成されま。当然0％に近いとinpaintだけの生成に近くなるので注意)
※プロンプトにもよりますが顔以外の部分を塗りつぶしたりしても良いでしょう！！
5.ControlNetでShuffleを設定して生成(Strengthは100％ままで顔を変えるようなLoRAも使用不要)
伝わりにくかったり説明不足だったらすいません。納得行く画像が生成されなければ設定を調整してください。うまくいくと思います。なんか失敗することもあったので調整見直ししたため時間かかりました。ネガティブプロンプトは注意が必要そうです。また、シード値によってはプロンプトが反映されない元を描きかえたと言った感じになることもありました。
比較的安定して生成できたネガティブプロンプトを載せておきます。
うまく行かなかった画像と比較的に成功した画像を載せておきます。
呪文
呪文を見るにはログイン・会員登録が必須です。
イラストの呪文（プロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
イラストの呪文（ネガティブプロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
