i2iのinpaintアップロードの背景差し替えのやつ
使用したAI
Stable Diffusion
Pony系のモデルは人物の描写に強いんですけど、やっぱり背景が弱い気がするので
背景だけSD１.5系のモデルに差し替えて描画していってみたいと思います
キャラ造形と美麗背景は両立出来ないので、最初から分けて生成した方がいいかもしれない…
一番目の画像が決定稿で、２番目がPonyで出力した元となったヤツなんですが
こいつを背景切り抜きツールへブチ込んでやります
背景の切り抜きは外部ツールのTransparent-Backgroundってのが一番高性能っぽいんですが
僕の環境では動作してくれないので、拡張機能のPBRemToolsやKatanukiを使っています
他にも切り抜きツールはいっぱいあるっぽいけど、あんまり登録してても管理がなぁ
まぁふたつとも大体で切り抜いてマスクも作成してくれるので、どっちか気に入った方を使用します
ツールによって挙動が違うので比較して試してみて好きなのを選んでね
（Inpaint Anythingでもセグメント単位でマスクを作ってくれるんだけど、最近なんだか挙動が重い…）
出来上がったマスクと元画像をInpaintアップロードに登録して、マスクの範囲以外をinpaintにチェック
あとはマスクのぼかしとか"マスクのみ"外側の余白 (px)の値をいい感じに調整しときます
またプロンプトの入力欄には、背景を描画するプロンプトに差し替えておきます
人物に由来するプロンプトを削除したり、No humansって入れておかないと謎の人物が挿入されてしまいます
必要ならば強調構文を使ったり、ネガティブプロンプトも活用していってみましょう
背景描画のCheck Pointモデルは、PastelMix系が抽象的な描画に強いんじゃないかと思いますが
線画がちょっと弱いので、PastelMix系かつマージモデルが線画も学習していていいかもしれません
まぁお好みでいろいろ試したりLoraやReferenceも導入するといいかも？試してガッテン
しっかし、他の人の背景描写が細かいイラストはプロンプトがメッチャ凝ってますね…
僕の知らないプロンプトやら構文を使いまくってて、ちょっとマネできませんね
品質系や描画に関するプロンプトの一覧みたいなのがあるといいのかもしれませんが、今のところ見当たらない
マネするなら美麗背景の人のプロンプトを、一個一個確認していかなきゃなりませんが
プロンプトが長いしどういった効果があるのか不明だし、検証するだけでも大掛かりだソ…
もうプロンプトそのまんまパク…借りてブチ込んでいった方が手っ取り早いかもしれませんね
何故か再現できませんが
背景だけSD１.5系のモデルに差し替えて描画していってみたいと思います
キャラ造形と美麗背景は両立出来ないので、最初から分けて生成した方がいいかもしれない…
一番目の画像が決定稿で、２番目がPonyで出力した元となったヤツなんですが
こいつを背景切り抜きツールへブチ込んでやります
背景の切り抜きは外部ツールのTransparent-Backgroundってのが一番高性能っぽいんですが
僕の環境では動作してくれないので、拡張機能のPBRemToolsやKatanukiを使っています
他にも切り抜きツールはいっぱいあるっぽいけど、あんまり登録してても管理がなぁ
まぁふたつとも大体で切り抜いてマスクも作成してくれるので、どっちか気に入った方を使用します
ツールによって挙動が違うので比較して試してみて好きなのを選んでね
（Inpaint Anythingでもセグメント単位でマスクを作ってくれるんだけど、最近なんだか挙動が重い…）
出来上がったマスクと元画像をInpaintアップロードに登録して、マスクの範囲以外をinpaintにチェック
あとはマスクのぼかしとか"マスクのみ"外側の余白 (px)の値をいい感じに調整しときます
またプロンプトの入力欄には、背景を描画するプロンプトに差し替えておきます
人物に由来するプロンプトを削除したり、No humansって入れておかないと謎の人物が挿入されてしまいます
必要ならば強調構文を使ったり、ネガティブプロンプトも活用していってみましょう
背景描画のCheck Pointモデルは、PastelMix系が抽象的な描画に強いんじゃないかと思いますが
線画がちょっと弱いので、PastelMix系かつマージモデルが線画も学習していていいかもしれません
まぁお好みでいろいろ試したりLoraやReferenceも導入するといいかも？試してガッテン
しっかし、他の人の背景描写が細かいイラストはプロンプトがメッチャ凝ってますね…
僕の知らないプロンプトやら構文を使いまくってて、ちょっとマネできませんね
品質系や描画に関するプロンプトの一覧みたいなのがあるといいのかもしれませんが、今のところ見当たらない
マネするなら美麗背景の人のプロンプトを、一個一個確認していかなきゃなりませんが
プロンプトが長いしどういった効果があるのか不明だし、検証するだけでも大掛かりだソ…
もうプロンプトそのまんまパク…借りてブチ込んでいった方が手っ取り早いかもしれませんね
何故か再現できませんが
呪文
呪文を見るにはログイン・会員登録が必須です。
イラストの呪文（プロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
イラストの呪文（ネガティブプロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
- Steps 20
- Scale 7
- Seed 3256722873
- Sampler DPM++ 2M
- Strength
- Noise
- Steps 20
- Scale 7
- Seed 3256722873
- Sampler DPM++ 2M
