Stable Diffusion、Multi ControlNetを使ってキャラクタに加筆と背景を入れてみた。

2023/07/29

使用したAI Stable Diffusion

Stable Diffusion、Multi ControlNetを使ってキャラクタに加筆と背景を入れてみた。

　人物のみを描いた「ゆかり」ちゃんに加筆をして貰い、その背景に教室を入れてみました。
最初はプロンプトのみでやってみましたがうまくいかず。

次にMulti ControlNet 0〜1 で
[SoftEdge] でキャラクタの再描画、
[MLSD] で別に出力した教室のみの絵から手前の机を消して背景に指定。
これで延々と出力テストしてましたが、キャラクタが似るように Control Weight を調整すると背景がうまくいかず。背景をちゃんと描かれるようにすると、キャラクタが大きく描き変わりうまくいかず。
スクリプトで一覧をだそうにも、各Control Weight を指定して出力する方法がなく（見つからず）、手作業で比較してました。
使うmodelによって絵柄に合う画風も変わるので、幾つも出力して見比べたり。

最終的にMulti ControlNet 0〜2 で
[SoftEdge] でキャラクタの再描画、
[MLSD] で背景に指定。
[Reference] で元絵を指定する事で、強めに元画像を意識させる。
で、なんとか「元画像のキャラクタを似せて加筆（再描画）させ、背景に教室を書いてもらう。」
が納得できる形になりました。
それでも、描画が歪なところがあるので、目と口はこちらで修正しました。

１枚目〜３枚目。　同じ条件下で出力した画像から良さげなのを３つチョイス。
４枚目。　ゆかりちゃんの元画像。
５枚目。　出力した中で、よさげに教室が書かれたものから、背景のみを再度描き出したもの。
６枚目。　その背景のMLSDデータ。
７枚目。　model比較のためにスクリプトで出力した画像。

＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
parameters

(best quality:1.2, masterpiece:1.2), 1girl, solo, teen, kawaii, (naked blue overalls), breasts, (vertical eyes:1.2), blue purple eyes, open eye, (barefoot), blue purple hair, long hair, cosplay, open mouth, ponytail, blush, sitting, collarbone, full body, (red baseball cap), (blue overalls), feet, small breasts, no bra, hand on headwear, red headwear, toes, artist name, shiny, sideboob, arm support, ((Add layer)), (classroom:1.4), looking at viewer, Diagonal angle

Negative prompt: (EasyNegativeV2), half-closed eyes, flat color, flat shading, low res, signature, watermark
Steps: 30, Sampler: DDIM, CFG scale: 7, Seed: 491656202, Size: 512x512, Model hash: 866946217b, Model: ACertainThing,

ControlNet 0: "preprocessor: softedge_pidinet, model: control_v11p_sd15_softedge [a8575a2a], weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, -1, -1)",
ControlNet 1: "preprocessor: none, model: control_v11p_sd15_mlsd [aca30ff0], weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (512, 0.1, 0.1)",
ControlNet 2: "preprocessor: reference_only, model: None, weight: 1, starting/ending: (0, 1), resize mode: Crop and Resize, pixel perfect: False, control mode: Balanced, preprocessor params: (-1, 0.5, -1)",

Cutoff enabled: True, Cutoff targets: ["blue purple", "red", "blue"], Cutoff padding: _</w>, Cutoff weight: 0.5, Cutoff disable_for_neg: True, Cutoff strong: False, Cutoff interpolation: lerp, TI hashes: "EasyNegativeV2: 339cc9210f70", Version: v1.5.0

呪文

呪文を見るにはログイン・会員登録が必須です。

イラストの呪文（プロンプト）

jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon

イラストの呪文（ネガティブプロンプト）

Steps 30
Scale
Seed
Sampler
Strength
Noise

Steps 30

でんでんさんの他の作品

すべてを見る

オオカミ少女 [Gemini]

でんでん

オオカミ少女 [Grok]

でんでん

おかゆっぽいこ [Gemini]

でんでん

おかゆっぽいこ3枚目 [Grok]

でんでん

おかゆっぽいこ2枚目 [Grok]

でんでん

オオカミ少女 [Gemini]

でんでん

オオカミ少女 [Grok]

でんでん

おかゆっぽいこ [Gemini]

でんでん

おかゆっぽいこ3枚目 [Grok]

でんでん

おかゆっぽいこ2枚目 [Grok]

でんでん

おかゆっぽいこ [Grok]

でんでん

すべてを見る

メンバーシップ

本当にアイスみたいに溶けている女の子

580コイン/月以上支援すると見ることができます

二人のJK362～368

100コイン/月以上支援すると見ることができます

絢華幻姫　壱

500コイン/月以上支援すると見ることができます

木の枝の伝説剣

580コイン/月以上支援すると見ることができます

ComfyUIでOpen Pose Editorを使う

全体公開

先日、ComfyUIにOpen Pose Editorを導入しようと巧く行かないと聞き、いろいろ試した結果、下記のカスタムノードが使えましたので、報告です。今回使ったカスタムノード（画像１と画像５の茶色のノード）・ComfyUI-openpose-editor URL： https://github.com/huchenlei/ComfyUI-openpose-editor 　Load Openpose JSON ・comfyui_controlnet_aux URL： https://github.com/Fannovel16/comfyui_controlnet_aux 　Render Pose JSON (Human) 　OpenPose Pose ※「Load ControlNet Model」「Apply ControlNet」はConfyUI標準のノードです。 ------------------------------------------------------------------------------------------------ 画像２の様に、「Load Openpose JSON」を右クリックして表示されるメニューから、「Open in Openpose Editer」クリックします。 ※画像では抜けていますが、先に「json str」欄に、Pose KeypointのJSON形式のデーターを書き込む必要があります（重要　JSON形式のデーターの作成方法は「おまけ」で）。　初めて使う時は注意して下さい。　一度書き込んで、ワークフローを保存しておけば、次回から問題なく使えます。　なお、ComfyUIのサーバーを再起動するまでは、情報が保持される様ですので、その間は空欄でも使えます。 ------------------------------------------------------------------------------------------------ 画像３：「SD-WEBUI-OPENPOSE-EDITER 」が起動します。 JSONデーターを基に棒人間が表示されますので、編集します。編集後、「ControlNetにポーズを送信」クリックすると「SD-WEBUI-OPENPOSE-EDITER」が終了し、ワークフローに戻ります。 ※先にJSONデーターを書き込まないと、「ControlNetにポーズを送信」が表示されず、何もできなく成ってしまいます。　抜けるには、ComfyUIのブラウザ画面を閉じるしかありません。ワークフローに戻ったら、「json str」欄に編集後のデーターが書き込まれていますので、一度コピーして上書きして下さい（重要）。「json str」欄を選択して、Ctrl+a、Ctrl+c、Ctrl+v を順に実行 ※上書きしないと、編集前のデーターで処理されます。 ------------------------------------------------------------------------------------------------ 画像４：実行例です。そこまで追従してくれませんねｗ Openpose用のモデルを変更すれば変わるかも知れません。 ------------------------------------------------------------------------------------------------ おまけ Pose KeypointのJSON形式のデーターを作成するために、画像を元に作成する方法があります（画像５）「OpenPose Pose」ノードを使い、「POSE_KEYPOINT」から出力されたデーターをコピーして、「Load Openpose JSON」に張り付けます。