ControlNetMediaPipeFace
使用したAI
Custom Model
ControlNetの新しいモデル「MediaPipe Face」を使ってみました！
2枚め下みたいな緑のパイプ顔の輪郭で向きを決めつつ、眉目口の形で「表情」を制御できちゃうのです！
2枚め上はAnnotatorに突っ込んだ参照画像で、任意の顔画像からパイプ顔を途中生成もできます。
Annotatorをnoneにして、パイプ顔から生成スタートもできるので、パイプ顔集が欲しいですね！
ControlNet LAION Face Dataset※で、人間の表情でControlNet をトレーニングするように設計された奴です。
モデルは以下にあるます。
※ https://huggingface.co/CrucibleAI/ControlNetMediaPipeFace
SD1.5系なら「control_mediapipe_face_sd15_v2.safetensors (1.45GB)」が、
SD2.1系なら「control_mediapipe_face_sd21_v2.safetensors」がおすすめです。
精度出すなら~full.ckptが良さげですが8～9GBもあります。今回は1.45GBのやつで実験。
さらに、他のControlNetモデル同様にたぶん700MB近くに縮められるはず…。
AnnotatorとかはCrucible AI版のControlNetが対応してました。コレ使えば動かせます。
プルリクも出てるので、Mikubillにもマージされそう（未確認）
https://github.com/Mikubill/sd-webui-controlnet/pull/688
2枚め下みたいな緑のパイプ顔の輪郭で向きを決めつつ、眉目口の形で「表情」を制御できちゃうのです！
2枚め上はAnnotatorに突っ込んだ参照画像で、任意の顔画像からパイプ顔を途中生成もできます。
Annotatorをnoneにして、パイプ顔から生成スタートもできるので、パイプ顔集が欲しいですね！
ControlNet LAION Face Dataset※で、人間の表情でControlNet をトレーニングするように設計された奴です。
モデルは以下にあるます。
※ https://huggingface.co/CrucibleAI/ControlNetMediaPipeFace
SD1.5系なら「control_mediapipe_face_sd15_v2.safetensors (1.45GB)」が、
SD2.1系なら「control_mediapipe_face_sd21_v2.safetensors」がおすすめです。
精度出すなら~full.ckptが良さげですが8～9GBもあります。今回は1.45GBのやつで実験。
さらに、他のControlNetモデル同様にたぶん700MB近くに縮められるはず…。
AnnotatorとかはCrucible AI版のControlNetが対応してました。コレ使えば動かせます。
プルリクも出てるので、Mikubillにもマージされそう（未確認）
https://github.com/Mikubill/sd-webui-controlnet/pull/688
呪文
呪文を見るにはログイン・会員登録が必須です。
イラストの呪文（プロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
イラストの呪文（ネガティブプロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
- Steps 30
- Scale 7
- Seed
- Sampler DPM++ 2M Karras
- Strength
- Noise 31337
- Steps 30
- Scale 7
- Sampler DPM++ 2M Karras
- Noise 31337
