ControlNetMediaPipeFace
2枚め下みたいな緑のパイプ顔の輪郭で向きを決めつつ、眉目口の形で「表情」を制御できちゃうのです!
2枚め上はAnnotatorに突っ込んだ参照画像で、任意の顔画像からパイプ顔を途中生成もできます。
Annotatorをnoneにして、パイプ顔から生成スタートもできるので、パイプ顔集が欲しいですね!
ControlNet LAION Face Dataset※で、人間の表情でControlNet をトレーニングするように設計された奴です。
モデルは以下にあるます。
※ https://huggingface.co/CrucibleAI/ControlNetMediaPipeFace
SD1.5系なら「control_mediapipe_face_sd15_v2.safetensors (1.45GB)」が、
SD2.1系なら「control_mediapipe_face_sd21_v2.safetensors」がおすすめです。
精度出すなら~full.ckptが良さげですが8~9GBもあります。今回は1.45GBのやつで実験。
さらに、他のControlNetモデル同様にたぶん700MB近くに縮められるはず…。
AnnotatorとかはCrucible AI版のControlNetが対応してました。コレ使えば動かせます。
プルリクも出てるので、Mikubillにもマージされそう(未確認)
https://github.com/Mikubill/sd-webui-controlnet/pull/688
呪文
呪文を見るにはログイン・会員登録が必須です。
イラストの呪文(プロンプト)
イラストの呪文(ネガティブプロンプト)
- Steps 30
- Scale 7
- Seed
- Sampler DPM++ 2M Karras
- Strength
- Noise 31337
- Steps 30
- Scale 7
- Sampler DPM++ 2M Karras
- Noise 31337