制服デザイン固定化検証（自作LoRA）
使用したAI
Anything4
前回（ https://www.chichi-pui.com/posts/5c9c5a72-b67c-4bc1-a9d1-a69e997b0c75/ ）に続き、自作LoRAの検証です。
うちの子・ほたるちゃんの学生服姿は、これまで試行錯誤した結果、主に以下のプロンプトで召喚していました。
summer school uniform with indigo blue bowtie, short sleeves, (white shirt), (dark blue pleated skirt), (indigo blue bowtie), plain shirt, plain skirt, striped bowtie, shirt_tucked_in
Negative: blazor, vest, checked skirt, striped skirt, striped shirt, striped sleeves
ストライプ付きの青色蝶ネクタイ・濃青色スカート・無地の白シャツによる半袖夏服です。
しかしながら、どうしても蝶ネクタイ・シャツ・スカートの形状や装飾に差が出やすく、できれば統一したいと思っていました。
そこで、想定するデザインと合っているものを選抜し、学習してLoRA化することでデザイン固定できないかチャレンジしてみることにしました。
スカートとシャツは柄物だと難しそうなので無地を原則とし、最初は蝶ネクタイも無地にしようかと思いましたが、ストライプ付きくらいなら良く出てくれるようなので採用としました。
データモデルにはAnything4または4.5を使っています。
まずは制服姿をたくさん出力します。掲載プロンプトの1行目を上記制服プロンプトにしたもので、DynamicPromptで髪色や髪型、アングルやポーズ・背景のバリエーションを増やしています。
その出力結果や以前から出しているほたるちゃん画像のうち、デザインが揃っている50枚を選抜し（掲載6枚目）、画像サイズなどは変更せず学習してみました。
できたLoRAを使って出力してみたところ、若干過学習気味だったようなので、あらためて20枚選抜（掲載7枚目）、表情を一緒に覚えないよう顔から下のみを切り出して再度LoRA学習、バージョン2を生成しています。
この新版LoRAを適用することで、だいぶ統一された制服デザインで出てきてくれるようになりました。ただし、まだ胸ポケットの有無などが若干不安定です（後で気付きましたが、Negativeでbreast pocketと指定すると胸ポケットは消えてくれるようです）。
また、複数のデータモデルに適用しても、リアル調からアニメ調まで、きちんとモデルの絵柄に合ったものが出てくれるようです（掲載8枚目）。
LoRA学習はKohyaスクリプトWebUI版を用い、Step数30～40、Epoch数12～16あたりとしました。
前回のほたるちゃん表情用LoRAもそうですが、データモデルに元々入っている概念を固定化するだけなので、正則化画像は使用していません。
手順などは主にこれらの記事を参照しています。
https://note.com/redraw_0/n/n97eae4a23895
https://note.com/uunin/n/n3f09b93df575
そのほか試行錯誤中にいくつか気付いた点としては…
・目の色と髪の色に蝶ネクタイとスカートの色が引っ張られやすい。特に緑系と水色系は色混ざりの頻度が高い。たまに白シャツの色も髪色や目の色で染まってしまうことがある。
・蝶ネクタイは色移りのほか、ストライプ模様もたまに崩れる。ただ、蝶ネクタイだけならi2iで簡単に直せるので、これらについてはあまり気にしない。（掲載9枚目）
・プロンプト先頭で制服について記述し、そのあとにポーズやシチュエーションなどを指定、最後に目と髪について記述するようにすると、色混ざりが多少緩和される。
・新版LoRAは首から下の画像だけで学習したため、LoRA適用強度が高いと、アングルなどを明示しない場合に学習元と同じく顔が写らないアングルで出力されてしまうことがある。
ちなみに、プロンプト例にも入っている今回自作したLoRA名「hjscufsmr」は「Hotaru Jujo School Uniform Summer」です。そのうち冬服も用意してみたいところです。
うちの子・ほたるちゃんの学生服姿は、これまで試行錯誤した結果、主に以下のプロンプトで召喚していました。
summer school uniform with indigo blue bowtie, short sleeves, (white shirt), (dark blue pleated skirt), (indigo blue bowtie), plain shirt, plain skirt, striped bowtie, shirt_tucked_in
Negative: blazor, vest, checked skirt, striped skirt, striped shirt, striped sleeves
ストライプ付きの青色蝶ネクタイ・濃青色スカート・無地の白シャツによる半袖夏服です。
しかしながら、どうしても蝶ネクタイ・シャツ・スカートの形状や装飾に差が出やすく、できれば統一したいと思っていました。
そこで、想定するデザインと合っているものを選抜し、学習してLoRA化することでデザイン固定できないかチャレンジしてみることにしました。
スカートとシャツは柄物だと難しそうなので無地を原則とし、最初は蝶ネクタイも無地にしようかと思いましたが、ストライプ付きくらいなら良く出てくれるようなので採用としました。
データモデルにはAnything4または4.5を使っています。
まずは制服姿をたくさん出力します。掲載プロンプトの1行目を上記制服プロンプトにしたもので、DynamicPromptで髪色や髪型、アングルやポーズ・背景のバリエーションを増やしています。
その出力結果や以前から出しているほたるちゃん画像のうち、デザインが揃っている50枚を選抜し（掲載6枚目）、画像サイズなどは変更せず学習してみました。
できたLoRAを使って出力してみたところ、若干過学習気味だったようなので、あらためて20枚選抜（掲載7枚目）、表情を一緒に覚えないよう顔から下のみを切り出して再度LoRA学習、バージョン2を生成しています。
この新版LoRAを適用することで、だいぶ統一された制服デザインで出てきてくれるようになりました。ただし、まだ胸ポケットの有無などが若干不安定です（後で気付きましたが、Negativeでbreast pocketと指定すると胸ポケットは消えてくれるようです）。
また、複数のデータモデルに適用しても、リアル調からアニメ調まで、きちんとモデルの絵柄に合ったものが出てくれるようです（掲載8枚目）。
LoRA学習はKohyaスクリプトWebUI版を用い、Step数30～40、Epoch数12～16あたりとしました。
前回のほたるちゃん表情用LoRAもそうですが、データモデルに元々入っている概念を固定化するだけなので、正則化画像は使用していません。
手順などは主にこれらの記事を参照しています。
https://note.com/redraw_0/n/n97eae4a23895
https://note.com/uunin/n/n3f09b93df575
そのほか試行錯誤中にいくつか気付いた点としては…
・目の色と髪の色に蝶ネクタイとスカートの色が引っ張られやすい。特に緑系と水色系は色混ざりの頻度が高い。たまに白シャツの色も髪色や目の色で染まってしまうことがある。
・蝶ネクタイは色移りのほか、ストライプ模様もたまに崩れる。ただ、蝶ネクタイだけならi2iで簡単に直せるので、これらについてはあまり気にしない。（掲載9枚目）
・プロンプト先頭で制服について記述し、そのあとにポーズやシチュエーションなどを指定、最後に目と髪について記述するようにすると、色混ざりが多少緩和される。
・新版LoRAは首から下の画像だけで学習したため、LoRA適用強度が高いと、アングルなどを明示しない場合に学習元と同じく顔が写らないアングルで出力されてしまうことがある。
ちなみに、プロンプト例にも入っている今回自作したLoRA名「hjscufsmr」は「Hotaru Jujo School Uniform Summer」です。そのうち冬服も用意してみたいところです。
呪文
呪文を見るにはログイン・会員登録が必須です。
イラストの呪文（プロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
イラストの呪文（ネガティブプロンプト）
jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon
