パイモンのLoRA一段落。。--[12枚]

2024/07/08

使用したAI Stable Diffusion

LoRAのパラメタ選定、学習からやり直してみました。
衣装メインとと顔メインの比は画像によって結構変えていますが、大体落ち着いてきてからのモノが多いです。衣装は薄めすぎて、別ワードに引っ張られてるような～、、

今のとこ、顔はこの感じで、衣装は…、とか、やってみましたが、顔優先で、衣装はあまり反映できませんでした。＜最後(右端)の2枚が比較的衣装を強めたモノです。

服に関してはちょっと前に作った「ZXR」と名付けてるLoRAの方がそれっぽく出て来る気がしますね、、

－－－－－－－－－－－－－－－－－－－－－－－－－－－

でもって、
誰もがやりたがるであるだろうLoRA同士の任意な部分のマージは、予想外に困難そうでした。

曖昧な分割のウェイトを調べ上げ、関わるトコにウェイト分布を分散して設定。
そうしても、その作業で顔や衣装など「ターゲットの選択性が狭まる要素は少なさそう」。
トリガーで発動するけど、画像内の要素選別にワードも含むのかというとワカメ、他のモノを何か排他的にできればいいけど。。

LoRA作成(学習)時の問題か、というと、それは「層別学習」はできないらしいので、、元データの工夫はあるかな？基本「生成時」のLBWらしいけど。
他に何かが必要なのか？表現範囲も狭まるし、しばらく様子見してみようかなー、

よって、好きな要素で学習させ、薄めて使うのと、あとは、含んでいるものの中からの創作性に任せる。
つまり、ガッチリ意図的なモノに似せるとかいう要望が無いので、これはこれで、、と思ったり。

チェックポイントのマージはまたどうなのか結果はわけワカメですが、
かなりのVRAMが必要そうですね。キャラに分けてやってたら、繰り返せば特定キャラ用の無数のチェックポイントモデルでHDDがいっぱいに。

あと、XL版ではLoRAを使うのはやめようと思いました。重すぎて…、
XLで生成した画像を無印のLoRAで学習させてというのはある程度のテかもしれないです。
それと、無印もLoRAのマージは「分布を持たせずに定量」にしようと思います。

その上で、引き続き、弄っていこうと思いますが、
LoRAは同時に複数使えるっぽいようなので、そこらの工夫でも行けるトコもあるかと。

つまり、苦しまず楽しんでやるには、一定比率でマージがよろしいかと思いました。
今後、学習段階や出力で詳細を比較的自由且つ容易に指定できる追加学習が生まれればよいですね。
----------------------------------------------------------
目標的には、細かい線の集合で、繊細で美的なアイラインやまつ毛を出したいと思ってるのですがムズイですね。

呪文

呪文を見るにはログイン・会員登録が必須です。

イラストの呪文（プロンプト）

jacket partially removed, heart in eye, burnt clothes, holding fishing rod, kanji, doujin cover, pentagram, tape gag, adjusting headwear, red socks, friends, cloud print, coke-bottle glasses, oral invitation, competition school swimsuit, barbell piercing, gradient legwear, prisoner, blood on breasts, wind chime, carrying over shoulder, tape measure, flaming weapon

イラストの呪文（ネガティブプロンプト）

Steps 40
Scale 13
Seed 901475637
Sampler DPM++ 3M SDE Karras
Strength
Noise

Steps 40
Scale 13
Seed 901475637
Sampler DPM++ 3M SDE Karras

えるな

127 投稿

フォロー 74

フォロワー 71

呪文の研究に来ました者です～☆
画像生成は、
実験的にちょっと作成して、暫く寝かせて、またちょっと。
という感じでかなりゆっくりやっていってます。。
最近は、
淡い印象派的な繊細な感じで、ちびを生成してみたいと思ったりしてます。でも、うまく行かない、、

人の手書きに似せるよりもAIの力の見せ所を出していきたい部分も。

…美的な感じにしたいです。ちびを。
実験優先のようです。

えるなさんの他の作品

すべてを見る

小型チルノ[6枚]

えるな

チルノ再び--[7枚]

えるな

設定：パイモン--[2枚]

えるな

パイモンはチビだが、とても美人かと思う…--[12枚]

えるな

ミク-4な4枚☆

えるな

小型チルノ[6枚]

えるな

チルノ再び--[7枚]

えるな

設定：パイモン--[2枚]

えるな

パイモンはチビだが、とても美人かと思う…--[12枚]

えるな

ミク-4な4枚☆

えるな

ミク-3rdな1枚

えるな

すべてを見る

メンバーシップ

ヤンデレエルフと魔剣

580コイン/月以上支援すると見ることができます

秋田小町と上野山手

200コイン/月以上支援すると見ることができます

エジプト探訪

100コイン/月以上支援すると見ることができます

無料セミナー概要

全体公開

ゼロから始める生成生活、無料セミナーを開設します。動画編集と、ファイルなどを置く場所を決めるのでもう少しお時間ください。おさーんの声でよかったら、さっさと説明動画youtubeに作ることができるかと思います。生成ツールのトレンドNO1のComfyUIとgoogleのクラウドを使い、「僕が知りうる限りで最も自由度が高く」「最もコスパの良い」生成方法をお伝えします。 ---無料セミナーのリンク第１回：ComfyUIの基礎設定　Google Chrome , Google Drive , G-mail,クラウド利用料1200円必要 https://membership.chichi-pui.com/posts/images/c820ebda-c92d-4298-b342-e2a7a0ef1c42/ 第２回：18歳未満アクセス禁止　モザイクの向こう側　デイリー２位の作品をそのまま作ろう。 https://membership.chichi-pui.com/posts/images/43d817ed-4062-4bc4-b0aa-bec25d40c210/ 第３回：loraを入れて、チェンソーマンのレゼ　コスプレイヤーを作ろう https://membership.chichi-pui.com/posts/images/f4acdc0f-da36-4ba0-9083-2ecf8a68aedf/