皆さま、いかがお過ごしでしょうか。歌乃です。

Stable Diffusion で画像生成です。

今回は AnyLoRA + 自作LoRA「NWOE」( No whites of eyes )。
いわゆる黒点目イラストの生成を目的に学習させたモデルです。

Model: anyloraCheckpoint_bakedvaeBlessedFp16.safetensors
VAE: None
Sampling: DPM++ SDE Karras
Sampling step: 22
Size: 768 x 768
CFG Scale: 7.5
Seed: 2422180041

prompt:

1girl with 1dog, walking in park

negative:

(worst quality, low quality:1.4), (jpeg artifacts:1.4),greyscale, monochrome, motion blur, emphasis lines, text, title, logo, signature

生成したベース絵はこれ。 base image

今回の学習モデルは、シンプルな人物イラスト画像で、唯一の共通点は「白目がない」こと。
いわゆるべた目、または丸点目。著作権のない CC0 の画像からコンセプトに合うものを231枚用意して学習させました。
高確率で目にするようなスタイルの画像(イ〇スト屋)は意識的に排除しました。

lora:nwoe:0.1
00001-2422180041 なかなか良い滑り出し。シバよ、お前はどこから湧いた。

lora:nwoe:0.2
00002-2422180041 1dog タグなんて素知らぬ顔で居座るシバ。なんかムキムキしてきてるし。

lora:nwoe:0.3
00003-2422180041 !!まじか、飼い犬の座を奪い取ったぞ、このシバ( ゚Д゚)

lora:nwoe:0.4
00004-2422180041 完全に飼い犬ポジをキープしたシバ。マロ眉になってても騙されないぞ。
左下のサインのように見えるノイズも気になる。

lora:nwoe:0.5
00005-2422180041 ここが閾値のようです。絵柄に変化が出てきました。

lora:nwoe:0.6
00006-2422180041 影響は出てますが、まだ白目が残ってますね。

lora:nwoe:0.7
00007-2422180041 第二の閾値でしょうか。よく見るベクターイラストのようなテイストになりました。

lora:nwoe:0.8
00008-2422180041 ついに黒点目達成。

lora:nwoe:0.9
00009-2422180041
ここで一気に絵柄が変わりました。

lora:nwoe:1
00010-2422180041 シバが仲間を呼んだ!?( ゚Д゚)
この時点でも元の構図を維持したまま破綻せず絵柄の変更に成功しているので、かなり優秀なLoRAみたいです(自画自賛)。


このあと、lora:nwoe:1.6 で破綻しました。
00016-2422180041

それでも1.5でも構図を維持していたので安定感 (AnyLoRAとの相性かもしれない) は高い気がしています。

AnyLoRA以外でも試してみました。

Model: counterfeitV30_v30
VAE: Counterfeit-V2.5
00023-2422180041

lora:nwoe:1
00022-2422180041 ちょい青がかってるけど、黒目ってことで。


Model: blue_pencil-v10 VAE: clearvaeSD15_v23 000024-2422180041

lora:nwoe:1
00025-2422180041

うむ。他のモデルでも十分に通用する。


今回の学習モデルはなかなか優秀(相性と安定性)でした。
需要があるかはべつとして(´・ω・`)

オリジナル学習モデルの作り方はこちらのページで、どぞ (`・ω・´)。

Post If you feel like it, I would be happy if you could post it.