リネI字バランス LoRAでポーズを制御する方法について

◆解説

ポーズLoRAについて解説します。

本日の画像に関しては3-4種類のLoRAを利用して作成しました。

・ポーズLoRA

・キャラLoRA

・絵柄LoRA

です。

ポーズLoRAのLoRA https://github.com/kohya-ss/sd-scripts を利用しています。LoRAの詳細な利用方法については公式のドキュメントをご覧ください。

学習パラメータは以下の通り。

////////////////////////////////////////////////

"net_dim": 128,

"alpha": 128.0,

"scheduler": "cosine_with_restarts",

"cosine_restarts": 4,

"scheduler_power": 1,

"warmup_lr_ratio": null,

"learning_rate": 0.0001,

"text_encoder_lr": 0.0001,

"unet_lr": 0.0001,

"num_workers": 1,

"persistent_workers": true,

"batch_size": 1,

"num_epochs": 20,

"save_at_n_epochs": 1,

"shuffle_captions": true,

"keep_tokens": 1,

"max_steps": null,

"train_resolution": 512,

"min_bucket_resolution": 320,

"max_bucket_resolution": 960,

"lora_model_for_resume": null,

"save_state": false,

"load_previous_save_state": null,

"training_comment": null,

"unet_only": true,

"text_only": false,

"reg_img_folder": ,

"clip_skip": 2,

"test_seed": 23,

"prior_loss_weight": 1,

"gradient_checkpointing": false,

"gradient_acc_steps": null,

"mixed_precision": "fp16",

"save_precision": "fp16",

"save_as": "safetensors",

"caption_extension": ".txt",

"max_clip_token_length": 150,

"buckets": true,

"xformers": true,

"use_8bit_adam": true,

"cache_latents": true,

"color_aug": false,

"flip_aug": false,

"vae": null,

"no_meta": false,

"log_dir": null

}

////////////////////////////////////////////////

学習画像枚数は34枚。

アノテーションはマルゼンスキームに従って、不要なタグを削除します。ポーズLoRAにおいて重要なことは素材をその特徴を十分に認識できるように加工することです。学習素材の枚数に関しては最近は以前より増やしていますが、学習素材を絞って高品質な素材に限定した方がよい可能性もあり、まだ検証途中です。

また、ポーズを制御するためにControl-netも1-2種類使用しています。(scribbleなど)

プロンプトは以下の通りです。

prompt

looking at viewer,navel, looking at viewer,erection, nude, perineum,nipples, male_focus,standing_split,1boy,split,solo,standing_on_one_leg,standing,(leg_up:1.4),grabbing leg, white hair ,skinny,

Negative prompt

EasyNegative, bad anatomy,watermark,text,signature,pubic hair,missing fingers,(1girl,female,breasts:1.4),trembling, muscle,muscular,

なお画像はt2iで出力したものを様々に修正しているため、上記の方法だけでは同様の物を出力することができないことをご了承ください。また、背景画像はreference-onlyを複数使用して出力しています。射精差分については独自のLoRAを使用しています。それについてはまた次の機会に解説します。