Stable Diffusionで複数LoRA。RTX4090ベンチマーク。

LoRAを複数使ってスタイルを変更する際には、以前論文では重みの重なりなどでスタイルが崩れるなどの先行研究もありました。

ZipLoRAを見てみる

今回はLoRAを複数適用してみてベンチマークやできた画像を見てみます。

今回はLoRAとして、

[LoRa] Shoal / 錦鱗 Concept (With multires noise version)

と、

[LoRa] Swatches Neon / 色塊ネオン Concept (With multires noise version)

を組み合わせてみました。利用方法はシンプルです。

img2txtにおいてLoRAを複数選択するとプロンプトに複数のLoRA指定が出てきます。

プロンプトは下記を使いました。

最後に< >で二つのLoRAが導入されています。

最初にLoRAを両方外した状態で、シード固定指定して実行してみます。

ベースモデルはGoofball mixを利用しました。

何もLoRAをつけない場合、

without LoRA / RTX4090 / 512x512 / 1.7s

with neon LoRA / RTX4090 / 512x512 / 3.3s

with underwater LoRA / RTX4090 / 512x512 / 3.5s

with neon & underwater LoRA / RTX4090 / 512x512 / 5.1s

どうでしょう。シード固定ですが、結構違う絵柄が出ました。

個別のLoRAはうまく動いているようで雰囲気が出ます。LoRAを混ぜるとまた違う絵柄が出ますが、水面下とネオンという全く違うスタイルのものを混ぜてしまうとわけがわからない感じになってアートっぽくなります。

自分の目的に合わせてLoRAを組み合わせるのも面白そうです。計算時間はLoRAを複数つけた方が遅くなりました。