LoRAを複数使ってスタイルを変更する際には、以前論文では重みの重なりなどでスタイルが崩れるなどの先行研究もありました。 ZipLoRAを見てみる<a href="https://blueqat.com/yuichiro_minato2/17594a46-e34d-46f6-9bcc-467ca312ce92" rel="noopener noreferrer" target="_blank">https://blueqat.com/yuichiro_minato2/17594a46-e34d-46f6-9bcc-467ca312ce92</a> 今回はLoRAを複数適用してみてベンチマークやできた画像を見てみます。 今回はLoRAとして、 [LoRa] Shoal / 錦鱗 Concept (With multires noise version)<a href="https://civitai.com/models/79737/lora-shoal-concept-with-multires-noise-version" rel="noopener noreferrer" target="_blank">https://civitai.com/models/79737/lora-shoal-concept-with-multires-noise-version</a> と、 [LoRa] Swatches Neon / 色塊ネオン Concept (With multires noise version)<a href="https://civitai.com/models/83847/lora-swatches-neon-concept-with-multires-noise-version" rel="noopener noreferrer" target="_blank">https://civitai.com/models/83847/lora-swatches-neon-concept-with-multires-noise-version</a> を組み合わせてみました。利用方法はシンプルです。 img2txtにおいてLoRAを複数選択するとプロンプトに複数のLoRA指定が出てきます。プロンプトは下記を使いました。 <pre class="ql-syntax" spellcheck="false">fish, neon &lt;lora:underwater3:1&gt; &lt;lora:cbpk:1&gt;
</pre> 最後に&lt; &gt;で二つのLoRAが導入されています。 最初にLoRAを両方外した状態で、シード固定指定して実行してみます。ベースモデルはGoofball mixを利用しました。<a href="https://civitai.com/models/53761?modelVersionId=285757" rel="noopener noreferrer" target="_blank">https://civitai.com/models/53761?modelVersionId=285757</a> 何もLoRAをつけない場合、 without LoRA / RTX4090 / 512x512 / 1.7s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lora0_0.png"/> with neon LoRA / RTX4090 / 512x512 / 3.3s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lora2_2.png"/> with underwater LoRA / RTX4090 / 512x512 / 3.5s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lora1_1.png"/> with neon &amp; underwater LoRA / RTX4090 / 512x512 / 5.1s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lora3.png"/> どうでしょう。シード固定ですが、結構違う絵柄が出ました。 個別のLoRAはうまく動いているようで雰囲気が出ます。LoRAを混ぜるとまた違う絵柄が出ますが、水面下とネオンという全く違うスタイルのものを混ぜてしまうとわけがわからない感じになってアートっぽくなります。 自分の目的に合わせてLoRAを組み合わせるのも面白そうです。計算時間はLoRAを複数つけた方が遅くなりました。

Stable Diffusionで複数LoRA。RTX4090ベンチマーク。

Yuichiro Minato