ベースとなる生成AIのモデルを変更することなく、追加の学習でスタイルを変更できるLoRAが簡単に導入できます。今回はStable Diffusionの拡張機能を使って、LoRAを行ってみました。標準で追加されているので、モデルをHuggingFaceやCivitaiから取り込むことで利用できます。 <a href="https://github.com/AUTOMATIC1111/stable-diffusion-webui" rel="noopener noreferrer" target="_blank">https://github.com/AUTOMATIC1111/stable-diffusion-webui</a> <a href="https://huggingface.co/" rel="noopener noreferrer" target="_blank">https://huggingface.co/</a> <a href="https://civitai.com/" rel="noopener noreferrer" target="_blank">https://civitai.com/</a> ベースとなるプロンプトにLoRAを選ぶと、&lt;hoge&gt;のようにLoRAのコマンドが追加され、それだけで利用できるようになるので、ものすごい簡単でした。今回利用させていただいたLoRAは、 <a href="https://civitai.com/models/116730?modelVersionId=126394" rel="noopener noreferrer" target="_blank">https://civitai.com/models/116730?modelVersionId=126394</a> ベースモデルでのプロンプト作成時の絵は、こんな感じでの絵柄でした。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/withoutlora.png"/> 次に特定のLoRAを適用した場合は、全く同じプロンプトとシードで、<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/lora.png"/> 絵柄がガラッと変わりました。 使用したGPUはH100、UIはAutomatic1111を利用しました。作成にかかった時間はほとんど変わりませんでした。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/lora_benchmark.png"/>

Stable Diffusion Web UIでLoRAを試してみる。

Yuichiro Minato