ベースとなる生成AIのモデルを変更することなく、追加の学習でスタイルを変更できるLoRAが簡単に導入できます。今回はStable Diffusionの拡張機能を使って、LoRAを行ってみました。標準で追加されているので、モデルをHuggingFaceやCivitaiから取り込むことで利用できます。
https://github.com/AUTOMATIC1111/stable-diffusion-webui
ベースとなるプロンプトにLoRAを選ぶと、<hoge>のようにLoRAのコマンドが追加され、それだけで利用できるようになるので、ものすごい簡単でした。今回利用させていただいたLoRAは、
https://civitai.com/models/116730?modelVersionId=126394
ベースモデルでのプロンプト作成時の絵は、
こんな感じでの絵柄でした。
次に特定のLoRAを適用した場合は、全く同じプロンプトとシードで、
絵柄がガラッと変わりました。
使用したGPUはH100、UIはAutomatic1111を利用しました。
作成にかかった時間はほとんど変わりませんでした。
