LCMを利用すると、推論ステップを減らせます。さらにLCM-LoRAを利用するとさらに推論ステップを減らせます。今回はそのLCM-LoRAにさらに通常のDMでのStyle-LoRAを組み合わせてみます。 利用するLoRAは、 LCM-LoRA-SDv1.5（高速化LCM-LoRA）<a href="https://huggingface.co/latent-consistency/lcm-lora-sdv1-5" rel="noopener noreferrer" target="_blank">https://huggingface.co/latent-consistency/lcm-lora-sdv1-5</a> PixelArtRedmond 1.5V- Pixel Art Loras for SD 1.5!（ピクセル化スタイルLoRA）<a href="https://huggingface.co/artificialguybr/pixelartredmond-1-5v-pixel-art-loras-for-sd-1-5" rel="noopener noreferrer" target="_blank">https://huggingface.co/artificialguybr/pixelartredmond-1-5v-pixel-art-loras-for-sd-1-5</a> まずはインストール<pre class="ql-syntax" spellcheck="false">!pip install -q diffusers accelerate peft
</pre> ベースモデルは、LCMでDreamshaperv7の蒸留モデルを利用します。FP32を採用。<pre class="ql-syntax" spellcheck="false">import torch
from diffusers import LCMScheduler, StableDiffusionPipeline

model_id = &#34;SimianLuo/LCM_Dreamshaper_v7&#34;

pipe = StableDiffusionPipeline.from_pretrained(model_id, torch_dtype=torch.float32)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
pipe.to(&#34;cuda&#34;)
</pre> 次にLoRAを適用します。今回は両方ともHuggingFaceにありましたので、直接します。<pre class="ql-syntax" spellcheck="false"># load and fuse lcm lora
pipe.load_lora_weights(&#34;artificialguybr/pixelartredmond-1-5v-pixel-art-loras-for-sd-1-5&#34;)
pipe.load_lora_weights(&#34;latent-consistency/lcm-lora-sdv1-5&#34;)
pipe.fuse_lora()
</pre> プロンプトはいつもの例題を<pre class="ql-syntax" spellcheck="false">prompt = &#34;portrait photo of a girl, photograph, highly detailed face, depth of field, moody light, golden hour, style by Dan Winters, Russell James, Steve McCurry, centered, extremely detailed, Nikon D850, award winning photography&#34;
</pre> 推論ステップ2で実行してみますと、<pre class="ql-syntax" spellcheck="false">%%time

# disable guidance_scale by passing 0
image = pipe(prompt=prompt, num_inference_steps=2, guidance_scale=0).images[0]
image
</pre> めちゃくちゃ早いですね。RTX6000ada。0.5秒で終わります。<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/LCM_multilora.png"/><pre class="ql-syntax" spellcheck="false">CPU times: user 752 ms, sys: 102 ms, total: 853 ms
Wall time: 497 ms
</pre> 試しにLCM-LoRAを切ってみて推論してみました。<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/LCM2.png"/> 絵柄がだいぶ変わりました。LoRAが複数当たっていたことがきちんと確認できました。以上です。

LCM-LoRA + Style-LoRA の組み合わせで速度向上&スタイル変更。RTX6000adaベンチマーク。

Yuichiro Minato