LCMは常微分方程式を解くようにNNを学習させるようにしてデノイズすることで、拡散モデルのデノイズステップを大幅に減らそうという試みです。そんなLCMですが、これまでのLoRAという低ランクアダプターの使い方を拡張するように、さらにデノイズステップを減らすような高速化が可能なモデルが出ています。 LCMは十分に高速なので高価なGPUが不要です。ここでは、Google Colab T4 GPUでのLCMとLoRAを実行してみました。 <a href="https://github.com/luosiallen/latent-consistency-model" rel="noopener noreferrer" target="_blank">https://github.com/luosiallen/latent-consistency-model</a> <pre class="ql-syntax" spellcheck="false">!pip install -q diffusers accelerate peft
</pre> 今回はfp16でも32でもいいですが、早いので16にしてみます。weightはLCMのものをとってきます。<pre class="ql-syntax" spellcheck="false">from diffusers import StableDiffusionPipeline, LCMScheduler
import torch

pipe = StableDiffusionPipeline.from_pretrained(&#34;SimianLuo/LCM_Dreamshaper_v7&#34;, torch_dtype=torch.float32).to(&#34;cuda&#34;)
</pre> プロンプトは例題にあったものを利用します。<pre class="ql-syntax" spellcheck="false">prompt = &#34;portrait photo of a girl, photograph, highly detailed face, depth of field, moody light, golden hour, style by Dan Winters, Russell James, Steve McCurry, centered, extremely detailed, Nikon D850, award winning photography&#34;
</pre> まずは、LoRAを利用しないもの。step2,4,8と見てみます。<pre class="ql-syntax" spellcheck="false">%%time

image = pipe(prompt=prompt, num_inference_steps=2, guidance_scale=8.0, lcm_origin_steps=50).images[0]

# 画像の確認
image.save(&#34;image.png&#34;)
image
</pre> LCM without LoRA / steps 2 / 768x768 / 1.48s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lcm2.png"/> LCM without LoRA / steps 4 / 768x768 / 1.94s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lcm4.png"/> LCM without LoRA / steps 8 / 768x768 / 2.94s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lcm8.png"/> 次にこちらのLCM-LoRAをつけます。通常LoRAはスタイル変更をしますが、こちらは推論ステップを減らしてくれます。<a href="https://huggingface.co/latent-consistency/lcm-lora-sdv1-5" rel="noopener noreferrer" target="_blank">https://huggingface.co/latent-consistency/lcm-lora-sdv1-5</a>ガイダンススケールは0にするか、1から2を採用してくれと書いてありますので、0にします。 <pre class="ql-syntax" spellcheck="false">pipe.load_lora_weights(&#34;latent-consistency/lcm-lora-sdv1-5&#34;)
pipe.scheduler = LCMScheduler.from_config(pipe.scheduler.config)
</pre> LCM with LCM-LoRA / steps 2 / 768x768 / 1.41s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lora2.png"/> 少しスタイルが変更になりました。step数2でもある程度ぼやけずに絵が出ました。 LCM with LCM-LoRA / steps 4 / 768x768 / 2.02s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lora4.png"/> LCM with LCM-LoRA / steps 8 / 768x768 / 3.13s<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/20/lora8.png"/> step2でもきちんと絵が出るのがいいですね。

LCM / Latent Consistency ModelsとLCM-LoRA ベンチマーク

Yuichiro Minato