LCMと呼ばれるモデルはこれまでの拡散モデルを拡張し、常微分方程式解法を学習させることで拡散ステップ数を減らすことに成功しています。かなり高速に画像生成ができるということなので、やってみます。 <a href="https://github.com/luosiallen/latent-consistency-model" rel="noopener noreferrer" target="_blank">https://github.com/luosiallen/latent-consistency-model</a> Automatic1111経由でもできますが、エラーが出たのでダイレクトにコンソールからやってみます。CPUとGPUを準備し、float32で計算してみます。*結局CPUを使っているのかGPUを使っているのか、検証が不十分なので、一旦CPU+GPU H100での環境での試行として統一します。 <pre class="ql-syntax" spellcheck="false">from diffusers import DiffusionPipeline
import torch

pipe = DiffusionPipeline.from_pretrained(&#34;SimianLuo/LCM_Dreamshaper_v7&#34;)

# To save GPU memory, torch.float16 can be used, but it may compromise image quality.
pipe.to(torch_device=&#34;cuda&#34;, torch_dtype=torch.float32)
</pre> プロンプトは標準的なものを使いました。まずは推論ステップ4でやってみます。<pre class="ql-syntax" spellcheck="false">prompt = &#34;portrait photo of a girl, photograph, highly detailed face, depth of field, moody light, golden hour, style by Dan Winters, Russell James, Steve McCurry, centered, extremely detailed, Nikon D850, award winning photography&#34;


# Can be set to 1~50 steps. LCM support fast inference even &lt;= 4 steps. Recommend: 1~8 steps.
num_inference_steps = 4 


images = pipe(prompt=prompt, num_inference_steps=num_inference_steps, guidance_scale=8.0, lcm_origin_steps=50, output_type=&#34;pil&#34;).images


images[0].save(&#34;output.png&#34;)
</pre> [00:06&lt;00:00, 1.52s/it]<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM1.png"/> 768x768は十分高速です。 推論ステップを変更してみます。1step[00:01&lt;00:00, 1.26s/it]<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM3_1.png"/><img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM4_1.png"/>ボケますね。 2steps[00:02&lt;00:00, 1.37s/it]<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM3_2.png"/><img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM4_2.png"/>2秒でもいい絵が出ます。 4 steps[00:05&lt;00:00, 1.27s/it]<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM3_3.png"/> <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM4_3.png"/> 8 steps[00:10&lt;00:00, 1.28s/it]<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM3_4.png"/><img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM4_4.png"/>いい感じです。 次に画像サイズを768x768の標準から、1024x1024にしてみます。 4steps / 1024x1024[00:12&lt;00:00, 3.17s/it]<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM5_2.png"/><img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM5_1.png"/> 最後に同時作成枚数を調整してみます。これまで1枚で作成してましたが、4枚同時に作成してみます。step数は4に固定、画像サイズは768x768固定にします。 4steps / 768x768 / num_images 4[00:21&lt;00:00, 5.45s/it]<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/18/LCM7_2.jpg"/> 結果は多少縮小していますが、768x768の画像が4枚出ました。 十分に速いので、ステップ4くらいで色々試すのが良さそうです。以上です。

Stable Diffusion + LCMで潜在一貫性モデルベンチマーク。CPUやH100など。

Yuichiro Minato