イラスト系だけじゃなくて、最近はフォトリアルなものも出せる様です。これが出せれば広告とかに使えそうな気がしますね。モデルさんを雇って撮影って大変なので。 今回はこれまで利用してきたStable Diffusion2.0のモデルではなく、ファインチューニングされた目的別のモデルを使ってみます。 <a href="https://huggingface.co/SG161222/Realistic_Vision_V1.4" rel="noopener noreferrer" target="_blank">https://huggingface.co/SG161222/Realistic_Vision_V1.4</a> 今回は写真のような生成AIを作成してくれるRealistic Vision 1.4の最新バージョンを使ってみます。 今回はサンプラーもちょっと揃えてみました。 <pre class="ql-syntax" spellcheck="false">from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler, EulerDiscreteScheduler
</pre> 今回はpipelineを二つ作って比較してみます。 <pre class="ql-syntax" spellcheck="false">import torch
from diffusers import StableDiffusionPipeline, DPMSolverMultistepScheduler, EulerDiscreteScheduler
from torch import autocast

#model_id0 = &#34;CompVis/stable-diffusion-v1-4&#34;
model_id1 = &#34;stabilityai/stable-diffusion-2&#34;
model_id2 = &#34;SG161222/Realistic_Vision_V1.4&#34;
use_auth_token = r&#39;TOKEN&#39;
device = &#34;cuda&#34;

pipeline1 = StableDiffusionPipeline.from_pretrained(model_id1, revision=&#34;fp16&#34;, torch_dtype=torch.float16, use_auth_token=use_auth_token)
pipeline1.to(device)

pipeline2 = StableDiffusionPipeline.from_pretrained(model_id2, use_auth_token=use_auth_token)
pipeline2.scheduler = DPMSolverMultistepScheduler.from_config(pipeline2.scheduler.config)
pipeline2.to(device)
</pre> model1には通常のstable diffusionmodel2には、Realistic Vision V1.4 を利用しました。pipeline2の方にRealistic Vision V1.4を設定しましたが、サンプラーを今回はDPMSolverを使いました。 NSFWに引っかかってしまうことも多いので、真っ黒な画像が出る場合には再生成を行いました。 <pre class="ql-syntax" spellcheck="false">import random
from PIL import Image

steps = 16

#画像初期化
image = Image.new(&#34;L&#34;,(768,768))

while not image.getbbox():
  seed = random.randint(0,9999999)
  generator = torch.Generator(device).manual_seed(seed)
  image = pipeline2(prompt, negative_prompt=negative_prompt, num_inference_steps=steps, generator=generator).images[0]


print(seed)
image.save(f&#34;outputs/{seed}.png&#34;)
image
</pre> シードをランダムで生成し、画像生成に成功したらシード名を指定して画像保存します。適切なプロンプトを指定（Realistic Vision V1.4のユーザーフォーラムにあった標準プロンプトを使いました）Step数は16にしてあり、だいたい「2秒」で1つの画像ができます。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/02/25/Fpy7o4KagAIH3GD.png"/> <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/02/25/Fpy2BZ1aAAAtgSk.png"/> 二番目は多少画像を切り取っていますが、安定してかなりクオリティの高い画像が生成されます。 ちなみに標準のStable Diffusion 2で同じプロンプトで生成した場合は、、、 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2023/02/25/ダウンロード.png"/> こんな感じでしたので、いかに追加学習された専用モデルが強力かがわかりました。DreamboothやLoRAを利用することで自分のDiffusionモデルが作れますので、今後もこの様な専用用途の生成AIがより発展しそうですね。 blueqat cloudを利用することで簡単に画像生成ができました。

blueqat cloud + Stable Diffusion + ファインチューニングモデルでフォトリアル生成AIを試す

Yuichiro Minato