拡散モデルでは、ニューラルネットワークのweightを利用してモデルが表現されます。このweightを足し合わせることで重みのマージができます。単純に重みに係数をかけて２つ以上のモデルを融合させます。 今回はポートレート写真で同じ乱数シードで異なるモデルを単純マージしてみます。階層マージはニューラルネットワークの各階層の重みを変更してマージをしますが、キリがないので単純マージで各階層のマージの割合を一定にして実行します。 モデル１<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/26/jugger1.png"/> モデル２<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/26/realvis1.png"/> 同じポートレート写真で、かつ同じ乱数シードですが異なる女性が出てきました。モデルは同じsafetensors形式で保存されており、それらを足し合わせることができます。足し合わせる割合を1/2ずつにして画像を生成してみると、 0.5xモデル１ + 0.5xモデル２<img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/26/0.5.png"/> 全く同じシードですが、なんとなく雰囲気がちょうど半分になりました。モデル１を75%、モデル２を25%の重みでマージしてみます。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/26/0.75jug.png"/> モデル１の雰囲気が強く出ました。次に逆にしてみます。モデル２を75%にしてみます。 <img src="https://assets.blueqat.com/public/uploads/us-east-2:4805ff4b-c3cc-4344-b165-86544c34d0bf/2024/03/26/0.25jug.png"/> 同様にモデル２の方が強く出ています。髪型もちょっとモデル１に近づいてるのが面白いですね。 今回は単純マージというテンソルの加算で実現できる方法を確認しました。異なるスタイルをマージもできるのでいくらでもモデルを作ることができますね！

画像生成AIの拡散モデルのモデルマージ（単純マージ）

Yuichiro Minato