拡散モデルでは、ニューラルネットワークのweightを利用してモデルが表現されます。このweightを足し合わせることで重みのマージができます。単純に重みに係数をかけて２つ以上のモデルを融合させます。
今回はポートレート写真で同じ乱数シードで異なるモデルを単純マージしてみます。階層マージはニューラルネットワークの各階層の重みを変更してマージをしますが、キリがないので単純マージで各階層のマージの割合を一定にして実行します。
モデル１
モデル２
同じポートレート写真で、かつ同じ乱数シードですが異なる女性が出てきました。
モデルは同じsafetensors形式で保存されており、それらを足し合わせることができます。
足し合わせる割合を1/2ずつにして画像を生成してみると、
0.5xモデル１ + 0.5xモデル２
全く同じシードですが、なんとなく雰囲気がちょうど半分になりました。
モデル１を75%、モデル２を25%の重みでマージしてみます。
モデル１の雰囲気が強く出ました。次に逆にしてみます。モデル２を75%にしてみます。
同様にモデル２の方が強く出ています。髪型もちょっとモデル１に近づいてるのが面白いですね。
今回は単純マージというテンソルの加算で実現できる方法を確認しました。
異なるスタイルをマージもできるのでいくらでもモデルを作ることができますね！