2つの点で画像をドラッグ編集できる新モデル「FreeDrag」
https://www.techno-edge.net/article/2023/07/17/1603.html
見てみます。少し今回はGANベースで、流行りのDiffusionモデルとちょっと違うので、解説が少し短めです。
「この研究では、これらの問題を解決するためのドラッグ編集モデル「FreeDrag」を提案します。FreeDragは、DragGANのポイント指向の手法の中で、点追跡の負担を軽減するために特徴指向のアプローチを採用しています。また、ミストラッキングの問題に対処するために、各ハンドル点に対してテンプレート特徴（動作中のハンドルポイントの特徴を記録する概念）を保持し、反復プロセス中の動きを監視する手法を導入しています。」
これまでいくつかみてみたポイント制御系の生成モデルでしょうかね。
プロジェクトページ
https://lin-chen.site/projects/freedrag/
FreeDrag: Point Tracking is Not What You Need for Interactive Point-based Image Editing
Pengyang Ling, Lin Chen, Pan Zhang, Huaian Chen, Yi Jin
https://arxiv.org/abs/2307.04684
github
https://github.com/LPengYang/FreeDrag
アブストラクト
「最近、DragGANはポイントベースの操作を通じて印象的な編集結果を達成しました。しかし、私たちはDragGANがミストラッキングと曖昧なトラッキングという問題に苦しんでいることを観察しています。ミストラッキングでは、DragGANは所望のハンドルポイントを効果的に追跡するのに難しさを感じ、曖昧なトラッキングでは、追跡されるポイントがハンドルポイントに類似した他の領域に存在しています。
上記の問題に対処するために、私たちはFreeDragを提案します。FreeDragは、DragGANのポイント指向の方法論内でポイントトラッキングの負担を軽減するために、特徴指向のアプローチを採用しています。FreeDragは、適応的なテンプレート特徴、ラインサーチ、ファジーな位置特定のテクニックを組み合わせて、安定した効率的なポイントベースの画像編集を行います。豊富な実験結果は、私たちの方法がDragGANよりも優れており、似たような構造、細部、またはマルチポイントの対象がある難しいシナリオで安定したポイントベースの編集を可能にすることを示しています。」
どうやらGANベースのモデルの改良のようです。
引用：https://lin-chen.site/projects/freedrag/
「提案されたFreeDragの概要です。カスタマイズされた移動スキームは、各モーションの難易度を慎重に制御し、適応的な更新により、総移動中にスムーズな特徴の移行を可能にします。これらは共に、信頼性のあるポイントベースの画像編集のための安定したポイントの移動を促進します。」
特にポイントの移動をスムーズにすることに重点を置いているようです。特徴マップ上での操作にはなるようです。
引用：https://lin-chen.site/projects/freedrag/
どうやらこれまでのDragGANと違って、途中過程のポイントをきちんと調整してくれるので、より自然な操作に見えるというものみたいです。
ちょっと前回のDragGANはStyleGANもそうですが、まだStyleGAN自体をきちんと理解できていないのですが、Diffusionモデルが盛り上がっているので、GANがどれくらい盛り上がりを追えるかというのが今後人気が出るかどうかにかかりそうです。