機器之心報道

編輯：蛋醬、小舟

(相關資料圖)

如果甲方想把大象 P 轉身，你只需要拖動 GAN 就好了。

在圖像生成領域，以 Stable Diffusion 為代表的擴散模型已然成為當前占據主導地位的范式。但擴散模型依賴于迭代推理，這是一把雙刃劍，因為迭代方法可以實現具有簡單目標的穩定訓練，但推理過程需要高昂的計算成本。

在 Stable Diffusion 之前，生成對抗網絡（GAN）是圖像生成模型中常用的基礎架構。相比于擴散模型，GAN 通過單個前向傳遞生成圖像，因此本質上是更高效的。但由于訓練過程的不穩定性，擴展 GAN 需要仔細調整網絡架構和訓練因素。因此，GAN 方法很難擴展到非常復雜的數據集上，在實際應用方面，擴散模型比 GAN 方法更易于控制，這是 GAN 式微的原因之一。

當前，GAN 主要是通過手動注釋訓練數據或先驗 3D 模型來保證其可控性，這通常缺乏靈活性、精確性和通用性。然而，一些研究者看重 GAN 在圖像生成上的高效性，做出了許多改進 GAN 的嘗試。

最近，來自馬克斯普朗克計算機科學研究所、MIT CSAIL 和谷歌的研究者們研究了一種控制 GAN 的新方法 DragGAN，能夠讓用戶以交互的方式「拖動」圖像的任何點精確到達目標點。

論文鏈接：https://arxiv.org/abs/2305.10973

項目主頁：https://vcai.mpi-inf.mpg.de/projects/DragGAN/

這種全新的控制方法非常靈活、強大且簡單，有手就行，只需在圖像上「拖動」想改變的位置點（操縱點），就能合成你想要的圖像。

例如，讓獅子「轉頭」并「開口」：

還能輕松讓小貓 wink：再比如，你可以通過拖動操縱點，讓單手插兜的模特把手拿出來、改變站立姿勢、短袖改長袖。看上去就像是同一個模特重新拍攝了新照片：

如果你也接到了「把大象轉個身」的 P 圖需求，不妨試試：

整個圖像變換的過程就主打一個「簡單靈活」，圖像想怎么變就怎么變，因此有網友預言：「PS 似乎要過時了」。也有人覺得，這個方法也可能會成為未來 PS 的一部分。總之，觀感就是一句話：「看到這個，我腦袋都炸了。」當大家都以為 GAN 這個方向從此消沉的時候，總會出現讓我們眼前一亮的作品：這篇神奇的論文，已經入選了 SIGGRAPH 2023。研究者表示，代碼將于六月開源。那么，DragGAN 是如何做到強大又靈活的？我們來看一下該研究的技術方法。

方法概述

該研究提出的 DragGAN 主要由兩個部分組成，包括：

基于特征的運動監督，驅動圖像中的操縱點向目標位置移動；

一種借助判別型 GAN 特征的操縱點跟蹤方法，以控制點的位置。

DragGAN 能夠通過精確控制像素的位置對圖像進行改變，可處理的圖像類型包括動物、汽車、人類、風景等，涵蓋大量物體姿態、形狀、表情和布局，并且用戶的操作方法簡單通用。

GAN 有一個很大的優勢是特征空間具有足夠的判別力，可以實現運動監督（motion supervision）和精確的點跟蹤。具體來說，運動監督是通過優化潛在代碼的移位特征 patch 損失來實現的。每個優化步驟都會導致操縱點更接近目標，然后通過特征空間中的最近鄰搜索來執行點跟蹤。重復此優化過程，直到操縱點達到目標。

DragGAN 還允許用戶有選擇地繪制感興趣的區域以執行特定于區域的編輯。由于 DragGAN 不依賴任何額外的網絡，因此它實現了高效的操作，大多數情況下在單個 RTX 3090 GPU 上只需要幾秒鐘就可以完成圖像處理。這讓 DragGAN 能夠進行實時的交互式編輯，用戶可以對圖像進行多次變換更改，直到獲得所需輸出。

如下圖所示，DragGAN 可以有效地將用戶定義的操縱點移動到目標點，在許多目標類別中實現不同的操縱效果。與傳統的形變方法不同的是，本文的變形是在 GAN 學習的圖像流形上進行的，它傾向于遵從底層的目標結構，而不是簡單地應用扭曲。例如，該方法可以生成原本看不見的內容，如獅子嘴里的牙齒，并且可以按照物體的剛性進行變形，如馬腿的彎曲。研究者還開發了一個 GUI，供用戶通過簡單地點擊圖像來交互地進行操作。

此外，通過與 GAN 反轉技術相結合，本文方法還可以作為一個用于真實圖像編輯的工具。

一個非常實用的用途是，即使合影中某些同學的表情管理不過關，你也可以為 Ta 換上自信的笑容：

順便提一句，這張照片正是本篇論文的一作潘新鋼，2021 年在香港中文大學多媒體實驗室獲得博士學位，師從湯曉鷗教授。目前是馬克斯普朗克信息學研究所博士后，并將從 2023 年 6 月開始擔任南洋理工大學計算機科學與工程學院 MMLab 的任助理教授。

這項工作旨在為 GAN 開發一種交互式的圖像操作方法，用戶只需要點擊圖像來定義一些對（操縱點，目標點），并驅動操縱點到達其對應的目標點。

這項研究基于 StyleGAN2，基本架構如下：

在 StyleGAN2 架構中，一個 512 維的潛在代碼∈ N（0，）通過一個映射網絡被映射到一個中間潛在代碼∈ R 512 中。的空間通常被稱為 W。然后，被送到生成器，產生輸出圖像 I = ( ) 。在這個過程中，被復制了幾次，并被送到發生器的不同層，以控制不同的屬性水平。另外，也可以對不同層使用不同的，在這種情況下，輸入將是，其中是層數。這種不太受約束的 W^+ 空間被證明是更有表現力的。由于生成器學習了從低維潛在空間到高維圖像空間的映射，它可以被看作是對圖像流形的建模。

實驗

為了展示 DragGAN 在圖像處理方面的強大能力，該研究展開了定性實驗、定量實驗和消融實驗。實驗結果表明 DragGAN 在圖像處理和點跟蹤任務中均優于已有方法。

定性評估

圖 4 是本文方法和 UserControllableLT 之間的定性比較，展示了幾個不同物體類別和用戶輸入的圖像操縱結果。本文方法能夠準確地移動操縱點以到達目標點，實現了多樣化和自然的操縱效果，如改變動物的姿勢、汽車形狀和景觀布局。相比之下，UserControllableLT 不能忠實地將操縱點移動到目標點上，往往會導致圖像中出現不想要的變化。

如圖 10 所示，它也不能像本文方法那樣保持未遮蓋區域固定不變圖 6 提供了與 PIPs 和 RAFT 之間的比較，本文方法準確地跟蹤了獅子鼻子上方的操縱點，從而成功地將它拖到了目標位置。真實圖像編輯。使用 GAN inversion 技術，將真實圖像嵌入 StyleGAN 的潛空間，本文方法也可以用來操作真實圖像。

圖 5 顯示了一個例子，將 PTI inversion 應用于真實圖像，然后進行一系列的操作來編輯圖像中人臉的姿勢、頭發、形狀和表情：

圖 13 展示了更多的真實圖像編輯案例：定量評估

研究者在兩種設置中下對該方法進行了定量評估，包括人臉標記點操作和成對圖像重建。

人臉標記點操作。如表 1 所示，在不同的點數下，本文方法明顯優于 UserControllableLT。特別是，本文方法保留了更好的圖像質量，正如表中的 FID 得分所示。

這種對比在圖 7 中可以明顯看出來，本文方法打開了嘴巴并調整下巴的形狀以匹配目標臉，而 UserControllableLT 未能做到這一點。成對圖像重建。如表 2 所示，本文方法在不同的目標類別中優于所有基線。消融實驗

研究者研究了在運動監督和點跟蹤中使用某種特征的效果，并報告了使用不同特征的人臉標記點操作的性能（MD）。如表 3 所示，在運動監督和點跟蹤中，StyleGAN 的第 6 個 block 之后的特征圖表現最好，顯示了分辨率和辨別力之間的最佳平衡。

表 4 中提供了 _1 的效果。可以看出，性能對 _1 的選擇不是很敏感，而 _1=3 的性能略好。討論

掩碼的影響。本文方法允許用戶輸入一個表示可移動區域的二進制掩碼，圖 8 展示了它的效果：

Out-of-distribution 操作。從圖 9 可以看出，本文的方法具有一定的 out-of-distribution 能力，可以創造出訓練圖像分布之外的圖像，例如一個極度張開的嘴和一個大的車輪。研究者同樣指出了本文方法現存的局限性：盡管有一些推斷能力，其編輯質量仍然受到訓練數據多樣性的影響。如圖 14（a）所示，創建一個偏離訓練分布的人體姿勢會導致偽影。此外，如圖 14（b）和（c）所示，無紋理區域的操縱點有時會在追蹤中出現更多的漂移。因此，研究者建議盡可能挑選紋理豐富的操縱點。AI+EDA：引領芯片設計新未來

5 月 23 日 19:00-21:00，機器之心聯合新思科技與微軟帶來線上分享，來自新思科技資深產品經理莊定錚與微軟全球黑帶 - 數據與人工智能資深技術專家陳景忠將就 AI+EDA 這一行業熱議話題展開討論。

識別海報二維碼，預約直播。

THE END

轉載請聯系本公眾號獲得授權

投稿或尋求報道：content@jiqizhixin.com