這下真的是萬物皆可 JOJO 化了！

本來就神采飛揚的馬斯克，下一刻更是彷彿要直接“我不做人啦！”

世界名畫蒙娜麗莎神祕優雅的微笑，似乎也變得 JO 灼了起來……

再來個同一次元的…… 團長你在做什麼啊團長！

而上面這些效果只要開啟網頁 Demo，點選上傳任意本地圖片就能實現。

這就一下子引來了大批網友的圍觀，不僅推特熱度 800+，線上試玩的抱抱臉（Hugging Face）還排起了隊，一張照片最多要等四五分鐘。

還不僅 JOJO 一種風格，還有迪士尼風、英雄聯盟風…… 輸入任意一種風格的影象，都可以將這種風格快速應用到新的圖片上：

看這楚楚可憐的卡姿蘭大眼睛，以及天真無邪的公主笑，我只想說…… 老馬，快收了神通吧！

線上 JO 化任意人像

看了上面的演示，是不是自己也想整一個 JO 化臉？

我們用開發者提供的 Hugging Face 和 Colab 來試一下。

首先是線上網頁版的 Hugging Face，點選左邊框中空白處就能把任意本地照片丟進去：

再點 Submit，等個十幾秒…… 站在你面前的不是別人，而是 ko no 肌肉金輪大司馬噠！

這個方法點開連結就能即傳即玩。不過雖然簡單快捷，但偶爾還是要排隊等個幾分鐘：

所以強烈安利 colab 版本，向 test_input 資料夾中匯入任意影象，比如我們這裡放入一張冰冰，然後點選執行：

再繼續執行下面的生成模組：

把我的冰冰女神 JOJO 化，這也在你的算計之中嗎 GAN !

而且，colab 中還提供了另一種玩法：匯入一張任意風格的圖片，自己製作一個 XX 風格生成器。

嗯…… 這不得整一個提瓦特大陸版的馬斯克？

上傳一張老馬的正經圖：

再在 style_images 資料夾中上傳一張原神風格的人像：

（上傳偏二次元風格的影象可能會出現“找不到人臉”的情況，需要多試幾張圖）

然後進行微調，等待幾分鐘，再點執行：

這個堅毅的眼神，再配上原圖裡老馬的那個遠眺抱胸的姿勢，感覺下一秒就能來句天動永珍了！

通過 GAN 反轉獲取近似風格

那麼，這種方法到底是怎麼做到只參考一張圖片，就能完美學習其美術風格，再將其運用到其他影象上呢？

我們一起來看看這個叫做 JoJoGan 的模型。

它主要是通過 GAN 反轉（inversion）來獲取近似風格的，主要工作流程分四步：

• 通過 GAN 將參考風格影象反轉為近似的配對訓練資料，得到相應的風格化的程式碼；

• 根據風格化程式碼生成真實的人臉影象，並與參考風格影象相匹配，形成成對的資料作為配對訓練集；

• 基於這些成對的訓練資料，對 StyleGAN 進行微調；

• 使用微調後的 StyleGAN 生成新的樣本。

開發者表示，這一模型非常關注零監督下的風格細節，並且在不同風格中具有良好的通用性，能夠輕鬆泛化到其他風格的影象上。

從二次元到技術宅

開發者 Min Jin Chong 也是我們的老熟人了，之前曾經搞過二次元老婆生成器：

Min Jin Chong 本人本科畢業於美國伊利諾伊大學厄巴納-香檳分校（UIUC），後繼續留校讀博，主要研究領域為機器學習、計算機視覺和影象生成。

此前他曾在位元組實習過 3 個月，現在與兩位同校學生一起創立了一個叫做 Style Space 的時尚購物應用，允許使用者在虛擬空間中試用和購買產品。

而他的導師 David Forsyth 則是一位 CV 領域的大牛，曾與 Jean Ponce 著有計算機視覺經典教材《Computer Vision：A Modern Approach》：

Hugging Face 線上試玩：

https://huggingface.co/spaces/akhaliq/JoJoGAN

colab 線上試玩：

https://colab.research.google.com/github/mchong6/JoJoGAN/blob/main/stylize.ipynb#scrollTo=LCLWiXoXwcJb

論文連結：

https://arxiv.org/abs/2112.11641

參考連結：

[1]https://twitter.com/ak92501/status/1473522187491590148

[2]https://github.com/mchong6/JoJoGAN