動漫、藝術作品裡的人物，他們極具張力的形象往往給人們留下深刻的印象。

但如果說現在，你也可擁有他們的同款造型呢？

沒錯，依舊來自是“無所不能”的對抗生成網路（Generative Adversarial Network，以下簡稱為 GAN）。

只要把你 pick 好的形象“投喂”進去，接下來妝發的工作交給它就行了：

紅的、黃的、藍的、白的…… 髮色隨意改變，風格也隨之變換。

這就是來自快手的 BlendGAN，而且這項工作還被頂會 NeurIPS 2021 接收。

而與以往“變妝”GAN 不同的是，BlendGAN 號稱能駕馭的風格是 —— 任意！

是有種“百變大咖秀”的那味了。

於是乎，這個專案成功在網上引起了眾多網友的圍觀。

如何絲滑變妝？

那麼，怎樣擁有動漫人物同款造型呢？

很簡單，只需要準備 2 張照片：

• 一張生活照

• 一張動漫人物造型

現在在 Hugging Face 裡已經有了線上可玩的 demo。

最簡單的辦法就是把這兩張照片上傳進去，等待一會兒就可以出結果了。

當然，稍微“技術”點的方法就是自己跑一遍程式了。

就在這兩天，BlendGAN 在 GitHub 上也已開源。

首先需要下載一些預訓練模型，包括 BlendGAN 模型、PSP 編碼器模型和 Style 編碼器模型。

然後僅需幾句 Python 程式碼，便可出效果。

例如用隨機人臉程式碼生成影象對，就輸入：

pythongenerate_image_pairs.py--size1024--picsN_PICS--ckpt./pretrained_models/blendgan.pt--style_img./test_imgs/style_imgs/100036.png--outdirresults/generated_pairs/reference_guided/

若是要給照片換風格，則輸入：

pythonstyle_transfer_folder.py--size1024--ckpt./pretrained_models/blendgan.pt--psp_encoder_ckpt./pretrained_models/psp_encoder.pt--style_img_path./test_imgs/style_imgs/--input_img_path./test_imgs/face_imgs/--outdirresults/style_transfer/

要生成插值視訊，則：

pythongen_video.py--size1024--ckpt./pretrained_models/blendgan.pt--psp_encoder_ckpt./pretrained_models/psp_encoder.pt--style_img_path./test_imgs/style_imgs/--input_img_path./test_imgs/face_imgs/--outdirresults/inter_videos/

為什麼可以 hold 住任意風格？

那麼快手的這個 BlendGAN，為什麼可以同時駕馭這麼多的風格？

據研究介紹，團隊首先是利用靈活的混合策略和通用的藝術資料集，來生成任意樣式化的臉。

具體來說，就是在通用藝術資料集上，訓練一個自監督 Style 編碼器來提取任意樣式的表示。

在生成器部分，則提出了一種叫做加權混合模組(WBM) 的方法，來隱式混合人臉和樣式表示，並控制任意的程式化效果。

以往諸如 StyleGAN2 在這個步驟中，不同解析度層（resolution layer）負責生成影象中的不同特徵，而團隊認為它們在不同層的混合權值不應當是一致的。

因此，研究人員將人臉和風格 latent 程式碼轉換到它們的 W 空間，然後再由 WBM 進行一個組合的工作。

由此得到的結果顯示，與以往方法比較，BlendGAN 能夠得到更加逼真的效果。

作者介紹

本文的通訊作者是 Li Qiang，現任快手 Y-tech 的演算法工程師。

本科和碩士就讀於華中科技大學；博士畢業於悉尼科技大學，師從陶大程教授。

其主要研究方向為深度學習、機器學習和概率圖形模型，對卷積神經網路、深度生成模型、表示學習和結構化預測感興趣。

最後，想試試變妝的小夥伴，可以戳下方連結體驗一下。

線上試玩：點此直達