核心思想

採用深層卷積網路提取影象風格特徵與內容，並將其進行融合生成效果很好的藝術圖。

引言部分

將一幅影象的風格遷移到另一副影象可以看作是紋理遷移的一個分支。對於紋理遷移，它的目標是從源圖合成一種紋理同時施加一定的限制條件來保留目標影象內容的顯著性。在採用神經網路進行風格遷移之前有很多研究方法，但效率或者效果都不盡如人意。

以前傳統的方法普遍存在的弱點在於：

they use only low-level image features of the target image to inform the texture transfer.

即傳統方法只是使用了目標影象的低階特徵來進行轉移。但是完備的風格遷移演算法應該能提取目標影象的語義內容，之後再進行紋理遷移，從而達到即保留了目標影象的語義特徵又囊括了源影象的風格或者紋理。

以上的一個先覺條件是：

a fundamental prerequisite is to find image representations that independently model variations in the semantic image content and the style in which it is presented.

即找到影象的特徵:影象風格的特徵，影象內容的特徵。

在過去，想要把影象內容從影象風格分離是極其困難的。然而利用CNN(例如在目標檢測任務上訓練好的網路，因為這些網路具備一定的學習能力，能夠提取高層的特徵)。

It was shown that Convolutional Neural Networks trained with sufficient labeled data on specific tasks such as object recognition learn to extract high-level image content in generic feature representations that generalise across datasets and even to other visual information processing tasks.

接下來作者簡要介紹了CNN是如何處理影象的內容和風格的，作者提出了一種新穎的方法稱之為A Neural Algorithm of Artistic Style.

實際上該演算法可看作是通過CNN提取特徵進行紋理合成的一種方法。該模型依靠深層次的影象特徵，因此風格遷移方法也變為了神經網路的優化問題。該演算法總結下來就是：將一個基於CNN的引數化紋理提取模型和根據影象特徵反求影象的方法結合起來的一種演算法。

In fact, our style transfer algorithm combines a parametric texture model based on Convolutional Neural Networks with a method to invert their image representations

模型實現細節

作者對VGG-19 網路進行了稍許修改：

• scale the networks
• replacing the maximum pooling operation by average pooling
• do not use any of the fully connected layers

深層次影象特徵—影象內容特徵

瞭解CNN的學者都知道，一副影象$\vec x$在CNN的每一層都被編碼，如假設一個卷積層有$N_l$個卷積核，那麼就會輸出$N_l$個特徵圖，每個特徵圖大小為$M_l$，因此我們可以用矩陣$F_l$儲存每一層結果，矩陣大小為$N_l \times M_l$。那麼其每個矩陣元素$F_{ij}^l$的含義為：在第$l$層，第$i$個卷積核在位置$j$的結果。

為了對影象資訊進行視覺化，可以進行如下操作，首先有幾個變數定義：

• $\vec p$:原影象
• $\vec x$:初始化的白噪聲影象
• $P^l$:原影象的內容特徵
• $F^l$:白噪聲影象的內容特徵

然後對影象$\vec x$運用梯度下降，可以生成與原圖特徵相對應的人造圖，使用如下的損失函式：

$$L_{content}(\vec p,\vec x, l) = \frac{1}{2} \sum_{i,j}(F_{ij}^l-P_{ij}^l)^2$$
通過後向傳導可以計算出影象 $\vec x$的梯度，跟據梯度調整白噪圖( $\vec x$)直到其產生的特徵描述矩陣與原圖一致。

作者發現：對於在目標識別上訓練出來的CNN網路有這種潛質——它的層次越深，對物體資訊的描述就越明顯。即存在如下特性：

higher layers in the network capture the high-level content in terms of objects and their arrangement in the input image but do not constrain the exact pixel values of the reconstruction very much

即深層網路可以捕獲到高等級的影象內容，但卻不能對具體畫素值是否接近原影象進行很好限制，以此類比：

In contrast, reconstructions from the lower layers simply reproduce the exact pixel values of the original image

淺層次的網路則可以重構與原圖接近的畫素值，如下圖：

深層次影象特徵—影象風格特徵

為了獲取風格特徵(a representation of the style)，作者主要使用了用於捕捉紋理資訊的特徵空間。而這個特徵空間(feature space)之所以可以用來描述風格，在於它包含了不同卷積層間的聯絡：

This feature space can be built on top of the filter responses in any layer of the network. It consists of the correlations between the different filter responses

可以通過Gram矩陣計算得出：

$$G_{ij}^l = \sum_k F_{ik}^l F_{jk}^l$$
其中 $G_{ij}^l$表示第 $l$層中第 $i$個feature map與第 $j$個feature map的聯絡，即部分風格特徵。

通過獲取多個層之間的feature correlations，便可以獲得影象的總體風格特徵：

By including the feature correlations of multiple layers, we obtain a stationary, multi-scale representation of the input image.

同生成影象內容特徵的方法一樣，作者先初始化一個白噪聲影象$\vec x$，用$\vec a$代表風格影象，用$A^l$和$G^l$表示白噪聲影象和風格影象在第$l$層的風格特徵，通過讓梯度下降的方式來讓白噪聲影象逐漸逼近風格影象，損失函式如下：

$$E_l = \frac{1}{4N_l^2M_l^2}\sum_{i,j}(G_{ij}^l-A_{ij}^l)^2\\ L_{style}(\vec a,\vec x) = \sum_{l=0}^L w_lE_l$$
其中 wl

相關推薦

經典論文重讀---風格遷移篇(一)：Image Style Transfer Using Convolutional Neural Networks

核心思想 採用深層卷積網路提取影象風格特徵與內容，並將其進行融合生成效果很好的藝術圖。 引言部分 將一幅影象的風格遷移到另一副影象可以看作是紋理遷移的一個分支。對於紋理遷移，它的目標是從源圖合成一種紋理同時施加一定的限制條件來保留目標影象內容的顯著性。在採用神經網路進行風格遷移之

經典論文重讀---目標檢測篇（一）：RCNN

核心思想 Since we combine region proposals with CNNs, we call our method R-CNN: Regions with CNN features. 即將生成proposal的方法與cnn提取特徵進行結合

經典論文重讀---目標檢測篇（二）：Fast RCNN

核心思想 RCNN的缺點 R-CNN is slow because it performs a ConvNet forward pass for each object proposal, without sharing computation. SPPnet的缺

閱讀筆記：ImageNet Classification with Deep Convolutional Neural Networks

時間 ica gpu ati 做了 alexnet 小數 而且 響應 概要： 本文中的Alexnet神經網絡在LSVRC-2010圖像分類比賽中得到了第一名和第五名，將120萬高分辨率的圖像分到1000不同的類別中，分類結果比以往的神經網絡的分類都要好。為了訓練更快，使用了

YOLO前篇---Real-Time Grasp Detection Using Convolutional Neural Networks

論文地址：https://arxiv.org/abs/1412.3128 1. 摘要 比目前最好的方法提高了14%的精度，在GPU上能達到13FPS 2. 基於神經網路的抓取檢測 A 結構 使用AlexNet網路架構，5個卷積層+3個全連線層，卷積層

卷積神經網路影象風格轉移 Image StyleTransfer Using Convolutional Neural Networks

卷積神經網路影象風格轉移 Taylor Guo, 2017年4月24日 星期一 摘要 用不同的風格渲染影象的語義內容是一種比較難的影象處理任務。可以說，之前方法的一個主要侷限因素是缺乏明確表示語義資訊的影象表示，用於將影象內容從風格中分離。這裡用卷積神經網路的影象

Qt入門之基礎篇 ( 一 ) ：Qt4及Qt5的下載與安裝

mingw ins 第3版 點擊 調試 但我 關系 構建 eas 轉載請註明出處：CN_Simo. 導語： Qt是一個跨平臺的C++圖形界面應用程序框架。它提供給開發者建立圖形用戶界面所需的功能，廣泛用於開發GUI程序，也可用於開發非GUI程序。Qt很容易擴展，並

Oracle數據庫遷移方式一：impdp+dblink

oracle數據庫遷移 impdp+dblink 實驗環境：源庫： 192.168.2.200 SID=testdb目標庫：192.168.2.100 SID=testdb實驗目的：使用impdp+dblink的方式 將192.168.2.200數據庫上的jtrms用戶的所有數據導入到目標數據庫

node基礎篇一：node介紹、node http、node event 課堂（持續）

gpo 指定 輸出 begin func 就是 gif req let 最近工作一直很忙，沒時間更新，諒解，這次準備更新一次node教程，本課堂將持續更新，每周堅持更新一到兩章，希望對大家有一些小幫助吧： 一、首先什麽是node？ 1/Node.js 是一個基於 Chrom

Spring Cloud學習筆記 【篇一：分布式配置中心 Spring Colud Config】

16px gin war imp web項目 tps conf name request 一、簡介 Spring Cloud Config提供了在分布式系統的外部配置的客戶端支持。通過配置服務（Config Server）來為所有的環境和應用提供外部配置的集中管理。這些概念

QNAP 威聯通 NAS的個人使用經驗 篇一：裝置展示（TS-451）及基礎知識

  原作者：noskin  http://www.hdpfans.com/thread-487413-1-1.html（貌似這個也是轉載）   前言 NAS(Network Attached Storage)中文稱作“網路儲存器”，早期為企業級產品，在0

新司機的黑裙戰鬥機 篇一：硬體選購及開箱裝機

原文網址：https://post.smzdm.com/p/637833/        各位剁友好，我是身在長沙的一隻小剁，因為ID的緣故長沙剁友賜雅號——姐夫        國慶之前做了個手術，所以國慶假

JS 基礎篇(一)：建立物件的四種方式

目錄： 一、宣告一個物件的語法 直接宣告一個物件： var person1 = { name : "Jie", age: 23, say: function(){

HTTP協議篇(一)：多路複用、資料流

管道機制、多路複用 管道機制(Pipelining)  HTTP 1.1 引入了管道機制（Pipelining），即客戶端可通過同一個TCP連線同時傳送多個請求。如果客戶端需要請求兩個資源，以前的做法是在同一個TCP連線裡面，先發送A請求，然後等待伺服器做出迴應，收到後再

論文閱讀筆記三十一：YOLOv3: An Incremental Improvement

    論文源址：https://pjreddie.com/media/files/papers/YOLOv3.pdf 程式碼：https://github.com/qqwweee/keras-yolo3 摘要        本文針對YOL

Nginx學習篇一：將訪問路徑中的埠號去掉

mac安裝nginx 先安裝Homebrew，終端輸入brew install nginx，即可安裝成功。我安裝後的路徑是/usr/local/etc/nginx。此時nginx已經執行。輸入nginx -v命令可以看到安裝的nginx版本，如下 nginx version:

vnpy安裝準備篇一：阿里雲配置

準備系統的將vnpy部署在雲伺服器上，選擇阿里雲ecs，配置是windows server 2012 r2資料中心版，2cpu 4g記憶體，40g硬碟空間，1m專有頻寬（相當於200m普通頻寬，下載速度高於10m每秒，足夠個人使用者使用） 通過https://www.aliyun.com/阿里雲

華芸ADM3.2詳解 篇一：華芸NAS——AS6404T開箱，ADM3.2簡析

原文網址：https://post.smzdm.com/p/778533/       經常關注我測評的人都知道我是個尤其喜歡玩各種儲存裝置和NAS的人，這次我要分享的是華芸的AS6404T，這是我第一次用華芸的NAS，和以往我分享的NAS不一樣的是640

經典論文閱讀筆記——Feature篇（上）

心血來潮在CSDN開通了部落格，那就時不時寫點東西吧。。 先寫點Feature Extraction方面經典論文的閱讀筆記，按論文發表的時間順序 至於具體的原理就不過多記錄了，寫起來真的很麻煩，很多網上一搜就有，主要寫點心得體會吧 1.《Robust image corn

【基於WinForm+Access區域網共享資料庫的專案總結】之篇一：WinForm開發總體概述與技術實現

【小記】：最近基於WinForm+Access資料庫完成一個法律諮詢管理系統。本系統要求類似網頁後臺管理效果，並且基於區域網內，完成多客戶端操作同一資料庫，根據許可權不同分別執行不同功能模組。核心模組為級聯統計型別管理、資料庫諮詢資料扇形統計、樹的操作、諮詢資料的管理、手寫分頁、Excel資料