該論文是09年的一篇3D人臉重建綜述文章。

目前的大部分3D人臉重建系統受限於3d掃描裝置的一些不足：
1、在掃描過程中要求一定的光線條件
2、無法從多個物體同時獲取3D資料
3、沒有反射的區域無法獲得正確資料（如頭髮）
4、無法實時
5、如果是鐳射掃描時，會傷到眼鏡
6、在掃描時以及後處理需要人的輔助
7、3D掃描裝置的大小和價格限制了現實生活中的應用

一個可選的方案是，直接從2D圖片重建出3D人臉。該方法簡單廉價，有比較大的應用市場。

概念術語

一個三維空間的曲面，可以用三角網格或者點雲來表示。
三角網格：M=(V,T)$M=(V,T)$,其中V=p=(x,y,z)$V$

=p=(x,y,z)是頂點,T=(pi,pj,pk)$T=(p_i,p_j,p_k)$是一個三角面。
range image：S=(x,y,f(x,y))$S=(x,y,f(x,y))$，也被稱為2.5D image，surface profiles，depth images，depth maps。
下圖是不同術語的一個可視例子。

3D人臉重建的一些主題

1、3D人臉資料集

3D重建演算法，需要有從裝置掃描得來的一些3D資料。學術界大多使用MPI和USF資料集。MPI資料集包括了200個掃描人臉，每個有7個視角。USF有218個掃描人臉。

3D人臉掃描資料集製作的原則：
a、樣本要足夠多
b、掃描人臉的頂點要足夠多，這樣才能準確的描述一張人臉
c、資料集應該包括各種型別的人臉，如性別、表情、年齡、人種等
d、應該公開

2、3D人臉對應

在實現3D人臉重建演算法之前，3D掃描人臉的一對一對應非常重要。一般對應可分為，剛性和非剛性。剛性，使用仿射變換矩陣，使得兩個3D人臉距離儘可能的近。而非剛性，是調整某一3D人臉，使其儘可能的於另一個3D人臉一樣。

ICP演算法是一種非常經典的剛性演算法。但在3D人臉重建中ICP是不合適的。

Basel Face Model用的是光流法的非剛性對齊。該方法在紋理變化太大的時候效果不是很好，比如有鬍子和沒有鬍子。因此需要比較多的條件約束（如必須沒有鬍子），同時使用平滑插值避免奇怪的結果。不過該方法能夠適用於不同的解析度。

Hutton使用了Thin Plate Splines方法。該方法要求至少有9個特徵點，根據這些特徵點用剛性變換初始化演算法。然後調整其中某一3D人臉，使其儘可能與另一個3D人臉對齊。對齊後相鄰最近的那些點被當做correspondences。

3、特徵檢測

2D影象的一些特徵點檢測。主要用來：
a、在model-based 3D重建（如BFM）中用來初始化3d人臉的位置資訊
b、定點陣圖片中側臉和正臉的特徵，這樣才能根據給定的人臉調整已經生成的3D人臉
c、在video-based 3D重建中初始化點的跟蹤
d、當人臉來自不同的視角時，能夠有利於配準。

4、一些假設

很多3d人臉重建演算法，都有一些重要的假設。
1、投影型別，包括正交投影和弱透視投影。正交投影不會改變投影后的大小，而弱透視投影會改變（會縮放）。這個假設，使得3d人臉位於圖片的中心，並且距離鏡頭很近。
2、反射率。固定反射率，表示該物體的外觀不因為視角的不同而產生變化。在3D人臉重建中，這個假設認為，人臉是平滑的，沒有油脂、傷疤等紋理不連續。
3、馮氏光照模型，只有一個環境光和一個方向光。在同時擁有室內和室外光時，該假設會失效。
4、對稱性狀/紋理。該假設認為，只要重建出了一半臉，另一半臉可以映象生成。
5、人臉方位約束。如，要求圖片中的人臉必須為正臉。

5、可變形3D模型

1、立體線稿模型
該模型用一些連續的頂點表示一個3D人臉，CANDIDE是利用該方案的一個例子。該模型可以通過Action Units進行變形。Action Unints包括了剛性變換引數、inter-individual變異引數以及within-person變異引數。該模型的一個主要缺點是頂點數太少，以至於重建出來的3D人臉不是太好看。可以增加頂點數，但是同時計算量也會增加。下圖是CANDIDE模型的一個例子。

2、統計模型
PCA-based模型是統計模型中應用廣泛的一個模型。統計模型是通過訓練集和臉部外貌達到重建目的。該方法需要同時為性狀和紋理各自訓練一個PCA模型，如下圖：
重建時可以使用如下公式：

X=Xmu+∑i=1mαixi$$X=X_{mu}+\sum _{i=1}^m{\alpha }_i{x}_i$$
其中X是重建的人臉，Xmu$X_{mu}$是平均臉，xi$x_i$是特徵向量，α$\alpha$是要學習的引數。m是選取的重要特徵向量個數。

3D人臉重建方法

3D人臉重建方法分為：example-based，stereo，video以及silhouette-based。example對應的是單張圖片重建，stereo對應的是兩張，video和silhouette對應的是多張圖片。

1、Example-based

Example-based 依賴於整個訓練資料來達到重建的目的，並且為使用一些於3D人臉結構有關的先驗資訊來引導重建。
簡單的來說，example-based方法包含兩個主要的步驟：分別是模型建立階段，和model fitting階段（從圖片重建出3D人臉）。在模型建立階段，利用訓練集可以訓練出一個引數化的人臉模型，該模型可以表示訓練集中的那些3D人臉。在model fitting階段主要包括如下步驟：
1、被重建的3D face的shape和texture引數初始化為0
2、根據shape和texture引數生成一個3D人臉
3、將3D人臉投影到2D影象的人臉中去
4、計算2D影象人臉和3D人臉投影得到的2D人臉相似度
5、用優化演算法優化shape和texture引數。
6、重複2到5步驟，直到給定2D人臉和3D人臉投影得到的人臉最相似。

上面的方法有不少變種。Atick給出了一個統計方法。首先他們將200張3D掃描人臉引數化成柱面座標，然後用剛性變換進行配準。然後用PCA計算訓練資料集的特徵值和特徵向量，這樣一個新的3D人臉可以用如下公式表示：

r(θ,l)=r0(θ,l)+∑iαiΨi(θ,l)$$r(\theta ,l)=r_0(\theta ,l)+\sum _i{\alpha }_i{\mathrm{\Psi }}_i(\theta ,l)$$
其中r0(θ,l)$r_0(\theta ,l)$是平均臉，Ψi${\mathrm{\Psi }}_i$和αi${\alpha }_i$分別是特徵向量和需要學習的引數。為了獲得好的重建效果，作者建議平均臉應該按照性別等進行分組。αi${\alpha }_i$引數的學習是通過共軛梯度優化方法最小化一個損失函式。該損失函式是，輸入圖片與用3D人臉渲染出來的圖片之間的距離。在處理過程，他們通過假設Lambertian surface性質，正交投影，固定反射率來簡化光源的位置，方向和強度。

Vetter和Blanz提出了一種與PCA不一樣的方法。在給定一些3D人臉模型後，利用光流法進行配準。每個訓練樣本都用一些頂點和相對應的紋理進行表示。對於一個新的3D人臉通過這些訓練樣本的一個線性加權重建而來，如下公式：

Snew=∑i=1MciSi,Tnew=∑i=1MbiTi$$S_{new}=\sum _{i=1}^M{c}_i{S}_i,T_{new}=\sum _{i=1}^M{b}_i{T}_i$$
其中Snew$S_{new}$和Tnew$T_{new}$分別表示新的3D人臉的shape和texture，Si$S_i$和Ti$T_i$表示訓練樣本的shape和texture，ci$c_i$和bi$b_i$表示要學習的引數。
該方法後來也被PCA代替，成了現在大家用的比較廣的Basel Face Model。該方法的重建通過analysis by synthesis的方法優化下面的損失函式：
E=∑x,y||Iinput(x,y)−Imo

相關推薦

3D【3】人臉重建:Image Based 3D Face Reconstruction: A Survey閱讀筆記

該論文是09年的一篇3D人臉重建綜述文章。 目前的大部分3D人臉重建系統受限於3d掃描裝置的一些不足： 1、在掃描過程中要求一定的光線條件 2、無法從多個物體同時獲取3D資料 3、沒有反射的區域無法獲得正確資料（如頭髮） 4、無法實時 5、如果是鐳射

3D【5】人臉重建:Learning the Multilinear Structure of Visual Data閱讀筆記

該論文主要內容是使用張量分解來表徵一個3D人臉，如下公式： 其中B(1)B(1) 是通過大量資料學習出來的，而A(m)A(m) 則是重構出 XX 的係數，⊙⊙ 是克羅內克積。 克羅內克積：一個3×1的向量和一個4×1的向量進行克羅內克積，會得到12×1

3D【4】人臉重建:Large Pose 3D Face Reconstruction from a Single Image via Direct Volumetric

該論文主要是用CNN直接重建3D人臉，而不是預測3DMM模型的引數，網路結構是漏斗網路（ HG）。論文提出了三種方案，第一種是直接從圖片重建，第二種是加入了人臉特徵點，第三種是多工（重建+人臉特徵點預測）。效果最好的是第二種方法。 值得注意的是，該論文不是直

3D【9】人臉重建:Joint3D Face Reconstruction and Dense Alignment with Position Map Regression

該論文同時預測人臉特徵點和3D mesh的頂點座標x，y，z。人臉特徵點沒什麼好說的，現在已經有很多成功的案例了。主要關注該論文是如何預測頂點座標的。其實大概想想，就能夠大致確定直接預測頂點座標是有不少困難的。首先是，你不能把所有的頂點拉成一個向量，用全連線層預

雲棲大會人臉識別閘機【技術亮點篇3】--人臉識別閘機擺閘可達500萬次

雲棲大會人臉識別閘機【技術亮點篇3】–人臉識別閘機擺閘可達500萬次 人臉識別檢票閘機，已經開始廣泛的應用在全國各大展覽會、會議等人員進出通道場所，依照其外觀型別也叫翼閘人臉識別閘機。檢測報告中顯示：全高轉閘為IP54，翼閘為IP54，翼閘可達500萬次，擺閘可達500萬次。 雲棲大會

手機管理應用研究【3】—— 垃圾清理篇

dma 系統垃圾 存在 分析 獲得 /dev/ 進行 指定 相互 歡迎轉載。轉載請註明：http://blog.csdn.net/zhgxhuaa 說明 在總篇中提到過垃圾清理，本篇將著重介紹針對緩存、卸載殘留、無用數據等“靜態內容”的清理，有關於系統進程的清理以

js 技巧 （十）廣告JS代碼效果大全 【3】

lpad log gid cond absolute dex offset ima disable 3.[允許關閉] 與前面兩個代碼不同的是，廣告圖下方增加了一個圖片按紐，允許訪客點擊關閉廣告圖片，下面文本框中就是實現效果所需代碼： var delta=0.015;

【LeetCode】048. Rotate Image

swap cat int directly inpu 對角線 leet bsp log 題目： You are given an n x n 2D matrix representing an image. Rotate the image by 90 degrees (c

VSTO：使用C#開發Excel、Word【3】

定義 應用程序 導致 編程 生活 成功 員工 無法使用 我們 前言在2002年，Visual Studio .NET和.NET Framework的第一個版本即將完成。我們中的幾個意識到微軟的.NET將會錯過Office，除非我們做了一些事情。 以前曾經是Visual Ba

Java的基本程序設計結構【3】

字符常量 signed bsp 表示 rim img sign 字符 enter 數據類型 　　在Java 中，一共有8 種基本類型（primitive type），其中有4 種整型、2 種浮點類型、1 種用於表示Unicode 編碼的字符單元的字符類型char和1 種用於

Fiddler抓包【3】_設置斷點修改

狀態 spa href enter resp ons eth 等於 disabled 1、 斷點修改Request 1.1、Request全部中斷 設置中斷：Rules---> Automatic Breakpoints--->Before Requests 取

DOM案例【3】密碼強度檢查案例

eight order doc .org 註冊 毫秒 log switch pre <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/

【3】facebook大數據搜索庫faiss使用——選擇Index

算法 更多 ear with 都是 就是 衡量 k-means聚類 元素 選擇Index並不明顯，有幾個問題可以幫助選擇Index。 是否需要精確結果 使用Flat。 IndexFlat2是唯一能保證精確結果的Index。它為其他Index提供了對比標準。它不會壓縮向量，不

flask第十篇——url_for【3】

Coding spa deb 什麽 onf media bsp rgs 錯誤 繼續url_for的知識點 # coding: utf-8from flask import Flask, url_forimport flask app = Flask(__name_

flask第十九篇——模板【3】

方法 base64 spa htm 復制 url emp ati str 請關註微信公眾號：自動化測試實戰 今天我們繼續模板的知識，現在我們增加字典的復雜度，這個時候在render_template第二個參數可以傳**title，以後我們會用**context代替原來的ti

【helloworld】-微信小程序開發教程-入門篇【3】

window 學習 視圖 小程序教程 href htm mtv 傳送門 lar 1. 開篇導言 本節目標：通過上一節的講解，相信大家對小程序框架MINA有了初步了解。接下來將會對其進行深入介紹。 目標用戶：無編程經驗，但對微信小程序感興趣的同學。 學習目標：了解M

大眾點評SSM框架【3】

avi mage cat gif dbeaver 分享圖片 技術分享 info src 【摘要】 因為沒有預置數據，導致項目報錯，DBeaver導入數據（還是Navicat比較好用）。 【導入數據】 【重啟項目】 大眾點評SSM框架【3】

Learing-Python【3】：Python中的基本運算符

連接 鏈式 優先 bubuko 圖片 比較運算 我只 還需要 其中 一、算數運算 二、比較（關系）運算 比較運算只能在同類型之間進行，其中 int 與 float 同屬於數字類型 三、賦值運算 1、增量賦值 　　 2、鏈式賦值 　　

Grunt學習筆記【3】---- filter詳解

add 行處理 class 一個 特殊 col filter詳解 很多 https 本文主要講配置任務中的filter，包括使用默認fs.Stats方法名和自定義過濾函數。 通過設置filter屬性可以實現一些特殊處理邏輯。例如：要清理某個文件夾下的所有空文件夾，這時使用c

linux基礎學習【3】

特殊 權限 mas 所屬組 term 執行者 col 文件的權限 系統 一.umask 命令 umask 臨時設定系統保留的權限（即創建目錄時不給予的權限） 例：umask 077 設定對當前用戶保留077權限（創立文件時賦予700權限） 配置文件說明