影象跟蹤與識別-TLD學習筆記，TLD跟蹤演算法詳解

半自主單目標跟蹤人工跟蹤：每一幀都需要人互動輸入主動跟蹤：需要目標的先驗資訊初始化半主動跟蹤：第一幀需要人互動輸入去初始化跟蹤程式

1 Tracking： 在這個方法中，沒有目標的先驗資訊，需要外部的初始化。在本文的方法中，初始化是通過在第一幀進行人為的干預。首先，在第t幀的邊界框中構造一個等距的點集，在左邊的影象中顯示。接下來，使用Lucas和Kanade的方法對每一個點的光流進行估計。這個方法，對於位於拐角的點並且同一區域沒有跟蹤點是最合適的。通過使用Lucas-Kanade方法的資訊之外，還引用了兩個不同的誤差指標，正則化交叉相關，和前向後向誤差，去過濾掉錯誤的跟蹤點。如果所有的點的FBerror的均值如果大於閾值，就會認為跟蹤產生了漂移整個遞迴的跟蹤會被全部停止。最後,剔除掉錯誤的跟蹤點和不好的點，剩下的點被用於估計下一陣目標框的位置，通過使用一個位移和尺度的模型。 1.1 光流法的估計：

Lucas and Kanade 提出光流法，基於以下 三個假設： 1，光照不變（亮度）

d是位移向量 2，小動作幅度（temporal persistence）於是有以下近似公式：

所以位移向量能這樣近似估計：

3.空間協同性，在一個畫素的附近小視窗內，所有畫素協同運動，通過這個假設，d可以通過最小化（2.4）：

2.4閉式解：

1.2 誤差測量： 三個指標 1。G矩陣的兩個的特徵值：在兩個方向上都有梯度時，只有當這兩個特徵值足夠大時這個G矩陣才是確實可靠地可逆的。

2。前向後向誤差， p是原圖的點， LK（p）是進行一次光流計算，p兩飄是點經過前向和後向的光流傳導後的點，如果向前向後之後這個點的距離與原點差距很小（歐式距離）那麼認為這個點適合作為光流法進行計算位移向量計算。

3。空間協同性: 第三個誤差基於圖塊附近（P）以及跟蹤結果的附近（P一飄）的相似程度。另外，兩個圖塊p1和p2的相似程度是用正則化交叉相關（NCC）來衡量的：

u1，u2，theta1，theta2是均值和標準差。ncc越大越相似。 1.3 平移模型： medFB：所有前後向誤差的均值， medNCC：所有近似性（NCC）的平均值。幾個規則：只使用小於medFB並且大於medNCC的點去進行FB計算。如果medFB大於thetaFB閾值，那麼終止跟蹤，認為跟蹤失敗。 演算法流程 ：

2 Detection： 當遞迴跟蹤器自身無法維持目標模型進而無法從失敗中恢復，目標檢測就會讓我們能夠重新初始化。使用滑窗的方法進行全域性搜尋。一個解析度640x480的圖片，可以生成50000到200000個視窗，每個寬口都會單獨進行目標檢測。每一個次級視窗都會進行串聯式的四個階段的篩選，串聯機制就是為了剔除掉不相關的次級視窗。第一階段：背景差分，剔除掉屬於背景的次級寬口，把搜尋區域限制在前景範圍（需要一個背景的模型，如果沒有這步會跳過）。第二階段：方差抑制，剔除掉方差小於閾值的視窗。第三階段：隨機撅，一個整合分類器第四階段：相似性檢測模板匹配，基於正則化相關係數。

2.1 滑窗方法： 首先呢，一個輸入影象的次級視窗有很多個，量級巨大，並且其數量級的增長呈n的4次方增長（nxn尺寸）。為了限制次級視窗的數量，建立這樣一個亞空間：R 兩個相鄰的次級視窗在邊長上的增量dx and dy，=1/10初始視窗邊長。然後尺度因子：s = 1.2a,a ∈ {−10. . .10}

w,h是初始框的邊長，n，m是影象的寬高例如：對於w=80,h=60，一個VGA影象中的次級視窗的數量是：146190個。每個亞視窗獨立測試（多執行緒）。 2.2 前景檢測： 背景去除可以加速程式，分為4步： 1。Ibg and I的絕對距離，Ibg是背景圖。

2。Ibinary：閾值設定為16，大於100是前景置1，小於16是背景置0，生成一個二進位制影象Ibinary。

3，標籤演算法：在二進位制影象中，為1的稱為白畫素，要把白畫素連線成為元件，進而找到前景所在的元件，然後用一個最小的框把前景元件框起來。連線白畫素點為元件的過程使用了標籤演算法。

4。最小前景邊框：在找到所有可能是前景的元件之後，還需要剔除掉比較小的元件，找到最主要的元件，然後用一個最小的框把前景元件框起來。

2.3 方差濾波器: 在這個部分，我們提出了一個機制: 使用積分圖去計算一個亞視窗的方差，如果一個圖塊的方差低於閾值theta2min，這個圖塊就會被去除。這個機制能快速地去除背景元素。但是不能區分不同的目標。計算反差步驟: 一個影象塊B被看成一個一維的向量。並且，第i個畫素用xi符號去表示。對於影象來說，方差的公式是:

n是圖塊畫素總數，u是:

3.4式子的一個替代公式是:

如果直接使用3.6式子進行方差計算，對於n個畫素的圖塊，需要進行n次記憶查詢，並且對於有重合的兩個圖塊來說，計算還會重複。所以提出一個新方法，把原圖I轉換成積分圖I'。這樣只需要進行8次記憶查詢。積分圖I':

積分圖的性質:可以被分解為四部分:

那麼對於某個圖塊(ABCD)中畫素的總和,它可以使用積分圖來計算:

式子中的B是圖塊框B.(x y w h) 用一維積分圖的方法3.9(3.10)可以用來計算3.6式子中的u=I'(B)/n. 然後3.6中還有一部分∑xi²同樣也可以使用類似的方法，二維積分圖。

最終可以使用3.13式子，利用一維和二維積分圖快速計算圖塊B方差。

ABCD內畫素的總和的計算步驟:從左上原點加到D，減去原點到B減去原點到C，加上原點到A. 通過積分圖進行四次查詢就可以完成計算。 2.4 整合分類器: 隨機厥: 單個撅的步驟：

隨機撅步驟舉例，在演算法跟蹤初始化的時候，在隨機生成S個（使用特徵的個數）畫素對位置（di,1 and di,2），初始化之後這些畫素對位置就不再變化了（相當於一個隨機生成的二進位制特徵提取）人，如上面例子所示：對於 單個撅來說： 1。初始化，隨機選定4個（ S=4，使用特徵的個數）畫素對位置，（di,1 and di,2）. 2。亮度對比，對比每個畫素對位置對應的畫素的亮度.如果I(di,1)大於I(di,2)，者置1，否則置0

3。例子中是1101，翻譯為十進位制為F=13（特徵值），S是特徵的個數（ S=4），這會決定特徵值F的最大值 2S −1.。 4。檢索概率，特徵值F是用來檢索概率 P(y = 1 | F) ，y=1表示事件：當前亞視窗中含有正樣本。具體的概率計算方法會在第4部分講解。 5。隨機撅正樣本概率分數：

PFk是P-約束在當前特徵提取中應用的次數，NFk是N-約束應用的次數。概率分數具體的計算將在Learning中詳細講解。 單個撅的演算法流程：

維數災難：如果只使用單個撅，不得不使用大量的特徵（大的S），但是與此同時訓練樣本的需求量同時也會增加，這個問題叫做維數災難，具體解決方法被Amit and Geman 發現了，通過使用多個撅，最後把結果進行平均，這樣就同樣能獲得滿意的結果。對於TLD來說，使用了 3個撅 ，最後平均值（Ppos置信值）的計算公式：