1、  對稀疏表示的理解

稀疏訊號定義為：若訊號僅有限非零取樣點，而其他取樣點均為零（或接近於零），則稱訊號是稀疏的。

但是自然影象訊號中，可以稀疏表示的情況是極少的，因為儘管有的地方值很小，但是並不為零，因此另一種概念“可壓縮的”就被提出來，其定義是：如果在不丟失全部（大部分）資訊的前提下，訊號經過任何變換後是稀疏的，也就是說訊號再某個變換域是稀疏的，那麼可以稱之為可壓縮訊號，自然影象訊號多數是可壓縮訊號。

利用可壓縮訊號的概念，那麼大多數自然訊號可以由有限個特徵線性表達：

這裡，是用來表達訊號的特徵原子，是稀疏編碼。

如上圖所示，D是訓練好的過完備字典，通過稀疏編碼，可以得到稀疏向量x，在重建過程中，利用字典D和稀疏向量x相乘，就可以用對應的第3,7,14個原子來線性表示原影象，稀疏向量x中不為0的個數是有限的，因此其表示是稀疏的。

稀疏表示在實現中的細節問題：

a.        在稀疏表示的過程中，影象首先被向量化，然後再用有限個原子向量稀疏表示，最後再把重構的影象reshape為二維影象

b.        字典的原子個數是自定義的，但是為了構造過完備的字典，要求字典是一個矮矩陣，即行數小於列數，字典的行數，即每個原子的維數是影象patch的行數乘以列數，即patch的畫素數。

c.        對於全域性的稀疏表示來說，字典在訓練的時候，使用時訓練樣本是從觀測影象中分割出來的一個一個的patch，所有的patch訓練一個字典，用於訓練字典的patch也是經過向量化以後，作為列向量，構成訓練樣本的矩陣

d.         為什麼要分塊？

我覺得是因為字典的原子是向量化的，其維數是影象塊的行列積，而一幅影象的行列積是很大的，因此原子用分塊的patch來表示，可以大大降低字典原子的維數，此外，用重疊的patch，有利於訓練集的豐滿，這樣訓練出來的字典才更加的準確。

稀疏表示能夠去噪的原因：可以認為含噪（觀測）影象是由無噪（原始）影象和噪聲合成的影象，而觀測影象被認為是可稀疏的，即可以通過有限個原子來表示，而噪聲是隨機的不可稀疏的，即不可以通過有限個原子表示，因此通過觀測影象去提取影象的係數成分，再用這些稀疏成分來重構影象，在這個過程中，噪聲被處理為觀測影象和重構影象之間的殘差，在重構過程中殘差被丟棄，從而達到去噪的效果。

稀疏表示又稱為稀疏編碼，這個過程可以被視為特徵提取的過程，可以看作把目標訊號投影到一組非正交的基構成的空間中，而在每個基上投影的係數，就是稀疏編碼。這組非正交的基向量中，每一個基向量被稱為一個原子，這些原子（列向量）可以構成一個超完備的字典。

那麼，為什麼要使用過完備的字典，或者說要在非正交的空間進行投影呢？

對於一組正交基而言，它們可以準確而唯一地表示空間中的任何向量，而且這些向量間沒有冗餘（因為正交），正式因為嚴格的正交限制，因此正交基的展開簡單，但是稀疏性不夠理想，因為嚴格正交的基往往只能表示影象的某一個特徵而不能夠同時表示其他特徵，因此正交基的稀疏性不及非正交基（過完備字典）。

2、  稀疏表示模型

稀疏表示的模型有3種，分別是：

1)        利用拉格朗日乘子將兩個約束條件合為一個不等式：

2)        固定稀疏係數的個數，優化最小誤差：

3)        固定最小誤差，優化稀疏係數個數：

3、  常見的稀疏表示方法

稀疏表示可以分為兩個步驟：稀疏編碼和字典學習

1)        稀疏編碼：在進行稀疏編碼的時候，字典D是固定的

在進行優化的時候，0範數的優化是一個NP難題，稀疏編碼主要分為了3中主流的演算法：

a.        針對0範數的貪婪演算法：MP（匹配追蹤）演算法，OMP（正交匹配追蹤）演算法，梯度追蹤演算法，此外還有ROMP（正則化正交匹配追蹤）演算法，Stage-wise OMP演算法等。

這些貪婪演算法通過每次迭代時選擇一個區域性最優解來逐步逼近原始訊號，MP演算法運算量相對於BP演算法計算量減少，但是容易陷入區域性最優解，而後來提出的OMP演算法在MP 的基礎上，將選中的原子經Gram-Schmidt正交化處理後，然後再將原始訊號在正交化的原子構成的子空間中投影，OMP可以得到全域性最優解並且收斂速度比MP更快。

b.        凸鬆弛法：BP（基追蹤）演算法，GPSR（梯度投影稀疏重構）

這些凸鬆弛演算法是針對範數最小提出的線性規劃最優演算法，這種演算法需要的觀測訊號數量最少，但是計算量大

c.        組合演算法：就是將粒子群演算法等結合到貪婪演算法或者凸鬆弛演算法中

這種演算法組合要求訊號的取樣支援通過分組測試快速重建，它的複雜度低，但是收斂性還沒有得到證明

2)        字典學習：傳統的小波變換，曲波變換，DCT變換等，都是使用的固定的正交字典，這種字典和影象本身的統計特性沒有關聯，因此其表示的稀疏性往往得不到保證，而學習的字典是提取的資料特徵是依賴於原始資料的統計特徵的，因此在表示的時候，其稀疏性遠遠優於固定字典

常見的字典學習的方法有MOD（最優方向）演算法，K-SVD演算法，Online演算法，最大後驗概率演算法等。