轉自：https://blog.csdn.net/xiao_lxl/article/details/72730000

學過概率統計的孩子都知道，統計裡最基本的概念就是樣本的均值，方差，或者再加個標準差。首先我們給你一個含有n個樣本的集合，依次給出這些概念的公式描述，這些高中學過數學的孩子都應該知道吧，一帶而過。

很顯然，均值描述的是樣本集合的中間點，它告訴我們的資訊是很有限的，而標準差給我們描述的則是樣本集合的各個樣本點到均值的距離之平均。以這兩個集合為例，[0，8，12，20]和[8，9，11，12]，兩個集合的均值都是10，但顯然兩個集合差別是很大的，計算兩者的標準差，前者是8.3，後者是1.8，顯然後者較為集中，故其標準差小一些，標準差描述的就是這種“散佈度”。之所以除以n-1而不是除以n，是因為這樣能使我們以較小的樣本集更好的逼近總體的標準差，即統計上所謂的“無偏估計”。而方差則僅僅是標準差的平方。

為什麼需要協方差？

上面幾個統計量看似已經描述的差不多了，但我們應該注意到，標準差和方差一般是用來描述一維資料的，但現實生活我們常常遇到含有多維資料的資料集，最簡單的大家上學時免不了要統計多個學科的考試成績。面對這樣的資料集，我們當然可以按照每一維獨立的計算其方差，但是通常我們還想了解更多，比如，一個男孩子的猥瑣程度跟他受女孩子歡迎程度是否存在一些聯絡啊，嘿嘿~協方差就是這樣一種用來度量兩個隨機變數關係的統計量，我們可以仿照方差的定義：

來度量各個維度偏離其均值的程度，標準差可以這麼來定義：

協方差的結果有什麼意義呢？如果結果為正值，則說明兩者是正相關的(從協方差可以引出“相關係數”的定義)，也就是說一個人越猥瑣就越受女孩子歡迎，嘿嘿，那必須的~結果為負值就說明負相關的，越猥瑣女孩子越討厭，可能嗎？如果為0，也是就是統計上說的“相互獨立”。

從協方差的定義上我們也可以看出一些顯而易見的性質，如：

協方差多了就是協方差矩陣

上一節提到的猥瑣和受歡迎的問題是典型二維問題，而協方差也只能處理二維問題，那維數多了自然就需要計算多個協方差，比如n維的資料集就需要計算 n! / ((n-2)!*2) 個協方差，那自然而然的我們會想到使用矩陣來組織這些資料。給出協方差矩陣的定義：

這個定義還是很容易理解的，我們可以舉一個簡單的三維的例子，假設資料集有三個維度，則協方差矩陣為

可見，協方差矩陣是一個對稱的矩陣，而且對角線是各個維度上的方差。