1 樣本均值

　　設 $X_{1}, X_{2}, \cdots, X_{n}$ 為總體 $X$ 的樣本，樣本容量為 $n$ , 則樣本均值為

　　　　$\bar{X}=\frac{1}{n} \sum \limits _{i=1}^{n} X_{i}$

　　用樣本均值 $\bar{X}$ 來估計總體的期望$\mu$，$\bar{X}$是圍繞$\mu$左右波動的，即多次取樣計算出來的統計量$\bar{X}$有的落在$\mu$左邊，有的落在$\mu$右邊，由於$\bar{X}$落在$\mu$左右兩側的情況是均勻的，即$E(\bar{X})=\mu$，所以$\bar{X}$就是$\mu$的無偏估計。

　　樣本均值能夠保持比較好的無偏性是因為它的計算過程本質還是一個線性過程，這個就是無偏。

2 期望

離散型

• 如果隨機變數只取得有限個值或無窮能按一定次序一一列出，其值域為一個或若干個有限或無限區間，這樣的隨機變數稱為離散型隨機變數。
• 離散型隨機變數的一切可能的取值 $x_{i}$ 與對應的概率 $p\left(x_{i}\right)$ 乘積之和稱為該離散型隨機變數的數學期望 (若該求和絕對收斂），記為 $E(x) $。 它是簡單算術平均的一種推廣，類似加權平均。

　　離散型隨機變數 $X$ 的取值為 $ X_{1}, X_{2}, X_{3}, \ldots, X_{n}$，$p\left(X_{1}\right), p\left(X_{2}\right), p\left(X_{3}\right), \ldots, p\left(X_{n}\right) $ 為 $ X$ 對應取值的概率, 可理解為資料 $ X_{1}, X_{2}, X_{3}, \ldots, X_{n}$ 出現的頻率 $ f\left(X_{i}\right) $, 則:

　　　　$E(X)=X_{1} * p\left(X_{1}\right)+X_{2} * p\left(X_{2}\right)+\ldots+X_{n} * p\left(X_{n}\right)$

　　　　$\quad \quad\quad=X_{1} * f\left(X_{1}\right)+X_{2} * f\left(X_{2}\right)+\ldots+X_{n} * f\left(X_{n}\right)$

　　　　$E(X)=\sum \limits _{k=1}^{\infty} x_{k} p_{k}$

連續型

　　設連續性隨機變數 $X$ 的概率密度函式為 $f(x)$ , 若積分絕對收斂，則稱積分的值 $\int_{-\infty}^{\infty} x f(x) d x$ 為隨機變數的數學期望, 記為$\mathrm{E}(\mathrm{X})$。

　　　　$E(X)=\int_{-\infty}^{\infty} x f(x) d x$

　　若隨機變數 $X$ 的分佈函式 $F(x)$ 可表示成一個非負可積函式 $f(x)$ 的積分，則稱 $X$ 為連續性隨機變數， $f(x)$ 稱為 $X$ 的概率密度函式 (分佈密度函式)。數學期望$E(X)$完全由隨機變數$X$的概率分佈所確定。若$X$服從某一分佈, 也稱$E(X)$是這一分佈的數學期望。

定理

　　若隨機變數 $Y$ 符合函式 $Y=g(x)$ ，且 $\int_{-\infty}^{\infty} g(x) f(x) d x$ 絕對收斂, 則有:

　　　　$E(Y)=E(g(X))=\int_{-\infty}^{\infty} g(x) f(x) d x$

　　該定理的意義在於: 我們求 $E(Y) $時不需要算出 $Y$ 的分佈律或者概率分佈, 只要利用 $X$ 的分佈律或概率密度即可。
　　上述定理還可以推廣到兩個或以上隨機變數的函式情況。
　　設 $Z$ 是隨機變數 $ X 、 Y$ 的函式 $ Z=g(X, Y) \quad(\mathrm{g}$ 是連續函式 ) , $Z$ 是一個一維隨機變數，二維隨機變數 $ (\mathrm{X}, \mathrm{Y})$ 的概率密度為 $ f(x, y)$ , 則有:

　　　　$E(Z)=E[g(X, Y)]=\int_{-\infty}^{\infty} \int_{-\infty}^{\infty} g(x, y) f(x, y) d x d y$

性質

　　$E(C)=C$
　　$E(C X)=C E(X)$
　　$E(X+Y)=E(X)+E(Y)$
　　當 $X$ 和 $Y$ 相互獨立時, $ \quad E(X Y)=E(X) E(Y)$

3 方差

　　在統計描述中，方差用來計算每一個變數（觀察值）與總體均數之間的差異。為避免出現離均差總和為零，離均差平方和受樣本含量的影響，統計學採用平均離均差平方和來描述變數的變異程度。總體方差計算公式：

　　　　$\sigma^{2}=\frac{\sum(X-\mu)^{2}}{N}$

　　其中 $\sigma^{2}$ 為總體方差，$X$ 為變數，$\mu$ 為總體均值，$N$ 為總體例數。

　　在概率分佈中，設 $X$ 是一個離散型隨機變數，若 $E \left((X-E(X))^{2}\right)$ 存在，則稱 $E(X-E(X))^{2} )$ 為 $X$ 的方差，記為 $D(X)$，$\operatorname{Var}(X) $ 或 $D X$，其中 $E(X) $是 $X$ 的期望值， $X$ 是變數值，公式中的 $E$ 是期望值 expected value 的縮寫，意為“隨機變數值與其期望值之差的平方和"的期望值。離散型隨機變數方差計算公式:

　　　　$D(X)=E\left((X-E(X))^{2}\right)=E\left(X^{2}\right)-E^{2}(X)$

　　當 $D(X)=E\left((X-E(X))^{2}\right)$ 稱為變數 $X$ 的方差，而 $\sigma=\sqrt{D(x)}$ 稱為標準差 (或均方差) 。 它與 $X$ 有相同的量綱。 標準差是用來衡量一組資料的離散程度的統計量。

　　對於連續型隨機變數 $ X$ , 若其定義域為 $ (a, b) $，概率密度函式為 $ f(x)$ ， 連續型隨機變數 $X $方差計算公式:

　　　　$D(X)=(x-\mu)^{2} f(x) d x$

　　方差刻畫了隨機變數的取值對於其數學期望的離散程度。 (標準差、方差越大, 離散程度越大)
　　若 $X$ 的取值比較集中，則方差 $ D(X)$ 較小，若 $X$ 的取值比較散，則方差 $ D(X)$ 較大。
　　因此， $ D(X) $ 是刻畫 $ X$ 取值分散程度的一個量，它是衡量取值分散程度的一個尺度。

4 協方差

　　協方差定義：在概率論和統計學中，協方差用於衡量兩個變數的總體誤差。而方差是協方差的一種特殊情況，即當兩個變數是相同的情況。
　　期望值分別為 $E[X]$ 與 $E[Y]$ 的兩個實隨機變數 $X$ 與 $Y$ 之間的協方差 $Cov(X,Y)$ 定義為：

　　　　$Cov(X,Y)=E[\ (X-E[X])(Y-E[Y])\ ]$

　　　　$\quad \quad\quad \quad \quad=E[XY]-2E[Y]E[X]+E[X]E[Y] $

　　　　$\quad \quad\quad \quad \quad=E[XY]-E[X]E[Y] $

　　其中$E[X]=\mu_x,E[Y]=\mu_y$，從直觀上來看，協方差表示的是兩個變數總體誤差的期望。
性質：

　　若兩個隨機變數 $X$ 和 $Y$ 相互獨立，則 $E[(X-E(X))(Y-E(Y))]=0$，因而若上述數學期望不為零，則 $X$ 和 $Y$ 必不是相互獨立的，亦即它們之間存在著一定的關係。
　　協方差與方差關係：

　　　　$D(X+Y)=D(X)+D(Y)+2Cov(X，Y) $
　　　　$D(X-Y)=D(X)+D(Y)-2Cov(X，Y) $

　　協方差與期望值關係：

　　　　$Cov(X，Y)=E(XY)-E(X)E(Y) $

　　協方差性質：

1. 1. $Cov(X，Y)=Cov(Y，X) $
   2. $Cov(aX，bY)=abCov(X，Y)，(a，b是常數)$
   3. $Cov(X_1+X_2，Y)=Cov(X_1，Y)+Cov(X_2，Y) $
   4. $Cov(X+a,Y+b)=Cov(X,Y) $

　　由協方差定義，可以看出 $Cov(X，X)=D(X)，Cov(Y，Y)=D(Y)$ 。

5 協方差矩陣

　　矩陣中的資料按行排列與按列排列求出的協方差矩陣是不同的，預設資料是按行排列。即每一行是一個observation(or sample)，那麼每一列就是一個隨機變數。

　　　　$X_{m \times n}=\begin{bmatrix}a_{11} & a_{12} & ... & a_{1n} \\a_{21} & a_{22} & ... & a_{3n} \\... & ... & ... & ... \\a_{m1} & a_{m2} & ... & a_{nn}\end{bmatrix}=[c_1,c_2,...,c_n]$

　　協方差矩陣：

　　　　$covMatrix=\frac{1}{m-1} \begin{bmatrix}cov(c_{1},c_{1}) & cov(c_{1},c_{2}) & ... & cov(c_{1},c_{n}) \\cov(c_{2},c_{1}) & cov(c_{2},c_{2}) & ... & cov(c_{2},c_{n}) \\... & ... & ... & ... \\cov(c_{n},c_{1}) & cov(c_{n},c_{2}) & ... & cov(c_{n},c_{n})\end{bmatrix}$

　　協方差矩陣的維度等於隨機變數的個數，即每一個 observation 的維度。在某些場合前邊也會出現$\frac{1}{m}$，而不是 $\frac{1}{m-1}$ 。
　　求解協方差矩陣的步驟
　　例子：矩陣 $X$ 按行排列：

　　　　$X= \begin{bmatrix} 1 & 2 & 3\\ 3 & 1 &1 \end{bmatrix}$

　　求每個維度的平均值

　　　　$\bar{c}=\begin{bmatrix} 2 & 1.5 &2 \end{bmatrix}= \begin{bmatrix} \bar{c_1} & \bar{c_2} & \bar{c_3} \end{bmatrix}$

　　將 $X$ 的每一列減去平均值

　　　　$X=\begin{bmatrix} -1 & 0.5 & 1\\ 1 & -0.5 & -1 \end{bmatrix}$

　　其中：

　　　　$x_{ij}=x_{ij}-\bar{c_j}$

　　計算協方差矩陣

　　　　$covMatrix=\frac{1}{m-1}X^TX=\frac{1}{2-1}\begin{bmatrix} 2 & -1 & -2\\ -1 & 0.5 & 1\\ -2 & 1 & 2 \end{bmatrix}$

6 相關係數

　　協方差作為描述 $X$ 和 $Y$ 相關程度的量，在同一物理量綱之下有一定的作用，但同樣的兩個量採用不同的量綱使它們的協方差在數值上表現出很大的差異。為此引入 相關係數 概念：

　　定義：

　　　　$\rho _{xy}=\frac{Cov(X,Y)}{\sqrt{D(X)} \sqrt{D(Y)}} $

　　定義：若 $\rho _{xy}=0$，則稱 $X$ 與 $Y$ 不線性相關。即 $\rho _{xy}=0$ 的充分必要條件是 $Cov(X，Y)=0$ ，亦即不相關和協方差為零是等價的。

看完點個關注唄！！_{（總結不易）}

$

因上求緣，果上努力~~~~ 作者：希望每天漲粉，轉載請註明原文連結：https://www.cnblogs.com/BlairGrowing/p/15416409.html