何謂無偏估計

就是用某個公式對取樣後的樣本進行統計,比如求樣本的方差,這個方差會隨著樣本的不同而有浮動,或者說通過樣本得到的方差是個隨機變數,多次取樣後可以對樣本的方差求期望,如果方差的期望中沒有變數則說明計算樣本方差的公式是合理的,換句話說：用這種公式進行估計沒有系統上的偏差，產生誤差是隨機因素造成的（跟你每次取樣的運氣有關）

前提

下面的證明過程以離散型隨機變數為例，用連續型也OK，沒有影響

樣本均值

樣本均值計算公式

這樣估計樣本均值是合理的嗎?通過計算樣本均值的期望進行檢驗

樣本均值無偏檢驗

因為x_j是隨機的，所以導致樣本均值是個隨機變數
採用這個公式計算樣本均值,樣本均值的期望就是真實期望μ,所以無偏!

樣本方差

樣本方差計算公式

樣本方差無偏檢驗

由此可以看出,通過上面的公式S² = 1/n(Σ(Xi-X拔)²)計算方差, 樣本方差的期望和樣本數量n有關,這樣就是有偏估計了,需要調整公式,調整為：

此時，樣本方差的期望為：

採用公式S² = 1/n(Σ(Xi-X拔)²)計算樣本方差,樣本方差的期望就是真實方差σ² ,所以無偏!

總結

• 樣本x_j是隨機的，進而導致樣本均值和樣本方差是隨機變數，所以要對樣本均值和樣本方差求期望進行無偏檢驗
• 樣本均值計算公式: X拔 = 1/n(ΣXi)
• 樣本方差計算公式: S² = 1/(n-1)(Σ(Xi-X拔)²)
• 真實均值：E[X] = μ ；真實方差Var[X]=E[(X-μ)²] = σ²
• 樣本均值的期望是μ，所以E[(X拔-μ)²] = Var(X拔)
• 貌似在最大似然估計中,樣本方差可以按照有偏的方法計算,因為樣本非常多時,(n-1)σ²/n ≈ σ²