1. 程式人生 > >Unbiased Estimation 無偏估計與分母N-1

Unbiased Estimation 無偏估計與分母N-1

何謂無偏估計

就是用某個公式對取樣後的樣本進行統計,比如求樣本的方差,這個方差會隨著樣本的不同而有浮動,或者說通過樣本得到的方差是個隨機變數,多次取樣後可以對樣本的方差求期望,如果方差的期望中沒有變數則說明計算樣本方差的公式是合理的,換句話說:用這種公式進行估計沒有系統上的偏差,產生誤差是隨機因素造成的(跟你每次取樣的運氣有關)

前提

下面的證明過程以離散型隨機變數為例,用連續型也OK,沒有影響
1.png

樣本均值

樣本均值計算公式

2.png
這樣估計樣本均值是合理的嗎?通過計算樣本均值的期望進行檢驗

樣本均值無偏檢驗

3.png
因為x_j是隨機的,所以導致樣本均值是個隨機變數
採用這個公式計算樣本均值,樣本均值的期望就是真實期望μ,所以無偏!

樣本方差

樣本方差計算公式

4.png

樣本方差無偏檢驗

5.png
由此可以看出,通過上面的公式S² = 1/n(Σ(Xi-X拔)²)計算方差, 樣本方差的期望和樣本數量n有關,這樣就是有偏估計了,需要調整公式,調整為:
6.png
此時,樣本方差的期望為:
7.png
採用公式S² = 1/n(Σ(Xi-X拔)²)計算樣本方差,樣本方差的期望就是真實方差σ² ,所以無偏!

總結

  • 樣本x_j是隨機的,進而導致樣本均值和樣本方差是隨機變數,所以要對樣本均值和樣本方差求期望進行無偏檢驗
  • 樣本均值計算公式: X拔 = 1/n(ΣXi)
  • 樣本方差計算公式: S² = 1/(n-1)(Σ(Xi-X拔)²)
  • 真實均值:E[X] = μ ;真實方差Var[X]=E[(X-μ)²] = σ²
  • 樣本均值的期望是μ,所以E[(X拔-μ)²] = Var(X拔)
  • 貌似在最大似然估計中,樣本方差可以按照有偏的方法計算,因為樣本非常多時,(n-1)σ²/n ≈ σ²