1. 程式人生 > >機器學習專項練習筆記(持續更新)

機器學習專項練習筆記(持續更新)

##1.卷積神經網路計算尺寸

輸出尺寸=(輸入尺寸-filter尺寸+2*padding)/stride+1

卷積向下取整,池化向上取整

stride=1時,當kernel=3,padding=1或kernel=5,padding=2 卷積前後尺寸不變。

##2.序列模式挖掘
序列:一個序列即是一個完整的資訊流。每個序列由不同的元素按順序有序排列,每個元素由不同專案(也叫事件)組成。

序列資料庫:將相同使用者ID的記錄合併在一起,有時可以忽略每個事務的發生時間,僅保留事務間的偏序關係

序列、元素、單項:一條序列<(10,20),30,(40,50,60)>裡面包含3個元素(3個事務),6個單項(長度為6,也叫6-序列),元素內的單項不考慮順序關係。

###序列模式挖掘演算法概述(未完待續)
演算法基石:AprioriALL、AprioriSome、dynamicSome

類Apriori演算法:GSP、Spade

基於劃分的模式生長演算法:FreeSpan、prefixSpan

基於序列的比較演算法:Disc-all

##3.貝葉斯判別
假設所有特徵之間相互獨立
P ( w i

x ) = P ( w i
x )
P ( x )
= P ( x w i ) P ( w i ) P ( x ) = P ( x w i ) P ( w i ) P ( x w 1 ) P ( w 1 ) + P ( x w 2 ) P ( w 2 ) P(w_i|x)=\frac{P(w_ix)}{P(x)}=\frac{P(x|w_i|)P(w_i)}{P(x)}=\frac{P(x|w_i)P(w_i)}{P(x|w_1)P(w_1)+P(x|w_2)P(w_2)}

先驗概率: P ( w i ) P(w_i) ,是指根據以往經驗和分析得到的概率.

後驗概率: P ( w i x ) P(w_i|x) ,事情已經發生,要求這件事情發生的原因是由某個因素引起的可能性的大小

類條件概率(似然函式): P ( x w i ) P(x|w_i) ,類條件概率中的類指的是把造成結果的所有原因進行列舉,分別討論

貝葉斯公式:結果推原因

全概率公式:原因推結果, P ( x ) = P ( x w 1 ) P ( w 1 ) + P ( x w 2 ) P ( w 2 ) P(x)=P(x|w_1)P(w_1)+P(x|w_2)P(w_2)

###3.1 最小誤判概率(最大後驗概率)準則判決
if P ( w 1 x ) &lt; P ( w 2 x ) P(w_1|x)&lt;P(w_2|x) then x w 1 x\in w_1

if P ( w 2 x ) &lt; P ( w 1 x ) P(w_2|x)&lt;P(w_1|x) then x w 2 x\in w_2
###3.2 最小損失準則
在3.1的基礎上計算出每個後驗概率出來

令決策的數目為類數c,如果決策 a j a_j 定義為判別x屬於 w j w_j 類,

那麼對於給定的模式x在採取決策 a j a_j 的條件下損失的期望為:

R j ( x ) = R ( a j x ) = i = 1 c λ i j P ( w i x ) R_j(x)=R(a_j|x)=\sum_{i=1}^{c}\lambda_{ij}P(w_i|x)

條件期望損失 R j R_j (x)刻畫了在模式為x、決策為 a j a_j 條件下的平均損失,故也稱為條件平均損失或條件平均風險(Risk)。(做決策 a j a_j 的平均損失)

if R 1 ( x ) &lt; R 2 ( x ) R_1(x)&lt;R_2(x) then x w 1 x\in w_1

if R 1 ( x ) &gt; R 2 ( x ) R_1(x)&gt;R_2(x) then x w 2 x\in w_2

兩邊分母p(x)約掉:

if λ 11 P ( w 1 , x ) + λ 21 P ( w 2 , x ) &lt; λ 12 P ( w 1 , x ) + λ 22 P ( w 2 , x ) \lambda_{11}P(w_1,x)+ \lambda_{21} P(w_2,x)&lt;\lambda_{12} P(w_1,x)+\lambda_{22} P(w_2,x)