1. 程式人生 > >機器學習基礎題目

機器學習基礎題目

neu eba play pmf soft 有時 works boost chl

1. 在深度學習中,涉及到大量矩陣相乘,現在需要計算三個稠密矩陣A,B,C的乘積ABC,假設三個矩陣的尺寸分別為m*n,n*p,p*q,且m<n<p<q,以下計算順序效率最高的是:

(AB)C

解析:首先,根據簡單的矩陣知識,因為 A*B A 的列數必須和 B 的行數相等。因此,可以排除C 選項。

m*n 的矩陣 A n*p 的矩陣 B 的乘積,得到 m*p 的矩陣 A*B ,而 A*B 的每個元素需要 n 次乘法和 n-1 次加法,忽略加法,共需要 m*n*p 次乘法運算。

同樣情況分析 A*B 之後再乘以 C 時的情況,共需要 m*p*q次乘法運算。因此,A 選項的(AB)C 需要的乘法次數是 m*n*p+m*p*q

同理分析, B 選項的 A (BC)需要的乘法次數是 n*p*q+m*n*q由於 m*n*p< m*n*q m*p*q<n*p*q。

2. 常見的判別式模型有:

Logistic regression

Linear discriminant analysis

Supportvector machines

Boosting

Conditional random fields

Linear regression

Neural networks

常見的生成式模型有:

Gaussian mixture model and othertypes of mixture model

Hidden Markov model

NaiveBayes

AODE

Latent Dirichlet allocation

Restricted Boltzmann Machine

3.概率質量函數 (probability mass function,PMF)是離散隨機變量在各特定取值上的概率。

概率密度函數(p robability density function,PDF )是對 連續隨機變量 定義的,本身不是概率,只有對連續隨機變量的取值進行積分後才是概率。 累積分布函數(cumulative distribution function,CDF) 能完整描述一個實數隨機變量X的概率分布,是概率密度函數的積分。對於所有實數x ,與pdf相對。 4. 在統計模式識分類問題中,當先驗概率未知時,可以使用
N-P判決
最小最大損失準則
解析:在貝葉斯決策中,對於先驗概率p(y),分為已知和未知兩種情況。 1. p(y)已知,直接使用貝葉斯公式求後驗概率即可; 2. p(y)未知,可以使用聶曼-皮爾遜決策(N-P決策)來計算決策面。 最大最小損失規則主要就是使用解決最小損失規則時先驗概率未知或難以計算的問題的。 5. CRF模型對於HMM和MEMM模型的優勢: CRF優點:特征靈活,可容納較多的上下文信息,能夠做到全局最優; CRF缺點:訓練代價大,度咋讀高,速度慢; 1)CRF沒有HMM那樣嚴格的獨立性假設條件,因而可以容納任意的上下文信息。特征設計靈活(與ME一樣)-------- 與HMM比較
2)同時,由於CRF計算全局最優輸出節點的條件概率,它還克服了最大熵馬爾可夫模型標記偏置(Label-bias)的缺點。 --------- 與MEMM比較
3)CRF是在給定需要標記的觀察序列的條件下,計算整個標記序列的聯合概率分布,而不是在給定當前狀態條件下,定義下一個狀態的狀態分;--------- 與ME比較
6. 在HMM中,如果已知觀察序列和產生觀察序列的狀態序列,那麽可用以下哪種方法直接進行參數估計:極大似然估計。
  • EM算法: 只有觀測序列,無狀態序列時來學習模型參數,即Baum-Welch算法
  • 維特比算法: 用動態規劃解決HMM的預測問題,不是參數估計
  • 前向後向:用來算概率
  • 極大似然估計:即觀測序列和相應的狀態序列都存在時的監督學習算法,用來估計參數
在給定觀測序列和對應的狀態序列估計模型參數,可以利用極大似然發估計。 如果給定觀測序列,沒有對應的狀態序列,才用EM,將狀態序列看不不可測的隱數據。 7.分支定界法(branch and bound)是一種求解 整數規劃 問題的最常用算法。 這種方法不但可以求解純整數規劃,還可以求解混合整數規劃問題。分支定界法是計算機最擅長 的廣義搜索窮舉算法。 分支定界法是一種搜索與叠代的方法,選擇不同的分支變量和子問題進行分支。 對於兩個變量的整數規劃問題,使用網格的方法有時更為簡單。 該算法的主要思路是:定義一個滿足單調性條件的評價準則函數,對兩個特征子集S1和S2而言,如果S1是S2的子集, 那麽S1所對應的評價函數值必須要小於S2所對應的評價函數值,在定義了該評價函數的前提下,該算法對最終特征子集的選擇過程可以用一棵樹來描述,樹根是所有特征的集合從樹根可分性判據值和事先定義的最佳特征子集的特征數目,搜索滿足要求的特征子集 但存在3個問題: 1於該算法無法對所有的特征依據其重要性進行排序!如何事先確定最優特征子集中特征的數目是一個很大的問題2合乎問題要求的滿足單調性的可分性判據難以設計3當處理高維度多分類問題時!算法要運行多次!計算效率低下的問題將非常明顯

機器學習基礎題目