機器學習基礎題目
1. 在深度學習中，涉及到大量矩陣相乘，現在需要計算三個稠密矩陣A,B,C的乘積ABC，假設三個矩陣的尺寸分別為m*n,n*p,p*q,且m<n<p<q，以下計算順序效率最高的是：
(AB)C
解析：首先，根據簡單的矩陣知識，因為 A*B ， A 的列數必須和 B 的行數相等。因此，可以排除C 選項。
m*n 的矩陣 A 和 n*p 的矩陣 B 的乘積，得到 m*p 的矩陣 A*B ，而 A*B 的每個元素需要 n 次乘法和 n-1 次加法，忽略加法，共需要 m*n*p 次乘法運算。
同樣情況分析 A*B 之後再乘以 C 時的情況，共需要 m*p*q次乘法運算。因此，A 選項的(AB)C 需要的乘法次數是 m*n*p+m*p*q 。
同理分析， B 選項的 A (BC)需要的乘法次數是 n*p*q+m*n*q 。由於 m*n*p< m*n*q ， m*p*q<n*p*q。
2. 常見的判別式模型有：
Logistic regression
Linear discriminant analysis
Supportvector machines
Boosting
Conditional random fields
Linear regression
常見的生成式模型有:
Gaussian mixture model and othertypes of mixture model
Hidden Markov model
NaiveBayes
AODE
Latent Dirichlet allocation
Restricted Boltzmann Machine
3.概率質量函數 (probability mass function，PMF)是離散隨機變量在各特定取值上的概率。
N-P判決
最小最大損失準則解析：在貝葉斯決策中，對於先驗概率p(y)，分為已知和未知兩種情況。 1. p(y)已知，直接使用貝葉斯公式求後驗概率即可； 2. p(y)未知，可以使用聶曼-皮爾遜決策(N-P決策)來計算決策面。 而最大最小損失規則主要就是使用解決最小損失規則時先驗概率未知或難以計算的問題的。 5. CRF模型對於HMM和MEMM模型的優勢： CRF優點：特征靈活，可容納較多的上下文信息，能夠做到全局最優； CRF缺點：訓練代價大，度咋讀高，速度慢； 1）CRF沒有HMM那樣嚴格的獨立性假設條件，因而可以容納任意的上下文信息。特征設計靈活（與ME一樣）-------- 與HMM比較
2）同時，由於CRF計算全局最優輸出節點的條件概率，它還克服了最大熵馬爾可夫模型標記偏置（Label-bias）的缺點。 --------- 與MEMM比較
3）CRF是在給定需要標記的觀察序列的條件下，計算整個標記序列的聯合概率分布，而不是在給定當前狀態條件下，定義下一個狀態的狀態分；--------- 與ME比較
6. 在HMM中,如果已知觀察序列和產生觀察序列的狀態序列,那麽可用以下哪種方法直接進行參數估計：極大似然估計。
- EM算法： 只有觀測序列，無狀態序列時來學習模型參數，即Baum-Welch算法
- 維特比算法： 用動態規劃解決HMM的預測問題，不是參數估計
- 前向後向：用來算概率
- 極大似然估計：即觀測序列和相應的狀態序列都存在時的監督學習算法，用來估計參數
機器學習基礎題目