機器學習基石(Machine Learning Foundations) 機器學習基石 作業四 課後習題解答
1.第一題
（1）題意：利用hyphothesis set H的時候有一個deterministic noise（固定噪聲），如果用一個更小的hyphothesis set H',那麼固定噪聲是增大了還是減小了？
（2）分析：首先我們要知道什麼是固定噪聲
固定噪聲是由於target function f 本身Qf太大造成的。若f本身的Qf太大，那麼用h去擬合這種高次的目標函式是不容易的，所以固定噪聲大。當我們用更小的H‘代替H來擬合f的時候，由於H’更加小，那麼對f的擬合程度更加不好，所以deterministic noise會增加！
（3）答案：increasing 第二項
2.第二題
（1）題意：定義H（Q，c,Q0），求下面哪個是正確的。
（2）分析：首先，我們要把定義看懂，然後帶入計算即可。
H（10，0，3）= {h(x) = [w0 w1 w2 0 0 0 0 0 0 0 0] * [ z0 z1 z2 z3 z4 z5 z6 z7 z8 z9 z10] = w0*z0 + w1*z1 + w2*z2}
H(10,0 ,4) = {h(x) = [w0 w1 w2 w3 0 0 0 0 0 0 0] * [z0 z1 z2 z3 z4 z5 z6 z7 z8 z9 z10] = w0*z0+w1*z1+w2*z2+w3*z3}
H2={h(x) = {w0*z0+w1*z1+w2*z2}
H(10,0,3) 交 H(10,0,4) = H2
（3）答案：第二項 同理可證其他項
3.第三題
（1）題意：利用decay作為regularizer,利用梯度下降的方法計算Eaug的最小值，迭代步長為ita,那麼每次迭代更新公式為哪項？
（2）分析：
（3）答案：第二項
4.第四題
（1）題意：求Wreg(lambda)的模隨lambda變化的單調性
（2）分析
利用物理意義分析（1）當w‘ * w = C沒有包括win時，那麼加大lambda，即減小C，那麼更加不能包括win, ||Wreg|| = C減小
（2）當w' * w =C包括win時，||Wreg||=||Win||,那麼加大lambda,即減小C，如果還是包括win，那麼是不會變的
綜上，不是單增的
（3）答案：non-increasing
5.第五題
（1）題意：利用leave one out cross validation分別計算兩個Hyphothesis的錯誤率，利用平方錯誤方法計算，求他們錯誤一樣時引數rou的值
（2）這道題博主也不會，可能是題目理解錯了，希望大神解答！
6.第六題
（1）題意：這道題講的是倖存者偏差。
（2）分析：第一次給32個人發郵件，一半說A隊會贏，一半說B隊會贏，肯定有一半的郵件（16封）是正確的；第一次結果出來後，對第一次正確的16個人發郵件，一半說A會贏，一半說B會贏，以此類推。那麼32個人在進行5場比賽後可能有一個人5次接受的答案都是正確的。
（3）答案：第三項，第二次需要對第一次正確的16個人發郵件
7.第七題
（1）題意：按照第6題的方法，每封信需要10塊，如果第六場比賽有人花1000塊，問這個騙子掙了多少錢
（2）分析：共需要發32+16+8+4+2+1=63封信共630塊，賺了370塊
（3）答案：370
8.第八題
（1）題意：一個銀行最初用一個公式a(x)頒發信用卡，然後在這些頒發信用卡里面的10000個人作為樣本，分析要不要給新的使用者頒發信用卡。你在看這些樣本之前，你利用數學理論提出一個信用卡頒發公式，問hyphothesis set的大小。
（2）分析：不要把題目想的太複雜，因為你利用數學推導提出一個信用卡頒發公式，即hyphothesis已經確定了，所以hyphothesis set大小為1
（3）答案：1
9.第九題
（1）題意：利用Hoeffding bound計算Ein與Eout相差不超過1%的概率，當訓練樣本數為100000
（2）分析：
由於第八題已經知道M = 1是有限的，所以我們呼叫這個公式就可以了：
（3）答案：0.271
10.第十題
（1）題意：你利用銀行提供的100000個樣本得到了一個很好的g，他能很好擬合訓練樣本。但是當我們利用他作為實際用途時，發現他的泛化能力很弱，這是為什麼？
（2）分析：應為我們得到的樣本都是由第八題a（x）這個公式上得到的，所以我們的訓練資料不是乾淨的，是受過a(x)汙染的。即我們利用a(x) and g(x)決定了最後的機器學習演算法表現。
（3）答案：a(x) AND g(x)
11.第十一題
（1）題意：在原先的N個樣本上新增K個樣本，那麼利用這些N+K個樣本計算線性迴歸，求引數的公式
（2）答案：第二項
12.第十二題
（1）題意：如果利用11題的方法，那麼什麼時候11題公式等於正則化邏輯迴歸的解
（2）分析：
正則化邏輯迴歸的求解Wreg的公式如上，要使11題的公式等於他，即滿足第五項即可
（3）答案：第五項