大家好，我是Mac Jiang,今天和大家分享Coursera-NTU-機器學習基石（Machine Learning Foundations）-作業四 Q13-20的MATLAB實現。以前的程式碼都是通過C++實現的，但是發現C++實現這些程式碼太麻煩，這次作業還要頻繁更改引數值，所以選擇用MATLAB實現了。與C++相比，MATLAB實現顯然輕鬆很多，在資料匯入方面也更加方便。我的程式碼雖然能夠得到正確答案，但是其中可能有某些思想或者細節是錯誤的，如果各位博友發現，請及時留言糾正，謝謝！再次宣告，博主提供實現程式碼的原因不是為了讓各位通過測試，而是為學習有困難的同學提供一條解決思路，希望我的文章對您的學習有一些幫助！

1.sign函式

function S = sign(x)  %計算sign
[m,n] = size(x);
for i = 1:m,
    for j = 1:n;

        if x(i,j) <= 0,
            S = 1;
        else
            S = -1;
        end
    end
end
end

2.計算正則化線性迴歸函式LGwithRegularization

function Wreg = LGwithRegularization(X,y,lambda)
[m,n] = size(X);
Wreg = inv(X' * X + lambda * eye(n)) * X' * y;%正則化的線性迴歸求解
end
 

3.錯誤計算函式Error01 (注意，這裡用的是0/1錯誤)

function E = Error01(X,y,Wreg)
[m,n] = size(X);
E = 1 - sum(sign(X * Wreg) == y) / m;%計算錯誤率
end

4.主程序

clc
trainingData = load('trainingData.txt');
Xtrain = trainingData(:, [1, 2]); ytrain = trainingData(:, 3);
testData = load('testData.txt');
Xtest = testData(:,[1,2]);ytest = testData(:,3);
[m,n] = size(Xtrain);
Xtrain = [ones(m,1), Xtrain];
[a,b] = size(Xtest);
Xtest = [ones(a,1), Xtest];

%13-15
%lambda = 10^-3;
%Wreg = LGwithRegularization(Xtrain,ytrain,lambda);
%Ein = Error01(Xtrain,ytrain,Wreg)
%Eout = Error01(Xtest,ytest,Wreg)

%16-17
%lambda = 10^-3;
%Wreg = LGwithRegularization(Xtrain(1:120,:),ytrain(1:120,:),lambda);
%Etrain = Error01(Xtrain(1:120,:),ytrain(1:120,:),Wreg)
%Eval = Error01(Xtrain(121:200,:),ytrain(121:200,:),Wreg)
%Eout = Error01(Xtest,ytest,Wreg)

%18
%lambda = 10^0;
%Wreg = LGwithRegularization(Xtrain,ytrain,lambda);
%Ein = Error01(Xtrain,ytrain,Wreg)
%Eout = Error01(Xtest,ytest,Wreg)

%19
%lambda = 10^-6
%Ecv = 0;
%v = 5;
%per = m / v;
%for i = 1:v,
%    Xtemp = Xtrain;
%    ytemp = ytrain;
%    Xtemp(1+(i-1)*per:i*per,:) = [];%出去用於求交叉驗證的樣本
%    ytemp(1+(i-1)*per:i*per,:) = [];
%    Wreg = LGwithRegularization(Xtemp,ytemp,lambda);
%    Error01(Xtrain(1+(i-1)*per:i*per,:),ytrain(1+(i-1)*per:i*per,:),Wreg)%利用交叉驗證的樣本求Ecv
%    Ecv = Ecv + Error01(Xtrain(1+(i-1)*per:i*per,:),ytrain(1+(i-1)*per:i*per,:),Wreg);
%end
%Ecv = Ecv / v

%20
%lambda = 10^-8;
%Wreg = LGwithRegularization(Xtrain,ytrain,lambda);
%Ein = Error01(Xtrain,ytrain,Wreg)
%Eout = Error01(Xtest,ytest,Wreg)
 

13.第十三題

（1）題意：從兩個網站下載訓練樣本和測試樣本，利用正則化的線性迴歸，引數lambda取10，得到Ein 和Eout

（2）答案：Ein = 0.050 Eout = 0.045

14-15:第14-15題

（1）題意： 14.分別取lamda值為.....計算Ein和Eout。選取最小的Ein對應的正確答案，如果兩個lambda對應的答案一樣，選擇大的lambda

                     15.選取最小Eout對應的正確答案

（2）答案：14.log = -8, Ein = 0.015,Eout = 0.02

                    15.log = -7,Ein = 0.03,Eout = 0.015

16.第十六題

（1）題意：利用前120個樣本作為訓練樣本，後80個樣本作為測試樣本，分別計算不同lambda對應的Etrain,Eval，Eout，選擇最小的Etrain對應的答案

（2）答案：log = -8,Etrain = 0, Eval = 0.05, Eout = 0.025

17.第十七題

（1）題意：和16題的做法一樣，選擇最小Eval對應的正確答案

（2）答案：log = 0, Etrain = 0.0333,Eval = 0.0375,Eout = 0.0280

18.第十八題

（1）題意：利用17題得到的最優lambda,利用所有樣本作為訓練樣本，計算Ein,Eout

（2）答案：Ein = 0.035 Eout=0.02

19-20：第19-20題

（1）題意:19.把樣本分為5份，利用交叉驗證的方法計算Ecv,計算得到最小的Ecv

                  20.利用19得到的最小Ecv對應的lambda值，計算Ein,Eout

（2）答案：19. log=-8， Eval = 0.03

                    20.Ein = 0.015，Eout = 0.02