《機器學習實戰》系列部落格主要是實現並理解書中的程式碼，相當於讀書筆記了。畢竟實戰不能光看書。動手就能遇到許多奇奇怪怪的問題。博文比較粗糙，需結合書本。博主邊查邊學，水平有限，有問題的地方評論區請多指教。書中的程式碼和資料，網上有很多請自行下載。

KNN演算法的應用

2.2.1 從文字檔案中解析資料

函式的輸入為檔名字串，輸出為訓練樣本矩陣和類標籤向量。

解析程式

def file2matrix(filename):
    fr = open(filename)
    numberOfLines = len(fr.readlines())         #get the number of lines in the file
 

    returnMat = zeros((numberOfLines,3))        #prepare matrix to return
    classLabelVector = []                       #prepare labels return   
    fr = open(filename)
    index = 0
    for line in fr.readlines():
        line = line.strip()
        listFromLine = line.split('\t')
        returnMat[index,:] = listFromLine[0
 
:3]  #選前三列的資料存到矩陣中
        classLabelVector.append(int(listFromLine[-1]))#最後一列轉成整數後存到標籤向量
        index += 1
    return returnMat,classLabelVector

匯入資料成功，檢查一下資料

>>> import kNN
>>> datingDataMat,datingLabels = kNN.file2matrix('datingTestSet2.txt')
>>> datingDataMat
array([[  4.09200000e+04,   8.32697600e+00,   9.53952000e-01],
       [  1.44880000e+04,   7.15346900e+00,   1.67390400e+00],
       [  2.60520000e+04,   1.44187100e+00,   8.05124000e-01],
       ..., 
       [  2.65750000e+04,   1.06501020e+01,   8.66627000e-01],
       [  4.81110000e+04,   9.13452800e+00,   7.28045000e-01],
       [  4.37570000e+04,   7.88260100e+00,   1.33244600e+00]]
 
)
>>> datingLabels[0:20]
[3, 2, 1, 1, 1, 1, 3, 3, 1, 3, 1, 1, 2, 1, 1, 1, 1, 1, 2, 3]

相關函式學習

• open 函式
  語法：open(name[, mode[, buffering]]) r:讀操作；w：寫操作；a:新增操作；b:二進位制存取操作 如果預設就是r

例如：在C:\Users\lzw\Desktop\python 目錄下新建一個txt檔案 test_open.txt

命令列輸入，就可以開啟這個檔案

>>> f=open('C:\\Users\\lzw\\Desktop\\python\\test_open.txt','r+')  # "\" 是轉義符，要將他再轉義
>>> 

如果是不加路徑，只有一個檔名：f = open (‘test_open.txt’) 則必須保證！！！ test_open.txt儲存在我們的工作目錄中

寫檔案操作

>>> f = open('test_open.txt', 'w')
>>> f.write('hello,')
>>> f.write('python\n')
>>> f.write('this is a test\n')
>>> f.write('lzw\n')
>>> f.close()
>>> 

開啟 test_open.txt，可以看到原來空的txt 寫入了內容

讀檔案操作

>>> f = open('test_open.txt')
>>> f.read(1)
'h'
>>> f.read(5)
'ello,'
>>> f.read()
'python\nthis is a test\nlzw\n'

readlines 逐行讀取

>>> f = open('test_open.txt')
>>> f.readlines()
['hello,python\n', 'this is a test\n', 'lzw\n']
>>> 

• zeros 函式

>>> from numpy import*
>>> zeros(3)
array([ 0.,  0.,  0.])
>>> zeros((2,3))
array([[ 0.,  0.,  0.],
       [ 0.,  0.,  0.]])
>>> zeros([2,3])   #和上一種一樣
array([[ 0.,  0.,  0.],
       [ 0.,  0.,  0.]])
>>> zeros(3,int16)  #預設的是float型
array([0, 0, 0], dtype=int16)
>>> a=array([[2,3],[3,4]])
>>> zeros_like(a)    #返回和輸入大小相同，型別相同，用0填滿的陣列
array([[0, 0],
       [0, 0]])

• strip 函式 刪除頭尾字串函式

>>> a = ' \n123\tabc\r'
>>> a.strip()  #刪除頭尾的字串，預設為空白符(包括'\n', '\r',  '\t',  ' ')
'123\tabc'
>>> a.lstrip() #刪除開頭 
'123\tabc\r'
>>> a.rstrip() #刪除結尾
' \n123\tabc'
>>> a.strip('12') 
' \n123\tabc\r'
>>> a = '12abc'
>>> a.strip('12')#刪除字串12
'abc'
>>> 

• split 函式拆分字串。通過指定分隔符對字串進行切片

>>> u = "www.doiido.com.cn"
>>> print u.split()  #使用預設分隔符
['www.doiido.com.cn']
>>> print u.split('.') #以"."為分隔符 
['www', 'doiido', 'com', 'cn']
>>> print u.split('.',1)  #分割一次
['www', 'doiido.com.cn']
>>> print u.split('.',2)  #分割兩次
['www', 'doiido', 'com.cn']
>>> print u.split('.',2)[1]  #分割兩次，並取序列為1的項
doiido
>>> u1,u2,u3 = u.split('.',2)#分割兩次，並把分割後的三個部分儲存到三個檔案
>>> print u1
www
>>> print u2
doiido
>>> print u3
com.cn

2.2.2使用Matplotlib畫散點圖

kNN .py 程式裡繼續寫，注意要import Matplotlib

散點圖程式

datingDataMat,datingLabels = file2matrix('datingTestSet2.txt')
fig = plt.figure()
ax = fig.add_subplot(111)
ax.scatter(datingDataMat[:,1],datingDataMat[:,2],15.0*array(datingLabels),15.0*array(datingLabels))
plt.show()

相關函式學習

fig = plt.figure() #繪製一個figure物件

ax = fig.add_subplot(223) #將畫布分割成2行2列，影象畫在從左到右從上到下的第3塊

scatter 畫散點圖

2.2.3歸一化數值

newValue = (oldValue-min)/(max-min)

歸一化程式

def autoNorm(dataSet):
    minVals = dataSet.min(0)  #每一列最小值
    maxVals = dataSet.max(0)
    ranges = maxVals - minVals
    normDataSet = zeros(shape(dataSet)) #返回矩陣大小和資料矩陣一樣用0填充
    m = dataSet.shape[0]  #矩陣行數
    normDataSet = dataSet - tile(minVals, (m,1))
    normDataSet = normDataSet/tile(ranges, (m,1))   #element wise divide
    return normDataSet, ranges, minVals

>>> normMat
array([[ 0.44832535,  0.39805139,  0.56233353],
       [ 0.15873259,  0.34195467,  0.98724416],
       [ 0.28542943,  0.06892523,  0.47449629],
       ..., 
       [ 0.29115949,  0.50910294,  0.51079493],
       [ 0.52711097,  0.43665451,  0.4290048 ],
       [ 0.47940793,  0.3768091 ,  0.78571804]])
>>> ranges
array([  9.12730000e+04,   2.09193490e+01,   1.69436100e+00])
>>> minVals
array([ 0.      ,  0.      ,  0.001156])
>>> 

2.2.4測試演算法：用錯誤率來檢測分類器的效能

分離器效能測試程式

def datingClassTest():
    hoRatio = 0.10      #選擇10%資料作測試
    datingDataMat,datingLabels = file2matrix('datingTestSet2.txt') 
    normMat, ranges, minVals = autoNorm(datingDataMat)
    m = normMat.shape[0]
    numTestVecs = int(m*hoRatio)
    errorCount = 0.0
    for i in range(numTestVecs):
        classifierResult = classify0(normMat[i,:],normMat[numTestVecs:m,:],datingLabels[numTestVecs:m],3)
        print "the classifier came back with: %d, the real answer is: %d" % (classifierResult, datingLabels[i])
        if (classifierResult != datingLabels[i]): errorCount += 1.0
    print "the total error rate is: %f" % (errorCount/float(numTestVecs))
    print errorCount

…

2.2.5構建完整可用的系統

預測程式

def classifyPerson():
    resultList = ['不喜歡','魅力一般的人','極具魅力的人']
    percentTats = float(raw_input("percentgage of time spent playing video game ?"))
    ffMile = float(raw_input("frequent flier miles earned per year ?"))
    iceCream = float(raw_input("liters of ice Cream consumed per year ?"))
    datingDataMat ,datingLabels = file2matrix('datingTestSet2.txt')
    normMat ,ranges ,minVals = autoNorm (datingDataMat)
    inArr = array([ffMile,percentTats,iceCream])
    classifierResult = classify0((inArr - minVals)/ranges, normMat,datingLabels,3)
    print "You will probably like this person: ",resultList[classifierResult-1]

>>> reload(kNN)
<module 'kNN' from 'kNN.py'>
>>> kNN.classifyPerson()
percentgage of time spent playing video game ? 10
frequent flier miles earned per year ?10000
liters of ice Cream consumed per year ?0.5
You will probably like this person:  魅力一般的人
>>> 

相關函式學習

raw_input() 將所有輸入作為字串看待，返回字串型別