python實現資料清洗(缺失值與異常值處理)
阿新 • • 發佈:2020-01-09
1。 將本地sql檔案寫入mysql資料庫
本文寫入的是python資料庫的taob表
source [本地檔案]
其中總資料為9616行,列分別為title,link,price,comment
2。使用python連結並讀取資料
檢視資料概括
#-*- coding:utf-8 -*- #author:M10 import numpy as np import pandas as pd import matplotlib.pylab as plt import mysql.connector conn = mysql.connector.connect(host='localhost',user='root',passwd='123456',db='python')#連結本地資料庫 sql = 'select * from taob'#sql語句 data = pd.read_sql(sql,conn)#獲取資料 print(data.describe())
說明資料的匯入是正確的,簡單的分析發現問題並不是這麼簡單,因為comment均值562可能偏大,最大評論數454037也可能出現錯誤,price價格為0也不太可能出現。
price comment count 9616.00000 9616.000000 mean 64.49324 562.239601 std 176.10901 6078.909643 min 0.00000 0.000000 25% 20.00000 16.000000 50% 36.00000 58.000000 75% 66.00000 205.000000 max 7940.00000 454037.000000
3。缺失值處理
將價格為0的值設定為中位數36
#-*- coding:utf-8 -*- #author:M10 import numpy as np import pandas as pd import matplotlib.pylab as plt import mysql.connector conn = mysql.connector.connect(host='localhost',conn)#獲取資料 data['price'][data['price']==0]=None x = 0 for i in data.columns: for j in range(len(data)): if (data[i].isnull()) [j]: data[i][j]='36' x+=1 print(x) #44
結果顯示修改了44行的資料。
4。異常值處理
#-*- coding:utf-8 -*- #author:M10 import numpy as np import pandas as pd import matplotlib.pylab as plt import mysql.connector conn = mysql.connector.connect(host='localhost',conn)#獲取資料 #缺失值處理 data['price'][data['price']==0]=None x = 0 for i in data.columns: for j in range(len(data)): if (data[i].isnull()) [j]: data[i][j]='36' x+=1 print(x) #異常值處理 #繪製散點圖,價格為橫軸 data1 = data.T#轉置 price = data1.values[2] comment = data1.values[3] plt.plot(price,comment,'o') plt.show() #print(price)
結果如下圖,價格為0左右時comment很大可能為異常值,comments為0時,價格極大這個有可能的。
接下來處理評論數異常值,假設異常值分割線設定為20w,
#-*- coding:utf-8 -*- #author:M10 import numpy as np import pandas as pd import matplotlib.pylab as plt import mysql.connector conn = mysql.connector.connect(host='localhost',conn)#獲取資料 #缺失值處理 data['price'][data['price']==0]=None x = 0 for i in data.columns: for j in range(len(data)): if (data[i].isnull()) [j]: data[i][j]='36' x+=1 print(x) #異常值處理 da = data.values#重新賦值data #異常值處理,將commments大於200000的資料comments設定為58 cont_clou = len(da)#獲取行數 #遍歷資料進行處理 for i in range(0,cont_clou): if(data.values[i][3]>200000): #print(data.values[i][3]) da[i][3]='58' #print(da[i][3]) #繪製散點圖,價格為橫軸 data1 = da.T#轉置 price = data1[2] comment = data1[3] plt.plot(price,'o') plt.xlabel('price') plt.ylabel('comments') plt.show()
處理後的輸出結果為:
以上這篇python實現資料清洗(缺失值與異常值處理)就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支援我們。