刪除有多行字串的json檔案中的離群值

def processHold(eachsubject,directory,newfile):
	filename = 'CMUDataCol/Hold/subject{0}.json'.format(eachsubject) # 原檔案
	
	with open(filename,'r') as f: 
		for jsonstr in f.readlines(): # 按行讀取原檔案
		# 這裡的情況是每一行為一類數值，該行內的資料相互比較找出是否有離群值
		# 若存在離群值，則刪除該行資料
			data = json.loads(jsonstr)
			
			#計算四分位點
			a = numpy.array(data) 
			q1 = numpy.percentile(a,25)  
			q3 = numpy.percentile(a,75)  
			iqr = q3 - q1
			
			# 找出異常值
			i = 0 
			for item in zip(data): 
				# 在正常值範圍內時 i+1
				if item <= q3 + (1.5*iqr) and item >= q1 - (1.5*iqr):   
					i = i + 1  
					
			if i == 10: 
			# 這裡是因為我的json檔案中每行data有10個元素（如果有更好的方法，請教我一下，謝謝您！）  
				HoldTime = data
				with open(newfile,'a') as f: # 將非離群資料存入新檔案
					json.dump(HoldTime,f) 
					f.write('\n') 

補充知識：dataframe 離群值處理

離群值：遠離資料主要部分的樣本（極大值或極小值）

處理方式：

刪除：直接刪除離群樣本

填充樣本：使用box-plot定義變數的數值上下界，以上界填充極大值，以下界填充最小值

# 檢視房價的離群情況
df['average_price'].hist()
plt.show()
df[['average_price']].boxplot()
plt.show()

# 根據箱線圖的上下限進行異常值的填充
def boxplot_fill(col):
 # 計算iqr：資料四分之三分位值與四分之一分位值的差
 iqr = col.quantile(0.75)-col.quantile(0.25)
 # 根據iqr計算異常值判斷閾值
 u_th = col.quantile(0.75) + 1.5*iqr # 上界
 l_th = col.quantile(0.25) - 1.5*iqr # 下界
 # 定義轉換函式：如果數字大於上界則用上界值填充，小於下界則用下界值填充。
 def box_trans(x):
  if x > u_th:
   return u_th
  elif x < l_th:
   return l_th
  else:
   return x
 return col.map(box_trans)
# 填充效果檢視
boxplot_fill(df['average_price']).hist()
# 進行賦值
df['average_price'] = boxplot_fill(df['average_price'])
plt.show()

以上這篇python:刪除離群值操作(每一行為一類資料)就是小編分享給大家的全部內容了，希望能給大家一個參考，也希望大家多多支援我們。