1. 程式人生 > >利用python清理CSV和txt格式資料(附程式碼)

利用python清理CSV和txt格式資料(附程式碼)

下面程式碼主要包括CSV以及txt檔案的讀寫和清理(將離散變數用數字代替)

# -*- coding: utf-8 -*-
import numpy as np
import pandas as pd

def loadData(filename):
'''
用於讀取CSV或txt檔案
'''

    dataMat = []
    fr = open(filename)
    for line in fr.readlines():
        lineArr = line.strip().split(',')#確定列與列之間的分隔符號,CSV檔案為逗號
        lineArr = np.array(lineArr)
        #lineArr = map(float,lineArr)
dataMat.append(lineArr) fr.close() return np.array(dataMat) def clearData(data): ''' 描述:將data中的離散變數用數字表示 輸入:待清理資料(第一行不帶列標題) ''' for j in range(data.shape[1]): cj_list = list(set(data[:,j]))#資料部分第j列的獨特元素的列表 for i in range(len(data)): for k in range(len(cj_list)): if
data[i,j] == cj_list[k]: data[i][j] = cj_list.index(cj_list[k]) x = loadData('D:\\jnc\\data.csv') clearData(x) y = pd.DataFrame(x) y.to_csv('D:\\jnc\\new.csv')#將x寫入CSV檔案 #np.savetxt('D:\\jnc\\new.txt,x,delimiter=',')#將x寫入txt檔案

相關推薦

利用python清理CSVtxt格式資料程式碼

下面程式碼主要包括CSV以及txt檔案的讀寫和清理(將離散變數用數字代替) # -*- coding: utf-8 -*- import numpy as np import pandas as pd def loadData(filename): '''

VC++6.0下基於MFC框架利用CInternetSessionCHttpFile獲取網頁資料程式碼

例:從網站http://qq.ip138.com/weather/guangdong/GuangZhou.htm獲取近三天的日期、天氣、溫度、風向,程式碼如下: //新增標頭檔案 #include <afxinet.h> //獲取網路資料 void CSensorSysDlg:

手把手教你如何用Python從PDF檔案中匯出資料連結

有很多時候你會想用Python從PDF中提取資料,然後將其匯出成其他格式。不幸的是,並沒有多少Python包可以很好的執行這部分工作。在這篇貼子中,我們將探討多個不同的Python包,並學習如何從PDF中提取某些圖片。儘管在Python中沒有一個完整的解決方案,你還是應該能夠運用這裡的技能開始上手。

小姐姐帶你一起學:如何用Python實現7種機器學習演算法程式碼

編譯 | 林椿眄出品 | AI科技大本營(公眾號ID:rgznai100)【AI科技大本營導讀】

python讀取csvtxt資料轉換成向量

最近寫程式需要從檔案中讀取資料,並把讀取的資料轉換成向量。查閱資料之後找到了讀取csv檔案和txt檔案兩種方式,下面結合自己的實驗過程,做簡要記錄,供大家參考:1、讀取csv檔案的資料import csv filtpath = "data_test.csv" with o

Python程式設計從入門到實踐》第10章檔案異常動手試一試答案程式碼

目錄 10-3 訪客 10-4 訪客名單 10-6 加法運算 10-7 加法計算器 10-8 貓和狗 10-9 沉默的貓和狗 10-3 訪客 #!/usr/bin/env python # -*- coding:utf-8 -*- user = input

一文搞定信用評分卡模型-Python、SASR的實現程式碼視訊

感謝關注天善智慧,走好資料之路↑↑↑歡迎關注天善智慧,我們是專注於商業智慧BI,人工智慧AI,大資料分析與挖掘領域的垂直社群,學習,問答、求職一站式搞定!對商業智慧BI、大資料分析挖掘、機器學習,python,R等資料領域感興趣的同學加微信:tstoutiao,邀請你進入資料愛好者交

資料結構】稀疏矩陣的壓縮儲存轉置演算法C++程式碼

一 稀疏矩陣的定義 矩陣是如今很多科學與工程計算問題中常用的數學物件,矩陣涉及到的計算通常會出現矩陣的階數比較高但是非零元素的個數卻比較少的情況,因此,我們需要有一種方法來壓縮這種比較稀疏的矩陣。 那麼,首先第一個問題就是如何定義一個矩陣是否是稀疏的?參考嚴蔚敏的資料結構教

java傳送http的get、post請求,使用fastjson傳json格式資料application/json

GET方式: import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader; import java.io.PrintWriter; import ja

java利用snmp4j包來讀取snmp協議資料Manager端

1 snmp簡單介紹 java利用snmp4j包來讀取snmp協議資料,很簡單的一個流程,就是利用java來讀取執行snmp協議的資料,例如伺服器、PC機或者路由器等運行了snmp協議的裝置。 snmp協議是什麼呢? 簡單網路管理協議(SNMP),由一組網路管理的標準組成,

python接口自動化--python中字典json的區別詳解

() ima 單引號 遍歷 不能 提取 都是 也說 none 簡介   這篇文章的由來是由於上一篇發送post請求的接口時候,參數傳字典(dict)和json的緣故,因為python中,json和dict非常類似,都是key-value的形式,為啥還要這麽傳參,在群裏問了

半邊資料結構與網格細分演算法Loop subdivision程式碼

網格細分的原理其實並不難理解,它的難點主要在於如何實現。在看過無數有原理無程式碼的部落格後,終於決定寫一寫我的實現方法,並附上程式碼供大家參考。c++寫的可能比較笨拙,望見諒。 1.半邊資料結構 很好理解,就是把網格的每一條邊分成兩個半邊,半邊是有方向的同一條邊的兩個半邊方向相反。並且一條邊

如何在python中實現整數的二進位制迴圈移位程式碼

【時間】2018.11.03 【題目】如何在python中實現整數的二進位制迴圈移位(附程式碼) 概述 在python中,可以通過<<以及>>運算子實現二進位制的左移位以及右移位,然而並沒有實現迴圈移位的運算子,暫時也找不到可以實現迴圈移位的函式,所以在本文中,主

python中使用opencv將RGB影象轉換為HSV及YCrCb影象程式碼

【時間】2018.11.01 【題目】在python中使用opencv將RGB影象轉換為HSV及YCrCb影象(附程式碼) 目錄 概述 一、程式碼實現 二、執行結果 三、關於HSV及YCrCb的一點補充 3.1HSV顏色空間 3.2 YCRCBA顏色空間

python實現Excel檔案讀取的程式原始碼

python實現Excel檔案讀取的程式   前一段時間幫一個朋友用python寫了一個讀Excel程式操作的程式,具體要求為:讀取兩個Excel檔案,根據其中某個特徵的特徵值對這兩個檔案進行取交集操作,生成三個Excel檔案,第一個Excel檔案為這兩個檔案的公

獨家 | 手把手教你用Python進行Web抓取程式碼

作為一名資料科學家,我在工作中所做的第一件事就是網路資料採集。使用程式碼從網站收集資料,當時對我來說是一個完全陌生的概念,但它是最合理、最容易獲取的資料來源之一。經過幾次嘗試,網路抓取已經成為我的第二天性,也是我幾乎每天使用的技能之一。 在本教程中,我將介紹一個簡單的例子,說明如何抓取一個網站,

Python程式設計從入門到實踐》第9章類課後習題程式碼

目錄 9-1(9-2) 餐館 9-3 使用者 9-4 就餐人數 9-5 嘗試登陸次數 9-6 冰淇淋小店 9-7 管理員 9-8 許可權 9-10 匯入Restaurant類 9-11 匯入Admin類 9-12 多個模組​ 9-1(9-2) 餐館

Python爬蟲實戰:抓取並儲存百度雲資源程式碼

尋找並分析百度雲的轉存api 首先你得有一個百度雲盤的賬號,然後登入,用瀏覽器(這裡用火狐瀏覽器做示範)開啟一個分享連結。F12開啟控制檯進行抓包。手動進行轉存操作:全選檔案->儲存到網盤->選擇路徑->確定。點選【確定】前建議先清空一下抓包記錄,這樣可以精確定位到轉存的api,這就是

資料探勘領域十大經典演算法之—CART演算法程式碼

簡介 CART與C4.5類似,是決策樹演算法的一種。此外,常見的決策樹演算法還有ID3,這三者的不同之處在於特徵的劃分: ID3:特徵劃分基於資訊增益 C4.5:特徵劃分基於資訊增益比 CART:特徵劃分基於基尼指數 基本思想 CART假設決策樹是二叉樹,