1. 程式人生 > 資料庫 >使用python的pandas庫讀取csv檔案儲存至mysql資料庫

使用python的pandas庫讀取csv檔案儲存至mysql資料庫

第一:pandas.read_csv讀取本地csv檔案為資料框形式

data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.csv')

第二:如果存在日期格式資料,利用pandas.to_datatime()改變型別

data.iloc[:,1]=pd.to_datetime(data.iloc[:,1])

注意:=號,這樣在原始的資料框中,改變了列的型別

第三:檢視列型別

print(data.dtypes)

第四:方法一:儲存至MYSQL【缺點耗時長】

利用MYSQLdb庫,封裝成一個類,實現建立表,新增資料的操作,缺點耗時長

class Jess_mysql():
 """
 設定mysql類,實現建立資料框,表,及新增資料
 """
 def __init__(self):
  self.mysql=MySQLdb.connect(user=mysql_name,host=mysql_host,password=mysql_password,database=mysql_database)
  self.conn=self.mysql.cursor()
 def create_table(self,table_names,col_names):
  """
  建立表
  :param table_names: 表名
  :param col_names: 列名,列表格式
  :return:
  """
  tables=' varchar(20),'.join(['%s'] *len(col_names))
  sql_yuju='create table if not exists `{t}` ({v} varchar(20))'.format(t=table_names,v=tables)#欄位需要標註格式
  ss=sql_yuju %(tuple(col_names))
  print(ss)
  self.conn.execute(ss)
  self.mysql.commit()
 def add_data(self,table_name,col_names,col_data):
  """
  :param table_name: 表名
  :param col_names: 列名,欄位名
  :param col_data: 欄位值
  :return:
  """
  colname=','.join(['%s']*len(col_names))
  data=','.join(['%s']*len(col_data))
  sql_yuju='INSERT INTO `{t}` ({name}) VALUES ({data});'.format(t=table_name,name=colname,data=data)
  ss=sql_yuju%(*col_names,*col_data)
  #print(ss)
  self.conn.execute(ss)
  self.mysql.commit()

第五:利用sqlalchemy的create_engine()方法

1、建立連線

import sqlalchemy
#engine=sqlalchemy.create_engine('mysql + mysqldb://root:[email protected]:3306/python_yuny')
engine=sqlalchemy.create_engine('mysql+mysqldb://{user}:{password}@{host}:3306/{database}'.format
        (user=mysql_name,database=mysql_database))

2、利用pd.io.sql.to_sql()

pd.io.sql.to_sql(frame=data,name='yunying',con=engine,index=False,if_exists='append')

注意相關引數的設定。

此外,儲存到mysql中,需要注意日期格式的列,因為在mysql對應的field設定格式為varchar(20)後,原始的日期2015-8-9,寫入資料庫,只有2015,這需要兩步操作。

a、上面第二目錄的,利用pandas.to_datetime(,format='%Y-%m-%d') #format的格式要和原始字元2016-8-9格式一樣

b、利用datetime庫,實現format='%Y%m%d'

x=data.shape[0]
for i in range(x):
 col_data=list(df.iloc[i,:])
 col_data[1]=datetime.date.strftime(col_data[1],'%Y%d%m')

•這一步後,日期格式由原始的2016-6-2,轉為20160606,就可以以寫入資料庫對應的欄位【其欄位型別varchar(20)】

第六:讀取mysql的資料

df=pd.read_sql('select * from %s'%table_name,index_col=None)

預設不設定索引列,可以自行指定索引列名。

總結

以上所述是小編給大家介紹的使用python的pandas庫讀取csv檔案儲存至mysql資料庫,希望對大家有所幫助,如果大家有任何疑問請給我留言,小編會及時回覆大家的。在此也非常感謝大家對我們網站的支援!