python連線mysql獲取表資訊（表名、欄位數、欄位空值率）

https://blog.csdn.net/qq_41725214/article/details/104206028

文藝小卿年 2020-02-07 09:23:25 1227 收藏 7
分類專欄： python 文章標籤： python
版權

python
專欄收錄該內容
15 篇文章0 訂閱
訂閱專欄
功能說明：
通過python連線mysql資料庫，1. 獲取當前庫下所有表的名稱 2. 獲取每個表的記錄行數 3. 查詢每張表下每個欄位的空值率（採用增量查詢的方式，降低查詢大表時的效能消耗）。

輸出形式：
excel表格

程式碼：
import math
import sys
import pymysql
import xlwt
import pandas as pd
# 資料庫資訊
host = sys.argv[1]
user = sys.argv[2]
passwd = sys.argv[3]
db = sys.argv[4]
# excel的存放目錄
dir = sys.argv[5]
# 寫入EXCEL
def write_to_excel(res, sheet_name, excel_name):
'''
:param res: 要寫入excel的資料
:param sheet_name: sheet頁名稱
:param excel_name: excel名稱
'''
workbook = xlwt.Workbook()
sheet = workbook.add_sheet(sheet_name, cell_overwrite_ok=True)
row = 0
for i in res:
for j in range(0, len(i)):
sheet.write(row, j, i[j])
row += 1
workbook.save(excel_name)
# 當前庫下所有表的名稱
def tables_name(db):
res = mysql_info("select table_name from information_schema.tables where table_schema='%s'" % (db))
print('當前庫下所有表的名稱')
for i in res:
print(i[0])
return res
# 每個表的記錄行數
def count_rows(db):
res = mysql_info("select table_name,table_rows from information_schema.tables where TABLE_SCHEMA = '%s'" % (db))
print('每個表的記錄行數')
print(res)
return res
# 查詢每張表下每個欄位的空值率並直接寫入excel
def null_rate(db, sheet_name, excel_name):
'''
:param db: 資料庫
:param sheet_name: sheet頁名稱
:param excel_name: excel名稱
'''
conn = pymysql.connect(host, user, passwd, db)
workbook = xlwt.Workbook()
sheet = workbook.add_sheet(sheet_name, cell_overwrite_ok=True)
tables = mysql_info("SHOW TABLES")
row = 0
# 遍歷資料庫下所有的表
for table in tables:
# 獲取單表名稱
table = str(table).replace("('", '').replace("',)", '')
print('當前表名稱:', table)
# 獲取主鍵名稱
sql_for_search_key = "SELECT k.column_name FROM information_schema.table_constraints t JOIN information_schema.key_column_usage k USING (constraint_name,table_schema,table_name) WHERE t.constraint_type = 'PRIMARY KEY' AND t.table_schema = '%s' AND t.table_name = '%s' " % (
db, table)
pri_key = mysql_info(sql_for_search_key)[0][0]
# excel寫入表名
sheet.write(row, 0, table)
sum_rows = mysql_info('select count(' + pri_key + ') from %s' % table)
print(sum_rows)
# 分頁查詢時每頁數目
page_rows = 5000
offset = 0
# 建立一個空的df，用來存放欄位及其對應空值數
df = pd.DataFrame()
# 這裡通過增量查取，降低效能開銷
for page in range(1, math.ceil(sum_rows[0][0] / page_rows) + 1):
# 查詢語句
sql = 'select * from ' + table + ' order by ' + pri_key + ' limit ' + str(page_rows) + ' offset ' + str(
offset)
offset += page_rows
# 將查詢資料轉換為dataFrame，並追加到總的df中
data = pd.read_sql(sql, con=conn)
df = df.append(data)
# 統計df每列為空值的數量
axis_data = df.isnull().sum(axis=0)
# 將查詢結果寫入excel
index_name = df.columns.values.tolist()
axis_data = axis_data.values
for i in range(0, len(index_name)):
# 寫入欄位名稱
sheet.write(row, 1, index_name[i])
# 寫入該欄位空值率
sheet.write(row, 2, format((axis_data[i] / int(sum_rows[0][0])), '.2%'))
row += 1
workbook.save(excel_name)
def mysql_info(sql):
"""
:param sql: 執行的查詢sql語句
:return: 返回查詢結果
如果程中發生錯誤直接報錯退出
"""
try:
conn1 = pymysql.connect(host, user, passwd, db)
cursor1 = conn1.cursor()
cursor1.execute(sql)
res = cursor1.fetchall()
conn1.close()
return res
except Exception as e:
print(e)
print("!!!!!!!!!!!!!!請檢查資料庫連線資訊!!!!!!!!!!!!!!")
exit(-1)
if __name__ == "__main__":
result1 = tables_name(db)
write_to_excel(result1, 'tables_name', dir + '/%s庫中每個表的名字.xlsx' % db)
result2 = count_rows(db)
write_to_excel(result2, 'count_rows', dir + '/%s庫中每個表的記錄行數.xlsx' % db)
null_rate(db, 'null_rate', dir + '/%s庫中每張表下每個欄位的空值率.xlsx' % db)
————————————————
版權宣告：本文為CSDN博主「文藝小卿年」的原創文章，遵循CC 4.0 BY-SA版權協議，轉載請附上原文出處連結及本宣告。
原文連結：https://blog.csdn.net/qq_41725214/article/details/104206028