1. 程式人生 > >python 批量處理檔案

python 批量處理檔案

背景

批量處理檔案, 將每個檔案相同結構的內容 整理到 一個檔案中, 每個檔案都在新檔案的 一行.
讀取是按行讀取

程式碼展示

import os

def eachFile(filepath):
    """ 讀取資料夾下面的所有檔案 的路徑"""
    pathDir = os.listdir(filepath)
    file_path_list = list()
    for allDir in pathDir:
        child = os.path.join('%s%s' % (filepath, allDir))
        file_path_list.append(child)
    return
file_path_list file_path_list = eachFile("E:\\rssi\\") for filename in file_path_list: aa = list() with open(filename, "r", encoding="utf8") as f: lines = f.readlines() for index, line in enumerate(lines): if (index > 2) and (index < len(lines)-1): aa.append(line.strip()) # print(aa)
with open("d.txt", "a+", encoding="utf8") as b: b.write(" ".join(i for i in aa) + "\r\n")

批量處理html 頁面然後解析

這個方法比到上面就顯的很笨拙啦

from bs4 import BeautifulSoup
import DBChinaAdministration
db = DBChinaAdministration()
html_file1 = open("anhui.html", "r", encoding="utf8")
html_file2 = open("beijing.html"
, "r", encoding="utf8") html_file3 = open("chongqing.html", "r", encoding="utf8") html_file4 = open("fujiang.html", "r", encoding="utf8") html_file5 = open("gansu.html", "r", encoding="utf8") html_file6 = open("guangdong.html", "r", encoding="utf8") html_file7 = open("guangxi.html", "r", encoding="utf8") html_file8 = open("guizhou.html", "r", encoding="utf8") html_file9 = open("hainan.html", "r", encoding="utf8") html_file10 = open("hebei.html", "r", encoding="utf8") html_file11 = open("heilongjiang.html", "r", encoding="utf8") html_file12 = open("henan.html", "r", encoding="utf8") html_file13 = open("hubei.html", "r", encoding="utf8") html_file14 = open("hunan.html", "r", encoding="utf8") html_file15 = open("jiangsu.html", "r", encoding="utf8") html_file16 = open("jiangxi.html", "r", encoding="utf8") html_file17 = open("jilin.html", "r", encoding="utf8") html_file18 = open("liaoning.html", "r", encoding="utf8") html_file19 = open("neimenggu.html", "r", encoding="utf8") html_file20 = open("ningxia.html", "r", encoding="utf8") html_file21 = open("qinghai.html", "r", encoding="utf8") html_file22 = open("sanxi.html", "r", encoding="utf8") html_file23 = open("shandong.html", "r", encoding="utf8") html_file24 = open("shanghai.html", "r", encoding="utf8") html_file25 = open("shanxishen.html", "r", encoding="utf8") html_file26 = open("sichuan.html", "r", encoding="utf8") html_file27 = open("tianjin.html", "r", encoding="utf8") html_file28 = open("xinjiang.html", "r", encoding="utf8") html_file29 = open("xizang.html", "r", encoding="utf8") html_file30 = open("yunnan.html", "r", encoding="utf8") html_file31 = open("zhejiang.html", "r", encoding="utf8") file_list = list() file_list.append(html_file1) file_list.append(html_file2) file_list.append(html_file3) file_list.append(html_file4) file_list.append(html_file5) file_list.append(html_file6) file_list.append(html_file7) file_list.append(html_file8) file_list.append(html_file9) file_list.append(html_file10) file_list.append(html_file11) file_list.append(html_file12) file_list.append(html_file13) file_list.append(html_file14) file_list.append(html_file15) file_list.append(html_file16) file_list.append(html_file17) file_list.append(html_file18) file_list.append(html_file19) file_list.append(html_file20) file_list.append(html_file21) file_list.append(html_file22) file_list.append(html_file23) file_list.append(html_file24) file_list.append(html_file25) file_list.append(html_file26) file_list.append(html_file27) file_list.append(html_file28) file_list.append(html_file29) file_list.append(html_file30) file_list.append(html_file31) for html_file in file_list: html_page = html_file.read() soup = BeautifulSoup(html_page, "html.parser") a = soup.select('a') list_code = list() for index, i in enumerate(a): if index % 2 == 0: copycode = i.get("onclick") b = copycode.replace("(", ",") c = b.replace(")", ",") d = c.replace("'", "") d_split = d.split(",") if len(d_split): d_dict = dict() d_dict["administration_code"] = d_split[2] d_dict["name"] = d_split[3] list_code.append(d_dict) db.bulk_add(list_code) # print(list_code)

使用numpy 對 csv 檔案進行操作

import csv
import numpy as np

import Operation

data = dict()
data[1] = ""
data[2] = ""
data[3] = ""
data[4] = ""
data[5] = ""
data[6] = ""
data[7] = ""
data[8] = ""
data[9] = ""
data[10] = ""
data[11] = ""
data[12] = ""
data[13] = ""
data[14] = ""
data[15] = ""
data[16] = ""


def get_data():
    with open('matchrule.csv', 'rt', encoding='utf8') as c:
        reader = csv.reader(c)
        rows = [row[1:] for row in reader]

    a = np.array(rows)

    k = list()
    row = [i for i in range(len(a))]
    for i in range(len(a[0])):
        col = list()
        for j in range(len(a)):
            col.append(i)
        y = a[row, col]
        k.append(y)

    # y = a[[0, 1, 2, 3], [0, 0, 0, 0]]

    # 獲取所有要新增的物件資料(元素,字典物件, 對資料進行處理)
    instance = Operation()
    obj_data_list = list()
    for one in k:
        data_temp = dict()
        for index, element in enumerate(one):
            key = data.get(index, "")
            if key:
                element = instance.get_element(key, element)
                data_temp[key] = element
        obj_data_list.append(data_temp)

    # print(obj_data_list)
    return obj_data_list

if __name__ == '__main__':
    get_data()

相關推薦

python 批量處理檔案

背景 批量處理檔案, 將每個檔案相同結構的內容 整理到 一個檔案中, 每個檔案都在新檔案的 一行. 讀取是按行讀取 程式碼展示 import os def eachFile(filepath): """ 讀取資料夾下面的所有檔案 的路徑"

python批量處理檔案/操作檔案

Python批量處理/操作檔案 python自動化處理檔案非常實用,尤其是在大量重複勞動中 本文以批量處理不同資料夾下的文字檔案為例: os模組 檔案路徑狀態: E:\CSDN ………….\demo1 ……………………\demo1dir

Python批量處理Excel檔案到同一檔案的不同sheet上(未完...)

存在每次活動整理的Excel資料檔案,需放在一個Excel上進行儲存#-*-coding:utf-8-*- import os import pandas as pd path='' files=os.

Python實現批量處理檔案的縮排和轉碼問題

最近把很久前的C程式碼傳到Github上的時候,發現全部上百個原始檔的程式碼縮排都變成了8格,而且裡面的中文都出現了亂碼,所以決定寫個程式來批量處理所有檔案的格式。這段關於轉碼的程式碼可以適用於很

python批量處理gbk/gb2312格式檔案轉utf-8

#-*-coding:utf-8 -*- import os folder ='G:\Reduced' #儲存文字的目錄 listDir = [ dirs[0] for dirs in os.walk(folder)][1:]#獲取所有的子目錄 for dataDir in

python批量處理txt檔案,為每行資訊追加內容

環境:python3.7。軟體下載自官網,安裝過程參考 廖雪峰的python教程。不過按照其教程安裝,報了api-win-msc-crt-runtime丟失的問題。 後續,我直接到官網下載,以及百度解決問題。具體參考哪個文件,找不到了。 這裡只展示自己寫的簡單指令碼:

Python 批量處理特定格式文件

mat walk pytho div app append spa 調用 [1] 1 #批量對文件夾下的‘.mat‘進行處理 2 3 def file_name(file_dir,suff): 4 L=[] 5 for root, dirs, file

DOS下批量處理檔案指令碼

@echo off set SOURCE_DIR=e:\download\src set TARGET_DIR=e:\download\dst set CONVERT_TOOL=convert.exe for /r %SOURCE_DIR% %%i in (*) do if not exist %T

python批量處理ppt

#coding:utf-8 import win32com from win32com.client import Dispatch, constants import time import os def main(): path = "C:\\Users\\Administrator\

Python批量複製檔案

批量複製檔案,並修改後綴名  import os,shutil #yml檔案根路徑 ymlroot = 'E:\\GTEA_gaze\\' # 原始圖片根路徑 srcroot='E:\\GTEA_Gaze_Dataset\\png\\' # 目標圖片根路徑 dstr

python 批量修改檔案字尾

#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Wed Dec 19 18:53:47 2018 @author: bdf """ import os # 列出當前目錄下所有的檔案 files = os.listdir(

Linux 下用bash shell正則表示式批量處理檔案的應用例項

程式碼檔案頭有版本資訊,下面一段shell指令碼就是用來收索和更新程式碼頭註釋裡面的斑斑資訊的。 從中可以到shell指令碼中以下幾個小技術點是如何運用的: 1. 利用正則表示式分組匹配指定內容 2. 字串的定位,截斷和拼接處理 3. 指定檔案指定行替換指定內容 #!/bi

Python 批量檔案重新命名,新增檔名字尾

批量給檔案重新命名 我想從coachoutlet網站上抓取所有coach包包的圖片,但儲存網頁後發現儲存的圖片沒有後綴名,如果用系統自帶的圖片檢視器檢視圖片會非常不方便。圖片非常對的話,一個個修改會很麻煩。 Python程式碼實現將檔名新增字尾 參考文章 Pyt

Python批量Excel檔案資料匯入SQLite資料庫的優化方案

說明:1)需要安裝擴充套件庫openpyxl;2)隨著資料庫的增大,匯入速度可能會有所下降;3)本文只考慮Python程式碼優化,沒有涉及資料庫的優化;4)本文要點在於使用executemany實現批

Linux程式設計(Linux shell程式設計的例子:批量處理檔案

各位看官們,咱們今天還是接著上一回的內容,列舉具體的例子給大家。閒話休說,言歸正轉。 各位看官們,在實際的工作中經常需要批量處理檔案,比如批量刪除檔案等。咱們今天就通過例子來說明 如何批量操作檔案

Python批量移動檔案

今天教大家如何用Python實現批量移動檔案,有時候我們將很多檔案放在不同的資料夾下面,比如.mp4檔案等等,有一天,你想知道我電腦裡有多少mp4檔案,並且想把它們移動到一個資料夾下面,今天我們就來實現這個功能。具體程式碼如下: import os import shutil for folde

python批量更改檔案字尾名

import os path = './test/Q1706106' count = 1 for file in os.listdir(path): filename,ext = os.pat

python批量刪除檔案

寫程式測試時總會碰到要刪除日誌資料夾下的日誌或者刪除一些歷史檔案,每次都會生成,再測試的時候為了查詢錯誤原因方便總是要在測試前刪除這些檔案,手動刪除比較麻煩,所以寫一個批量刪除指令碼 import os def removeFileInFirstDir(targetDi

Python批量處理圖片

1.Pillow庫介紹 Pillow是Python裡的影象處理庫,提供了了廣泛的檔案格式支援,強大的影象處理能力,主要包括影象

python批量獲取某路徑資料夾及子資料夾下的指定型別檔案,並按原資料夾結構批量儲存處理後的檔案

因為是把自己成功執行的整個程式碼按幾部分截取出來的,所以每一小節程式碼不一定能單獨執行,特此說明。 1.獲取某路徑資料夾及子資料夾下的指定pcm型別檔案的全部路徑 import os def eachfile(filepath):     pathdi